Reprezentačnú stavbu, ktorej história je spätá s rodom Andrássyovcov, postavili v údolí Betliarskeho potoka pod husto zalesnenými svahmi Volovských vrchov na mieste pôvodného hrádku Bebekovcov z 15. storočia. Časť jeho múrov využili pri prestavbe gotickej kúrie na renesančno-barokovú trojpodlažnú budovu v 17. a 18. storočí. Podoba kaštieľa z konca 19. storočia sa s menšími úpravami zachovala do súčasnosti.
Jednou z najväčších pozoruhodností kaštieľa je ústredná knižnica. Knižnicu v kaštieli založil Leopold Andrássy v roku 1790 a z tohto obdobia pochádza aj jej interiér. Uchováva vyše 14-tisíc zväzkov najmä teologických, historických, geografických a filozofických diel z 15. až 19. storočia, ktoré boli napísané v 6 rôznych jazykoch.
Kaštieľ do roku 1945 slúžil potrebám betliarskej vetvy Andrássyovcov. Po druhej svetovej vojne ho zoštátnili, avšak jeho pôvodné zariadenie sa zachovalo a z kaštieľa vzniklo múzeum s expozíciou Bytová kultúra šľachty v 18. a 19. storočí.
Kaštieľ obklopuje prekrásny anglický park, ktorý s rozlohou 57 ha patrí k najväčším udržiavaným parkom na Slovensku a je evidovaný v zozname svetových historických záhrad.