Sídlo sa neskôr dostalo do rúk kráľovskému rodu Anjou, kde kráľ Karol Róbert spolu so synom Ľudovítom I. Veľkým vybudovali hradné sídlo. Kráľ Žigmund Luxemburský dal hrad prestavať na poľovnícke sídlo a v roku 1408 zakladá Rád draka. Na zámku pôsobil kráľ Matej Korvín, Vladislav II. Jagelovský a neskôr sa zámok dostal do rúk feudálnych rodín. Počas 2. svetovej vojny bol poškodený, z veľkej časti vyhorel a chátral niekoľko desiatok rokov.

Ruiny zámku boli odkúpené od obce súkromným investorom v roku 2007, kedy sa začal realizovať projekt obnovy zámku pod dohľadom odborníkov z pamiatkových úradov. Po rozsiahlej rekonštrukcii sa v septembri 2014 konalo slávnostné otvorenie a zámok bol sprístupnený verejnosti ako hotel The Grand Vígľaš****, ktorý sa špecializuje na kongresové a gastronomické spoločenské podujatia s poskytovaním wellness služieb.

Zámocký hotel je zapísaný v zozname Národných kultúrnych pamiatok. Objekt zámku je prístupný verejnosti, kde aj neubytovaní hostia majú voľný vstup do areálu na vstupnom nádvorí s možnosťou vstupu na hradby.