Zaberá plochu viac ako štyri hektáre a patrí medzi najrozsiahlejšie hradné zrúcaniny nielen na Slovensku, ale aj v strednej Európe.
Keďže zakonzervované zrúcaniny nebolo z mesta Zvolen takmer vôbec vidieť, odlesnila sa časť kopca Horného hradu. V súčasnosti je možné nielen vidieť ruiny hradieb od Zvolena, ale zároveň Pustý hrad ponúka výhľad na Zvolenskú kotlinu a okolité pohoria.
V 12. storočí tu vybudovali kráľovský hrad, ktorý slúžil ako sídlo zvolenského kráľovského komitátu, ktorý zaberal územie približne dnešného stredného Slovenska. Výstavba hradu pokračovala v rokoch 1241 – 1255, kedy bolo vybudované veľké opevnenie – na Hornom hrade a bol opevnený aj Dolný hrad. V najjužnejšej časti opevnenia Horného hradu bola postavená monumentálna prechodová vežová brána, ktorej zvyšky sa stali symbolom celého objektu. Najvýznamnejším stavebným objektom na Pustom hrade je obytná veža (donjon) Dolného hradu, ktorá sa svojim pôdorysom 20 x 20 radí medzi najväčšie stredoveké rezidenčné stavby v strednej Európe. Na prelome 13.-14. storočia poveril Karol Róbert z Anjou správou zvolenského komitátu magistra rytiera Donča. Po výstavbe gotického zámku v meste, Starý hrad začína strácať svoj význam. Po obsadení hradu Jánom Jiskrom z Brandýsa, slúži už len na ubytovanie jeho vojenských oddielov. V roku 1452 hrad pri dobýjaní Jánom Huňadym zničil požiar a odvtedy ostal v ruinách. V čase tureckého nebezpečenstva bola na hrade postavená strážna veža - vartovka.