aštieľ bol postavený na základoch gotického hradu, ktorý údajne vznikol na rozvalinách kláštora templárov a patrí k najstarším na Slovensku. Neskorší majitelia Horváth-Stansithovci pochádzajúci z významnej chorvátskej šľachtickej rodiny si gotický hrad postupne prebudovali na renesančný kaštieľ. V roku 1588 zriadil Gregor Horváth-Stansith v rodinnom sídle významnú humanistickú školu a v rokoch 1618 až 1628 pokračoval v prestavbe kaštieľa, ktorý v tom čase získal dnešnú podobu. Pôvodne trojkrídlovú stavbu doplnili po požiari v roku 1708 o štvrté krídlo, čím sa vytvoril typický štvorcový pôdorys s vnútorným nádvorím.

V roku 1862 sa do kaštieľa v Strážkach nasťahoval barón Eduard Mednyánszky. Z Beckova si na Spiš priviedol desaťročného syna Ladislava, z ktorého sa neskôr stal maliar európskeho formátu. Počas niekoľkých pobytov v rodinnom sídle na úpätí Tatier tento významný umelec namaľoval viacero nádherných krajiniek s originálnymi sociálnymi komponentmi.

Čaro kaštieľa znásobuje anglický park z 19. storočia. Okrem vzácnej historickej knižnice sa v kaštieli nachádzajú obrazy Ladislava Mednyánszkeho.

Kaštieľ po rekonštrukcii slúži Slovenskej národnej galérii, ktorá tu prezentuje viaceré expozície - historický nábytok a interiérové doplnky, Ladislav Mednyánszky a Strážky (maliar, ktorý sa tu často zdržiaval a tvoril), Portréty z 17.-19. storočia a historická knižnica.

Kaštieľ spolu s gotickým opevneným Kostolom sv. Anny a renesančnou zvonicou v historickom centre obce tvoria národnú kultúrnu pamiatku.

Slovenská národná galéria získala tento objekt do správy v roku 1972 prevodom po smrti bývalej majiteľky, barónky Margity Czóbelovej. V kaštieli sa realizovala rekonštrukcia aj revitalizácia anglického parku z 19. storočia, kde je v súčasnosti nainštalovaná expozícia plastiky. Vo výstavných priestoroch kaštieľa sú umiestnené stále expozície, konajú sa tu hudobno-dramatické a vzdelávacie programy. Stále expozície približujú najmä dielo Ladislava Mednyánskeho, portrétnu tvorbu na Spiši, zbierky historickej knižnice a mobiliár zámku.