Miroslavský zámek byl podle pověsti vybudován dcerou českého vévody kněžnou Miroslavou kolem roku 912 původně jako vodní tvrz na malé skále uprostřed bažin. Její potomci údajně v Miroslavi žili až do 12. století. První písemná zmínka o miroslavské vodní tvrzi je však až z roku 1387.
Nejstarší částí zámku jsou základy střední věžovité stavby, které jsou situovány na skále původně zřejmě vyčnívající z bažin. Patrně šlo o typ kamenné obytné věže vybudované v románském stylu. Postupem času byla přebudována v pevný gotický hrad chráněný vodním příkopem. K nejvýraznějším stavebním změnám došlo v 1. pol. 16. století, kdy zámek v podstatě získal dnešní podobu.
Na miroslavském zámku se za dobu jeho existence vystřídalo nespočetně mnoho majitelů. Z dob husitských jsou známi dva, a to Konrád z Vratišova a Alexandr Skrbený z Doloplaz. V letech 1466-1490 byl majitelem Jiřík z Miroslavi. Ten prý údajně vedl o svůj majetek 23 soudních sporů. V roce 1497 se stala majitelkou panství Ludmila z Miroslavi, která ještě téhož roku učinila svého manžela Markvarta z Mírova spolumajitelem.
Páni Valečtí z Mírova vlastnili miroslavský zámek v letech 1497-1569 a dali mu zcela nový nádech. Byli velmi podnikaví a zasloužili se o přestavbu starého gotického hradu v pohodlný renesanční zámek. Do rozsáhlé přestavby se pustil především Zikmund Valecký z Mírova, který panství podělil roku 1520.
Při přestavbě byl zrušen do té doby funkční padací most, hlavní vchod byl přesunut severněji. Dále byla přistavěna dvě rozlehlá křídla, z nichž stavebně vyniká zejména jižní křídlo s arkýřem na krakorcích. Renesančně sdružená okna arkýře zdobená ostěním směřují k jihu a celý arkýř je pomyslnou „korunou“ špice zámku, kterou vytváří půdorys jižního křídla. O tom, že byl arkýř pokládán za vyvrcholení vnější podoby zámku svědčí i skutečnost, že nese na čelném místě do kamene tesaný erb pánů Valeckých z Mírova (lovecký oštěp, který nesou dvě okřídlené hlavičky andělů) a nápis Zikmund Valecký z Mírova. Pohledem z arkýře bylo možné obdivovat půvabná panoramata Markova kopce a Větrňáku.
Velmi cenná a zajímavá je sklípková klenba bývalé soudní síně, kde panská feudální spravedlnost vynášela své rozsudky až do roku 1851. Další zajímavou vnitřní lokalitou zámku je níže položené malé nádvoří. Odtud jsou vchody do žalářníkova bytu a sklepních místností, které byly bezesporu využívány i jako vězení.
Zikmundovým nástupcem byl Jiřík Valecký, jehož smrtí rod Valeckých z Mírova vymřel (zemřel roku 1589). Pánem na Miroslavi byl do roku 1569, kdy celé panství získal jistý Václav Hodický z Hodic. Rod Hodických měl zámek v držení až do počátku třicetileté války. Posledním držitelem z této šlechtické rodiny byl Hynek Hodický, který jako nekatolík vystoupil proti císaři Ferdinandovi II., a proto mu byl po bitvě na Bílé hoře jeho majetek zabaven.
Od roku 1692 bylo miroslavské panství majetkem louckého kláštera ve Znojmě. Když byly císařem Josefem II. kláštery zrušeny, připadl loucký majetek v Miroslavi roku 1784 náboženskému fondu.
Další stavební úpravy probíhaly v 60. letech 17. století, avšak celkový ráz sídla výrazně neovlivnily. Změny se dotkly zejména vstupního nádvoří. Vchod do centrální budovy vede vysokým barokním portálem a schodiště je osvětleno kulatým oknem. Klenbu prostorné chodby zvýrazňuje štuková výzdoba, která se uplatnila i ve výzdobě dalších místností. Barokní přestavba byla zřejmě završena roku 1761 (tento letopočet je vyryt nad slepým oknem vysoko na stěně vstupního nádvoří).
K poslední velmi výrazné změně ve vzhledu zámku došlo v 1. pol. 18. století po požáru, který poškodil nejstarší střední budovu, do té doby završenou cimbuřím. Poté byla na této budově vztyčena vazba z borových kmenů a došlo k jejímu zastřešení mansardovou střechou tak, jak ji známe dnes.
Roku 1824 koupil panství MUDr. Josef šlechtic Hopfen za 130 000 zlatých. Po jeho smrti v roce 1846 vše zdědil jeho adoptivní vnuk František Xaver z Hopfenů. Ten byl nejen velmi významný finančník ale i politik. Zasedal v moravském zemském sněmu, později byl dokonce delegován do Říšské rady. Roku 1864 byl jmenován ředitelem banky a od roku 1874 zastával úřad prezidenta císařsko-královské jižní dráhy.
Koncem 19. století celý miroslavský majetek koupila cukrovarnická rodina Stummerů, majitelem se stal August svobodný pán Stummer z Tavarnoku. Zámek v roce 1911 zdědila jeho dcera Amalie Crescentie Hardt-Stummer z Tavarnoku.
Poslední majitelkou zámku byla baronka Bettyna von Langenhan, která zámek vlastnila až do konce 2. sv. války.
Po roce 1945 získal zámek do správy Městský národní výbor, který jej využíval například jako muzeum nebo různá ubytovací zařízení. Od počátku 90. let je zámek majetkem města.
Rekonstrukce jihovýchodního křídla probíhala v letech 2014-2015 a podařilo se opravit větší třetinu zámku. Zámek byl slavnostně otevřen 18.7. 2015 a nyní je zpřístupněn veřejnosti.