Замок Милотице был построен в эпоху Средневековья как крепость. О нем есть упоминания в документах, датируемых 14 веком. В эпоху Ренессанса его значительно перестроили, после чего он стал жилым замком. Архитектура этого периода частично сохранилась, хотя в последующие столетия строение много раз переделывалось. Тот вид, который замок Милотице имеет сегодня, он получил во второй половине 17 века, когда к нему пристроили четыре башни по углам, продолжающие условные оси центральной планировки двора.
Владельцем замка в 17 веке стал Габриэль Сереньи, потомки которого владели им вплоть до 19 века. Реставрировали замок по инициативе графа Карла Антона Сереньи в 1719—1725 и 1738—1743 годах. С 1948 года замок открыли для посещения. Сегодня в нем проводятся не только экскурсии, но и различные фольклорные фестивали и концерты, устраиваются праздники на Рождество, а также различные выставки.
В плане замок четырехугольный. Его угловые башни не имеют никакого отношения к оборонительным сооружениям. Это жилые пристройки. Их крыши возвышаются над основной крышей замка и имеют фигурное покрытие. На фасадах здания есть украшения в виде пилястров и лопаток без капителей. Окна 2 –го и 3-го этажей украшают ставни. Овальные окна в башнях, а также фронтоны на фасадах , барочная лестница придают замку вид дворца. В замке есть внутренний дворик, первый этаж которого поддерживают открытые колоннады.
Перед парадным въездом до сих остались каменный мост и сухие рвы. В парадный двор ведут барочные ворота, которые украшены крылатыми конями. На въездном мосту стоят скульптуры, сфинксы, декоративные барочные вазы, фигуры воинов. Их автором является скульптор Якоб Шлеттер.
Архитектор Антонин Циннер в 1719 году создал за замком регулярный сад площадью 4,5га.