Идея воздвигнуть оборонительные сооружения за пределами городских стен возникла в светлой герцогской голове второ­го Галеаццо Висконти в 1368 году. Именно тогда был постро­ен первый замок (который, правда, был значительно меньше, чем нынешний). Уже следующий Висконти - Джан-Галеаццо (инициатор строительства Дуомо) - решил не только рас­ширить крепость, по и превратить ее в резиденцию, соответ­ствующую богатству и могуществу семьи. Наконец последний Висконти - Филиппо-Мария - вызвал и Милан лучшего тог­дашнего архитектора Брунеллески и повелел ему возвести что-нибудь совсем уж роскошное. Впрочем, во время последо­вавших за смертью Филиппо-Марии беспорядков, которые в большинстве исторических сочинений носят почетное имя Амброзианской республики часть замка была раз­рушена.

В 1450 году к власти пришел Франческо II Сфорца (перво­начально состоявший при Филиппо-Марии начальником вой­ска и мужем его дочери Бьянки). Ровнять замок с землей, как того требовали массы, он не стал, а, наоборот, назвал руины своим именем и призвал инженеров Джованни да Милапо и Марко-Леоне да Ногароло для ремонтно-расширительных работ. Их сменил Антонио Аверулино по прозвищу Фила­рет, поставивший над главными воротами 70-метровую баш­ню, которая так и называется - Филаретова башня. Второе название - башня Умберто II - появилось уже в XIX веке, когда башня (взлетевшая на воздух от взрыва пороха в 1521 году) была отреставрирована и украшена скульптурным портретом вышеозначенного монарха.

К 1466 году, когда Франческо Сфорца оставил лучший из миров, замок был практически готов. Помимо герцогской резиденции и надвратной башни Филарета, к нему были до­бавлены дне угловые башни, а перед крепостью вырыли ров, через который перекидывался деревянный мост. Следы устройства, поднимавшего и опускавшего мост, видны на сте­нах надвратной башни до сих пор: отверстия были заделаны кирпичом более светлого цвета.

Тем временем в 1469 году следующий Сфорца - Галеаццо Мария - заложил первый камень в основание внутреннего Герцогского дворца. Правитель этот был весь­ма нетерпелив и постоянно подгонял строителей. В результа­те семейство успело въехать в новую резиденцию еще при жизни Галеаццо Марии. Правда, покрыть росписями к этому моменту смогли далеко не все залы: некоторые помещения были просто задрапированы красным и зеленым бархатом, а од­ну комнату недолго думая просто покрыли сусальным золотом.