Das Gebäude wurde in der ersten Hälfte des 16. Jahrhunderts als einfaches Saalgeschoßhaus errichtet. Der Bauherr ist unbekannt, vermutlich handelte es sich um den ersten Inhaber der Ferlacher Hammerwerke Thomas Tifrer oder die Gewerkenfamilie Locatelli. 1692 wurde es von der Gewerkenfamilie Huebmershoffen erworben, die sich ab 1738 „von Silbernagl“ nannten. Ignaz Freiherr von Silbernagl ließ den Bau im Jahr 1780 in seine heutige Form aufstocken und zu einem spätbarocken Edelsitz umgestalten. Um Verwechslungen mit der unweit gelegenen Burg Wildenberg zu vermeiden, wurde Schloss Ferlach auch „Unteres Schloss“ genannt.

Die Familie Silbernagl blieb bis 1874 im Besitz des Schlosses. Dann musste sie aus finanziellen Gründen ihre Hammerwerke sowie das Herrenhaus an den Gewerken Paul Mühlbacher verkaufen. Dessen Neffe Gustav Voigt trat 1879 in die Firma ein und übernahm das Schloss. Die Familie Voigt blieb 78 Jahre Schlosseigentümerin, bis das Anwesen am 25. Juli 1957 an die KESTAG-Stahlwerke verkauft wurde. Diese wurden von der Firma Voest-Alpine Steinel übernommen. 1991 kaufte die Stadtgemeinde Ferlach mit Mitteln des Bundes und des Landes den Ansitz mitsamt dem angrenzenden Park und wenig später auch das benachbarte Verwaltungsgebäude, in dem sich ehemals die Stallungen der Mühlbacher befanden.