Das  Schloss erhebt sich östlich vom Dorf auf dem Unterbau eines mittelalterlichen Schlosses, das einmals von einem Wassergraben umgegeben war; darunter strömte der Fluss Jouanne, der heute nicht weit entfernt im Osten fließt. Seit dem XIII. Jahrhundert gehörten Schloss und Ländereien  der Familie Oiselay. Im XV. Jahrhundert zirka wurden wichtige Arbeiten durchgeführt, die der westliche Turm, die Öffnung des Eingangs und ein Saal mit Kreuzgewölbe im Südosten noch heute bezeugen. Am Ende des XVI. Jahrhunderts ließ wahrscheinlich Antoine d’Oisèlay das Schloss wieder renovieren und die nördliche Fassade bauen. Im Jahr 1582 heiratete er die Nichte des Kardinals von Granvelle; sein Sohn François de Granvelle erbte den Titel von Botschafter des Kaisers in Prag, mit der Bedingung, dass er den Titel und der Schloss noch weiter bereichere. Das ist der Grund, weshalb Wappen im Schloss zu finden sind, die an der hochwohlgeborenen Familie Granvelle erinnern. Von der Familie Granvelle-Oiselay ging das Schloss Frasne an die Familie La Baume-Saint Amour über, dann wurde es  1708 von Jean Claude und Jean Baptiste Rochet gekauft und durch Heirat auf Jean Baptiste  Fraguier de Batilly vererbt. Im 1800 wurden Schloss und Ländereien von François Gabriel Henrion erworben. Sein Sohn, Cesaire Emmanuel Flavien Henrion de Magnoncourt, unternahm zwischen 1835 und 1891 eine größere Renovierung des Schlosses, die Pierre Marnotte anvertraut wurde und die dem Schloss sein heutiges Aussehen gibt. Anstatt des nördlichen wurde der nord-östlich ausgerichtete Flügel des Schlosses zusammen mit der Fassade des Dachbodens umgebaut. Alle inneren Unterteilungen und Dekorationen sind auf diese Zeit zurückzuführen. Das Schloss Frasne erscheint heute als ein U-förmiges Gebäude, dessen östlicher Flügel und der Turm aus dem XV. Jahrhundert als Haupteingang dienen. Über die Galerie befindet sich unter einem Korbbogelgewölbe (Arc en anse de panier, arco tricentrico, Korbbogen) eine Reihe von zweibogigen Fenstern mit Giebeln und ein mit Muscheln verzierter Dachboden. Die senkrechten Balken auf der rechten Seite der Pfeiler  im Erdgeschoss sind mit ionischen Säulen auf geschmückten Basen verstärkt. Im Inneren findet man viele Details aus dem neunzehnten Jahrhundert, so wie   Stuckarbeiten und Kamine, karierte Holzböden im Stil von Versailles, halbrunde Zimmer mit strahlenförmigem Parkett,  aber vor allem eine Bibliothek in italienischem Stil, die mit Holz getäfelt, von oben beleuchtet und mit neugotischen Verzierungen bemalt ist. Die Bibliothek wurde von der Kongregation der Schwestern der Göttlichen Vorsehung von Ribeauvillé in eine Kapelle umgewandelt. Die Kongregation erhielt das Schloss als Rente, Altenheim und Schule bis 1991. Seitdem wurde das Schloss von Herr Borne,puis mr.Alain Michel  gekauft und im Jahr 2011 ist das Eigentum in Besitz der italienischen Familie von Francesco Ciriminna übergegangen.