Die Burg Herrenzimmern soll bereits in der zweiten Hälfte des 11. Jahrhunderts bestanden haben: die Zimmersche Chronik erwähnt die Burg 1079.
Es ist nicht bekannt, ob es sich hierbei um die heutige Burg bzw. eine Befestigung am heutigen Standort handelt. In der Nähe befinden sich (spärliche) Reste der sog. „Nußburg“. Ebenfalls laut Zimmerscher Chronik hat es sich bei dieser um eine Vorläuferburg gehandelt.
Eingedenk der Tatsache, dass die historische Genauigkeit der Zimmerschen Chronik nicht ohne weiteres als gesichert angesehen werden kann, bleiben die Ursprünge der Burg ungesichert.
Gesichert im Besitz der Herren von Zimmern war sie 1488.
Die hier gegen Johannes Werner d.Ä. (1455 – 1496) im Rahmen der Werdenbergfehde verhängte Reichsacht und die damit verbundene Einziehung seiner Besitztümer betrafen die Burg Herrenzimmern nicht. Sie befand sich zu diesem Zeitpunkt im Besitz Gottfrieds (1425 – 1508).
Die Burg Herrenzimmern blieb in allen Kriegen verschont, weil sie als uneinnehmbar galt.
Die Burg brannte zwar durch Unvorsichtigkeit im Jahr 1504 aus, sie wurde jedoch bis zum Jahr 1513 durch Graf Gottfried Werner (1484-1554) und seinen Bruder Graf Wilhelm Werner wieder aufgebaut.
Hier lebte Graf Wilhelm Werner (1485 – 1575), der seinem Neffen Froben in Meßkirch viele Beiträge zur Chronik mitgeteilt hatte. Die Originalhandschriften sind heute in der Württembergischen Landesbibliothek Stuttgart untergebracht. Wilhelm Werner war Richter am Reichskammergericht in Speyer und am kaiserlichen Hofgericht in Rottweil.
Unter ihm wurde die Burg ausgebaut und er trug eine Bibliothek und eine „Wunderkammer“ zusammen.
Mit Graf Wilhelm (1549 – 1594), Sohn des Chronisten Froben Christoph erlosch das Grafengeschlecht im Mannesstamm. Wilhelms acht Schwestern verkauften die Burg am 12. Mai 1595 an die Stadt Rottweil.
Im Jahre 1805 verkaufte Rottweil das halb zerfallene Schloss. Bieter waren die Gemeinde Herrenzimmern und der ortsansässige Hirschwirt Carl Reiner, welcher den Zuschlag erhalten hatte. Dieser verstarb bereits fünf Jahre später. Jetzt hatte die Gemeinde das ruinierte Schloss im Jahre 1810 auf Abbruch gekauft und nutzte es als Steinbruch.
Aus: H. Ruckgaber, Geschichte der Grafen von Zimmern, Rottweil 1840