Wie auch die Herren von Zimmern wird die (sagenhafte) Gründung der Ortschaft Herrenzimmern in der Zimmerschen Chronik mit dem germanischen Volk der Cimbern in Verbindung gebracht. Diese sollen nach der Niederlage in der Schlacht von Vercellae (Vercelli, Oberitalien) im Jahr 101 v. Chr. über die Alpen zurückgekehrt sein und sich in der Region angesiedelt haben.
Diese Ausführung des Chronisten Froben Christoph von Zimmern gilt wissenschaftlich zumindest als unbelegt, eher jedoch als unwahrscheinlich.
Als Geburtstag einer Gemeinde gilt das älteste Schriftstück, in welchem sie erstmals genannt wird.
Herzogin Hadwig von Schwaben residierte als Witwe auf dem Hohentwiel und ahnte ihren baldigen Tod. Da verfasste sie ein Testament, worin sie ihre Güter um Epfendorf, Bösingen und Herrenzimmern dem Kloster Petershausen bei Konstanz schenkte. Damit kein Streit über diese Schenkung entstehen kann, wurde eine Urkunde darüber ausgestellt. Niemand geringerer als der damalige König und spätere Kaiser Otto III. unterschrieb diese Urkunde am 4. November 994. Seine Kanzlei verfasste den Text samt der Unterschrift, die der König durch einen kleinen Federstrich an seinem Namenszeichen in Kraft setzte. Durch Brände, Raub und Kriege könnte das Kloster diese Urkunde verlieren. Deshalb wurde sie mehrfach abgeschrieben und an verschiedenen Orten verwahrt. Ein Exemplar hat sich in der Universitätsbibliothek Heidelberg erhalten.
Bereits von früheren „Spannungen und Händeln“ berichtet die Zimmerische Chronik: Conrad v. Zimmern habe sich lieber am Hofe des Grafen Eberhard I. v. Württemberg (1265 – 1325) aufgehalten und in Schloss und Städtchen Herrenzimmern einen Vogt, Hans von Justingen, eingesetzt.
Das Verhältnis, in welchem Conrad v. Zimmern zum württembergischen Grafen stand, sei für Conrad unglücklich gewesen. Graf Eberhard I. war einer der eigenmächtigsten Herrscher, der sich in seinem Plane, seine Herrschaft aggressiv gegen die nicht-württembergischen Städte und Grafschaften weiter auszudehnen, weder durch den Kaiser noch durch den Reichstag einschüchtern ließ, bis er am Ende wegen fortwährender Störung des Landfriedens in die Reichsacht fiel und von sämtlichen Städten, die ihn hassten, mit Krieg überzogen wurde (sog. Reichskrieg). Er selbst musste flüchten und sich verborgen halten, während sich das Kriegsgewitter mit verheerender Gewalt über seinem Land entlud.
Nicht besser erging es seinen Anhängern und unter diesen war unser Conrad v. Zimmern. Den Rachezug gegen diesen hätten im Auftrag des Kaisers im Jahre 1312 die Rottweiler übernommen, die als Reichsstädter direkt dem Kaiser unterstellt und dadurch Gegner des Grafen Eberhard waren. Sie seien vor das Städtchen Herrenzimmern gezogen, in welchem damals 14 Gefolgsleute der Herrschaft Zimmern beisammen gewesen seien. Deren Anwesenheit und der befestigten Lage des Städtchens ungeachtet sei dasselbe von den Rottweilern bald erobert und in Asche gelegt worden. Nur die untere Burg, die heutige Ruine, sei nicht eingenommen worden.
Das schwere Unglück aber, das Conrad wegen seines Verhältnisses zu Graf Eberhard I. über die Herrschaft Zimmern herbeigeführt hatte, sei ihm so nahe gegangen, dass er zu kränkeln begann und nach zwei Jahren 1314 verstorben sei. Das Städtchen Herrenzimmern hörte von jener Zeit an auf ein Städtchen zu sein, ohne jedoch seinen Namen zu verlieren. Diese Darstellung der Chronik gilt in Teilen derzeit allerdings als umstritten.
Bis 1490 gehörten weitläufige Besitzungen um Herrenzimmern, Bösingen und Epfendorf noch immer dem Kloster Petershausen.
Da der damalige Abt Martin der „Spenn und Hendel“ mit den lokalen Edelleuten leid war, verkaufte er die Besitzungen an die einzige Familie, mit der es keine Probleme gab – zu dieser Zeit vertreten durch Gottfried von Zimmern.
Hier befinden wir uns auf geschichtlich gesichertem Boden, denn nicht nur die Zimmerische Chronik beschreibt die Umstände dieses Verkaufs, sondern es gibt eine Verkaufsurkunde darüber.
Der Chronist Froben hatte zeitlebens ein sehr schlechtes Verhältnis zu seinem Vater Johann und schrieb, dass dieser ohne Not Herrenzimmern, Talhausen und Villingendorf zu einem Spottpreis an die Stadt Rottweil verkauft habe.
Das Schloss gehörte Johanns Bruder und stand deshalb nicht zum Verkauf. Rottweil hatte auf dem Höhepunkt seiner Macht 27 Dörfer im Umland in Besitz. Damit ging Rottweil allerdings auch Verpflichtungen gegenüber Herrenzimmern ein.
Der Türsturz über dem alten Hauptportal der heutigen Kirche St. Jakobus gibt auf Latein und nach den einleitenden Worten „Dem dreimal besten Gott geweiht – aus altem prächtig auferstanden“ Aufschluss über den Neubau.
Zuständig für die Baulast war die Heilig-Kreuz-Bruderschaft in Rottweil, die bereits 1720 eine Renovierung des Turms abgeschlossen hatte. Eine Sandsteinplatte mit dem Bruderschaftszeichen und der Jahreszahl 1720 am Turm verkünden dies.
In der Inschrift des Türsturzes ist eine weitere Botschaft in einem „Eteostichon“ verborgen. Manche Buchstaben sind größer als der übrige Text. Diese ergeben als römische Zahl und addiert gelesen das Erbauungsjahr der damals neuen Kirche: 1738.
Dem französischen Kaiser Napoleon gelang es das Deutsche Reich zu schwächen. Einige der Fürsten suchten mehr Freundschaft zu Frankreich als zum Deutschen Reich. Dazu gehörte Friedrich von Württemberg. Napoleon belohnte ihn mit den Gebieten, die er dem Kaiser des Heiligen Römischen Reiches und den Reichsstädten geraubt. Diese waren bis dahin unmittelbar dem Deutschen Kaiser unterstellt. So wurde Rottweil und mit ihm seine Dörfer Teil des Königreichs Württemberg.