Die Grundmauern der alten Wasserburg stammen aus Staufischer Zeit (1150-1250) und sind heute noch in den großen Kellergewölben zu sehen. In jenen Tagen wurde die Burg von den Rittern von Geilndorff bewohnt, von denen Gaildorf (erstmal 1255 erwähnt) seinen Namen hat. Diese waren Dienstmannen der Schenken von Limpurg, die nahe der benachbarten freien Reichsstadt Schwäbisch Hall ihre Stammburg hatten. Als das Rittergeschlecht ausgestorben war, richteten sich die Schenken in der alten Burg ein Jagdhaus ein, das bis gegen Ende des 15. Jahrhunderts existierte. In der Urkunde des Jahres 1399 wird diese Burg erstmalig schriftlich erwähnt. In einer dreijährigen Bauzeit zwischen 1479 und 1482 wurde es schließlich in die noch heute existente vierflügelige Schlossanlage umgebaut: 

Schenk Albrecht und seine Gattin Elisabeth von Oettingen (von der Harburg stammend) war die erste Schenkengeneration, die sich im neuerbauten Schloss einen ständigen Wohnsitz einrichtete. Nachdem die Herrschaft Limpurg 1441 in zwei Teile getrennt wurde, stieg Gaildorf zur neuen Residenzstadt der kaiserlichen Reichserbschenken von Limpurg auf. Auf Schenk Albrecht folgten weitere sieben Generationen der semperfreien (reichsunmittelbaren) Ministerialfamilien. 
Der letzte in Gaildorf residierende Schenk war Wilhelm Heinrich, mit dessen Tod 1690 die Gaildorfer Linie erlosch. Die Gaildorfer Herrschaft gelangte an den Vetter der zweiten, Obersontheimer Linie, die nur 23 Jahre später mit Schenk Vollrath ebenfalls im erbberechtigten Mannesstamm erlosch. Die letzten drei Schenken hatten zusammen zehn Erbtöchter hinterlassen, deren Nachkommen nun die ohnehin kleine Herrschaft weiter zersplitterten. Es entstanden zahlreiche kleine Herrschaftsgebiete, die eigenständig nicht zu überleben vermochten. Bereits Ende des 18. Jahrhunderts kamen große Teile der Gaildorfer Herrschaft an das württembergische Herzogshaus, und schließlich mit der Mediatisierung 1806 alle Herrschaftsteile.

Steffen Hinderer