Wie die Anfänge der Herrschaft Erbach, so ist auch die frühe Baugeschichte ihrer Stammburg weitgehend unbekannt. Vermutlich entstand die Burg Erbach als Wasserburg auf einer Mümlinginsel. Aufgrund der Bedeutung der Herren von Erbach als königliche Ministeriale ist eine Entstehung der Burg im 12. Jahrhundert wahrscheinlich. Frühestes bauliches Zeugnis ist jedoch der noch aufrecht stehende Bergfried. Sein imposantes Mauerwerk aus Buckelquadern lässt ihn in die erste Hälfte des 13. Jahrhunderts datieren.

Das heutige Schloss wurde im Jahr 1736 fertiggestellt. Es ist das Ergebnis einer umfassenden Erweiterung eines bestehenden Renaissancebaus unter Graf Georg Wilhelm, die auch den bis dahin freistehenden Bergfried integrierte. Noch heute ist der Renaissancebau, dessen Gestalt uns durch Gemälde und Zeichnungen bekannt ist, im Inneren des Bauwerks ablesbar.