Die 1573 westlich des eigentlichen Schloßgebäudes errichtete Kellnerei, die als Getreidemagazin und Pferdestall diente, ist der letzte bauliche Rest des ehemaligen kurfürstlichen Schlosses. Die Burg war gemeinsam mit dem Zollturm 1293 errichtet worden und diente zunächst im 13. und 14. Jahrhundert den Erzbischöfen von Köln als bevorzugtes Jagdschloß. 1302 wird es unter Erzbischof Wikbold als burge und veste verzeichnet (Andernach 1982) und Burgmannen sind ab 1316 nachweisbar. 1364 war die Burg bis 1583 Wohnsitz des Burggrafens, Amtmannes und Schultheißes und erfuhr bauliche Erweiterungen.

Während des Truchsessischen Krieges wurde eine Kaserne eingerichtet, die nach den Zerstörungen durch die Explosion des für die Lagerung von Schießpulver verwendeten Zollturms 1598 abgebrochen werden musste. Nach Zerstörung des Schloßes wurde das Magazin und ehemalige Stallgebäude als Wohn- und Verwaltungssitz des Schultheiß ausgebaut. Ein weiterer Turm wurde 1630 abgetragen.

Im Grundriß war das Schloß längsrechteckig errichtet mit Wassergräben auf der Süd- und Westseite und zwei Brücken in nördlicher und westlicher Richtung. Es bestand aus zwei mehrstöckigen aneinanderstoßenden Bauten aus Backsteinen und verfügte über Stufengiebel sowie über insgesamt vier Rundtürme (Andernach 1982, S.2). Die Stadtburg lag als Bestandteil der Stadtumwehrung unmittelbar an der nordöstlichen Ecke der Stadtbefestigung und war durch einen weiteren Graben von der Stadt abgehoben. Die Grundmauern des vollständig obertägig abgetragenen Schlosses wurden bereits 1831-1838 freigelegt (Hohmann 1967, S.7.

(Klaus-Dieter Kleefeld, LVR-Redaktion KuLaDig, 2014)