Unweit der um 100 n.Chr. gegründeten Colonia Ulpia Traiana entstand auf einem südlich der antiken Stadt gelegenen römerzeitlichen Gräberfeld das mittelalterliche Xanten.

Ausgangspunkt einer Stiftsgründung und der daran sich anschließenden Ortsbildung war eine Gedächtniszelle des 4. Jahrhunderts über einem Doppelgrab mit zwei gewaltsam, der Legende nach wegen ihres christlichen Glaubens getöteten Männern. Die Begrabenen galten als römische Soldaten der thebäischen Legion und wurden wie in Köln (Gereon) und Bonn (Cassius und Florentius) als Märtyrer (Victor und seine Gefährten) verehrt. Zur geistlichen Betreuung der wachsenden Heiligenverehrung wurde um 800 gewiss nicht ohne Mitwirkung des Kölner Erzbischofs ein Kanonikerstift gegründet. Um die zu dieser Zeit neu erbaute Kirche mit Stiftsbauten erstreckte sich eine mit Graben und Wall, später mit einer Mauer umgebene Immunität der Stiftsburg. Sie war im Norden und Süden über Brück- und Michaelstor zugänglich. Innerhalb der Immunität entstanden die steinernen Kanonikerhäuser und als Sitz des Kölner Erzbischof eine Bischofsburg, die noch vor 1096 mit einem starken Turm versehen wurde.

Im Anschluss an die Immunität entwickelte sich spätestens im 10. Jahrhundert, südlich dem Michaelstor vorgelagert, eine Marktsiedlung. Als im 12. Jahrhundert die Xantener Kaufleute urkundlich erwähnt wurden, war Xanten längst kein Dorf mehr, sondern Kaufleutesiedlung und Handelsplatz mit städtischem Charakter. Im 11. bis 13. Jahrhundert war der Ort zudem Münzstätte für die Prägung erzbischöflicher Münzen. 1228 wurden durch den Kölner Erzbischof Heinrich von Müllenark die Stadtrechte verliehen. Der nun mit einer Befestigung umgebene Ort sollte die Kölner Territorienbildung gegen Kleve sichern.
Der 1263 begonnene Neubau einer Stiftskirche wurde das anspruchsvollste Bauvorhaben der Stadt, dessen Vollendung das ganze Mittelalter hindurch (Ostteile bis 1437) bis in die frühe Neuzeit hinein andauerte (Westbau unter Einbeziehung romanischer Teile im 16. Jahrhundert vollendet).

Eine wesentliche Neuformung erfuhr die Stadt durch Erzbischof Friedrich von Saarwerden. Seit 1389 wurde die noch aus Wall, Graben und Holzpalisaden bestehende Befestigung ersetzt durch fünf Toranlagen mit einer allerdings nur zögernd verwirklichten Stadtmauer. Westlich an die Bischofsburg anschließend überspannte das Mitteltor den zwölf Meter breiten Immunitätsgraben. Durch einen Wehrgang war es verbunden mit dem zur Stadtmauer gehörenden Meertor. Mit Erneuerung der Stadtbefestigung wurde die Stadt endgültig in ihrer äußeren längsrechteckigen Form und in ihrer Ausdehnung festgelegt: während die nördliche Bebauung reduziert wurde, entstand nun das südliche Straßennetz jenseits der Hochstraße.

Seit 1292 war Xanten gemeinsamer Besitz von Kleve und Kurköln. Die Trennlinie wurde durch das Mitteltor definiert. 1444 wurde die Stadt durch Herzog Johann erobert und gehörte seither zu Kleve. Erst jetzt unter Klever Herrschaft wurde die Stadtmauer im 15. Jahrhundert vollendet. Im Dreißigjährigen Krieg wurde Xanten 1641 von den Schweden eingenommen und entfestigt. Durch Verlagerung des Rheinlaufes versank die Stadt seit Mitte des 16. Jahrhunderts in Bedeutungslosigkeit. Nach schweren Zerstörungen im Zweiten Weltkrieg mit dem Verlust von Rathaus, Kapuzinerkloster, Gasthauskapelle wurde die Stadt mit weitgehend maßstabsgerechten Neubauten wiederhergestellt.

Siedlungsgeschichtlicher und grundrissprägender Kern der Stadt ist die Immunität mit Kirche und Stiftsbauten im Mittelpunkt. An der Ostseite der Immunität sind mehrere Kanonikerhäuser in Formen des 18. Jahrhunderts überliefert. Westlich des wiederaufgebauten Michaelstores finden sich noch Fragmente der Bischofsburg. Reste der Immunitätsmauer zur Klever Straße und zur Rheinstraße verweisen auf den Wehrcharakter der Gesamtanlage. Das nach dem Krieg erneuerte Mitteltor und der in Resten an der Bahnhofstraße erhaltene bis zum Meerturm reichende Wehrgang gehören zu den Befestigungsanlagen der Immunität.
Südlich der Immunität vorgelagert liegt der Marktplatz. Der Platz ist räumlich differenziert in den breiteren Großen Markt und den um die Tiefe des ehemals an der Südseite stehenden Rathauses zurückspringenden Kleinen Markt. Der Standort des Rathauses wird heute markiert durch eine die Südostecke des Großen Marktes einnehmende neuzeitliche Bebauung. Zwischen Immunität und Markt erstreckt sich eine bürgerliche Randbebauung, die, unterbrochen von der Evangelischen Kirche (1648/49), sich bis in die Kurfürstenstraße hinein fortsetzt. Diese im Krieg weitgehend zerstörte und anschließend in einfachen Formen erneuerte Bebauung ist Maßstabsträger für die dahinter aufragenden Baumassen der Stiftskirche.

Das noch mittelalterliche Straßennetz der Stadt Xanten wird geprägt von den beiden spangenförmig die Immunität einfassenden Straßenzüge (Klever Straße/Kurfürstenstraße/Marsstraße – Niederstraße/Rheinstraße) und dem vom ehemaligen Scharntor aus direkt zum Markt führenden Straßenzug (Oststraße/Scharnstraße). Zugehörig zum mittelalterlichen Stadtgrundriss sind auch die trotz Kriegszerstörungen in weiten Teilen der Stadt beibehaltenen Parzellengrößen, die sich in der Breite der Hausfassaden widerspiegeln.
Das Gesicht der Stadt wird wesentlich geprägt durch die nach dem Krieg wiederhergestellten bürgerlichen Wohnbauten. Nur wenige mittelalterliche Giebelhäuser mit Stufengiebeln sind überliefert. Es dominieren zwei- und dreigeschossige Putzbauten mit hochrechteckigen Fenstern in Lochfassaden. Die neben den Satteldächern vielfach noch sichtbaren, zur Straße hin abgewalmten Dächer verweisen auf frühere Giebelhäuser.
Eindrucksvoll überliefert ist die Silhouette der Stadt, über die Rheinwiesen hinweg von Osten mit Stiftskirche, Michaelskapelle, Evangelischer Kirche, Kartause, Krimhildsmühle und Klever Tor, sowie die Stadtansicht von Nordwesten mit dem Klever Tor im Vordergrund.

Die Stadt Xanten ist in Geschichte und überlieferter Bausubstanz ein Beispiel für die Herausbildung einer neuen städtischen Kultur in nachantiker Zeit. Die Entstehung der mittelalterlichen Stadt abseits der römischen Zivilsiedlung Colonia Ulpia Traiana, mit dieser aber dennoch sachlich und räumlich eng verbunden, liefert einen in der Forschung noch unentschiedenen Hinweis über das Verhältnis von Kontinuität und Diskontinuität zwischen Antike und Mittelalter. Das Stadtbild zeigt in seinen Grundrissformen noch sehr deutlich die Herkunft des Ortes aus der Stiftsgründung. Die Geschlossenheit der Stiftsburg und ihr Einfluss auf die Stadtbildung ist noch weitaus stärker erfahrbar als bei Städten vergleichbarer Provenienz im Rheinland (Bonn, Neuss, Essen). Auch der großzügige Marktplatz vor den Toren der Immunität, hier in Xanten besonders markant wirksam durch das wiederhergestellte Michaelstor, ist ein Merkmal ottonischen Städtebaus, das in dieser Klarheit nur noch selten überliefert ist. Das Straßennetz und die erhaltenen Befestigungsanlagen, wesentlich dem Ausbau des 14. Jahrhunderts zuzurechnen, zeigen den gotischen Städtebau in Kurköln nach der Phase der Stadtgründungen im 13. Jahrhundert.

Das Rheinische Amt für Denkmalpflege hatte schon 1972 (damals Landeskonservator Rheinland) in einem Arbeitsheft Ensembles 1 den städtebaulichen Wert der Stadt dargestellt. Der Schutzbereich sollte die mittelalterliche Stadt mit Stadtmauer und Grabenzone und die angrenzende Colonia Ulpia Traiana umfassen. Dieser Vorschlag fand zunächst Berücksichtigung in einer Gestaltungssatzung von 1978, die den ganzen mittelalterlichen Stadtkern innerhalb der Wallanlagen umfasste. Verbunden war die Gestaltungssatzung mit einem in enger Abstimmung mit dem Rheinischen Amt für Denkmalpflege durchgeführten Verfahren zur Aufstellung städtebaulicher Rahmen- und Bebauungspläne. Auf dieser Grundlage wollte die Stadt Xanten nur zögernd Satzungen nach dem Denkmalschutzrecht ausweisen. 1983 wurde eine Satzung für die Immunität ausgearbeitet und 1984 für die Wall- und Grabenzone. Das Rheinische Amt für Denkmalpflege konnte sich mit seiner Auffassung, den ganzen mittelalterlichen Stadtkern einschließlich Wall- und Grabenzone mit einer Satzung zu schützen, nicht durchsetzen. Rechtskräftig wurde nur die Satzung zur Immunität.

(Walter Buschmann, Rheinisches Amt für Denkmalpflege, LVR, aus: Mainzer (Hrsg.) 1996)