Der Standort des heutigen Pfarrhauses an der Nordostseite der Martinskirche sollte spätestens seit dem 13. Jahrhundert bebaut sein. In der Stiftungsurkunde des St. Martinsstifts vom 12. Dezember 1303 ist eine curia, ein Doppelhaus, erwähnt in dem rechts mit anschließendem Weinberg der Dekan wohnte. Im linken Teil, zu dem ein Garten gehörte, wohnten die Pröpste. Das Pfarrhaus wurde an der Stelle des früheren Propsteihauses und der Dechanei von St. Martin, genauer auf den Grundmauern des in der Urkunde erwähnten Doppelhauses, erbaut.
Zudem gibt es Vermutungen zur Lage des für Oberwesel nachgewiesenen merowingisch-karolingischen Königshofs an dieser Stelle.
Auch zurzeit, als die Martinskirche unter Napoleon keine Pfarrkirche mehr war, wohnten die Pfarrer im Pfarrhaus auf dem Martinsberg.

Das zweiflügelige Haus stand an oder auf der ersten Stadtmauer, denn die Nord- und Ostwand des Kellers bestehen aus massiven Bruchsteinen. Die Ausrichtung des Nordflügels ist dem Rhein zugewandt, der Westflügel zur Sakristei.

Ende des 18. Jahrhundert wurden die beiden Doppelhäuser vermutlich zu dem heutigen Gesamtkomplex verbunden und der südliche Teil des Westflügels ohne Unterkellerung erweitert. Die Anbaumaßnahmen waren 1813 in der Karte des Urkatasters schon abgeschlossen und das Haus in seiner heutigen Form eingetragen.
Gerade für das 19. Jahrhundert sind größere Reparatur- und Sanierungsarbeiten an der maroden und baufälligen Substanz des Westflügels belegt.

Das Objekt ist auf der zum Martinsberg gewandten Seite zweigeschossig, im Norden und Osten aufgrund des steil abfallenden Geländes zum Niederbach dreigeschossig. Die verputzte Bruchsteinmauer des untersten Geschoss weist im Norden und Osten quadratische Fenster mit Sandsteingewänden (Ausschrägung ins Mauerwerk) auf. Die restlichen Fensterachsen sind unsymmetrisch verteilt. Zur Hofseite verfügen beide Flügel über drei Achsen. Im Norden sind vier Achsen angelegt, im Westen fünf bzw. sechs.
Im Westen des Westflügels ist ein eingeschossiger Stall und Remise (Wirtschaftsgebäude) angebaut.

Dadurch, dass das Haus zahlreichen baulichen Veränderungen unterworfen war, lassen sich auch verschiedene Baumaterialien finden. Im Keller lassen sich vorwiegend Schieferbruchsteine ausmachen, die Kellerdecke im Osten wurde mit Beton stabilisiert. Die Mauern des Nordflügels im östlichen Teil sind aus Fachwerk, wohingegen sie im Westteil aus Backsteinen bestehen. Die Dacheindeckung ist aus Schiefer.
Das Zwerchhaus im Ostteil weist ein ovales Rundbogenfenster und eine ovale, horizontale Luke auf. In der Mitte der zum Garten gewandten Westseite ist das Dach ebenfalls mit einem Zwerchhaus ausgestattet. Darüber hinaus wird die Fassade im Südosten durch eine Marienstatue in einer Nische geschmückt.

In Inneren ist die Raumaufteilung um die zweigeschossige Diele gegliedert.

(Kira Bublies, Universität Koblenz-Landau, 2016)