Das Pfaffenröttchen wurde erstmals 1329 als Weingut des nahegelegenen Klosters Heisterbach erwähnt. 1803 wurde das Gut im Zuge der Aufhebung von Kirchen- und Klosterbesitz säkularisiert.
Der Pächter unterhielt seit den 1830er Jahren nebenher eine kleine „Meyerey“, die in Reiseführern als Ausflugstipp erwähnt wurde. 1832 ging das Gut in den Besitz des Bonner Universitätskurators Philipp Joseph von Rehfues über, der zuvor schon den Malteserhof in Römlinghoven erworben hatte.

Anschließend wechselte das Gut mehrfach seine Besitzer, bevor es 1860 der Fabrikbesitzer Albert Heinrich Caron aus Rauenthal bei Barmen kaufte. Im gleichen Jahr beantragte der Protestant Caron die Namensänderung in Haus Heisterberg. In der Bevölkerung akzeptierte man diesen Namen nur schwer. Die neue Aufschrift auf den Wegsteinen wurde verwischt, der neue Eintrag auf der Katasterkarte immer wieder durchgestrichen.

Ab 1871 errichteten die Architekten Edwin Oppler und Ferdinand Schorbach im Auftrag Carons ein neues Wohnhaus im neugotischen Stil. Für die Umgestaltung und Neukonzeption der schon vorhandenen gärtnerischen Anlagen zu einem größeren Park gewann Caron einen der bekanntesten Gartenarchitekten des Rheinlandes: Clemens Joseph Weyhe, Sohn des Düsseldorfer Hofgärtners Maximilian Weyhe. Unter Einbeziehung bestehender Weinberge und Obstwiesen wurde ein Park mit typischen Parkpflanzen der Zeit angelegt: Lebensbäume, Eiben, Kanarische Pinien und Wilder Wein. Die großen Mammutbäume links vom Haupthaus sowie die Blutbuchen und Rosskastanien neben der Freitreppe stammen vermutlich aus dieser Zeit. Aus der Erbauungszeit des Haupthauses datiert auch der Aussichtsturm von 1871. Dieser wurde durch ein verschlungenes Wegesystem vom Haupthaus her erschlossen. Zum Ensemble des Gutes gehörten zudem ein Mausoleum sowie ein kleiner Privatfriedhof.

Hinter dem Gut liegen mehrere größere Obstwiesen, die noch heute eine große Sortenvielfalt an Äpfeln und Birnen aufweisen. Ob diese Pflanzungen noch aus Carons Zeit stammen oder in den 1920er Jahren von dem nachfolgenden Besitzer angelegt wurden, lässt sich vorerst nicht sagen. In ihrer Vielfalt zeugen sie jedoch bis heute eher von der für Villenbesitzer wie Caron typischen Sammelleidenschaft als von einer rein wirtschaftlich ausgerichteten landwirtschaftlichen Anlage, wie sie dort später betrieben wurde. Die Streuobstwiesen der Villenbesitzenden waren weniger wirtschaftlichen Kriterien verpflichtet, sondern wurden durch Liebhaberei, pomologisches Interesse auch an anspruchsvollen Sorten, Herkunft aus anderen Regionen und ausgebildete Gärtner bestimmt: Auf diesen Wiesen ist oft eine erstaunliche Vielfalt zu finden.

Im Sommer 1920 verkaufte der Sohn Albert von Caron das Haus an den Kölner Industriellen Ottmar Strauss. In der Folge wurde der Garten stärker wirtschaftlich genutzt und das Weinbergsgelände durch Zukäufe bis zur Aussichtsplattform Richtung Rhein erweitert. Statt der bislang üblichen Einzelpfahlerziehung der Reben wechselte man zur modernen Drahterziehung. Außerdem wurde ein (heute noch bestehender) Weinkeller in den Felsen gehauen. Schon im April 1933 hatte Strauss seine Firmenanteile unter dem wachsenden politischen Druck an seinen Teilhaber Otto Wolff übertragen, um einer „Arisierung“ zuvorzukommen. Auch im Ort wuchsen die antisemitischen Anfeindungen. 1936 emigrierte Strauss in die Schweiz. Um 1935 kam zwischenzeitlich ein Pächter auf das Gut, bevor es 1939 an den Provinzialverband überging. Dieser richtete dort eine Fürsorgeerziehungsanstalt für schulentlassene Mädchen ein.

1953 wurde der Landschaftsverband Rheinland neuer Eigentümer, der schon bald eine Erweiterung plante. Aufgrund der immer noch gültigen Kriterien der Bauordnung von 1930 mit dem Augenmerk auf dem Naturschutz wurde „besonderer Wert auf eine gute Einfügung in die Umgebung gelegt“. Erst 1957 riss der Verband die alte Villa komplett ab und baute neu. Zusätzliche Nebengebäude sollten die Separierung der männlichen und weiblichen Gäste ermöglichen. 1958 wurde der Jugendhof Rheinland durch zwei zusätzliche Flügel und eine kleine Sportanlage erweitert. 1973 wurde das Haupthaus nochmals vergrößert bzw. umgebaut. Nach dem Verkauf durch den Landschaftsverband eröffnete 2017 die österreichische Hotelkette JUFA dort eine Dependance. Das öffentlich zugängliche Café und Restaurant verweist mit dem Namen Haus Heisterberg auf die Geschichte des Ortes.

(Christiane Lamberty, Siebengebirgsmuseum Königswinter, 2024)