Oberhalb von Grevenbrück erbauten die Edelherren von Gevore ihren Stammsitz, heute Peperburg genannt. Sie wurde seit der ersten Hälfte des 12. Jahrhunderts genutzt und auch nach dem Umzug des Feldherren von Gevore nach Bilstein bis in die letzten Jahrzehnte des 13. Jahrhunderts bewohnt. Der Hauptteil wurde im 19. Jahrhundert bei Steinbrucharbeiten zerstört. Heute sind nur noch die Grundmauern des südlichen Burgteils erhalten.
Die ursprüngliche Größe der Kernburg ist unbekannt, sie muss aber zumindest eine dreifache Ausdehnung des heute erhaltenen Areals gehabt haben. Die Kernburg war von einer zwei Meter breiten Ringmauer umschlossen. Vorgelagert war ein in den Felsen eingetiefter, 14 Meter breiter Burggraben. Die im Inneren an die Ringmauer angeschlossenen Bauten sind mehrfach umgebaute Wirtschaftsgebäude und Türme, die erst in der zweiten Hälfte des 12. Jahrhunderts errichtet wurden.
Die ergrabenen Mauern wurden befestigt, teilweise ergänzt und in dem Zustand belassen, auch wenn damit Mauern nebeneinander erscheinen, die ursprünglich nicht zur gleichen Zeit existierten.