Die ursprüngliche Größe der Kernburg ist unbekannt, sie muss aber zumindest eine dreifache Ausdehnung des heute erhaltenen Areals gehabt haben. Die Kernburg war von einer zwei Meter breiten Ringmauer umschlossen. Vorgelagert war ein in den Felsen eingetiefter, 14 Meter breiter Burggraben. Die im Inneren an die Ringmauer angeschlossenen Bauten sind mehrfach umgebaute Wirtschaftsgebäude und Türme, die erst in der zweiten Hälfte des 12. Jahrhunderts errichtet wurden.
Die ergrabenen Mauern wurden befestigt, teilweise ergänzt und in dem Zustand belassen, auch wenn damit Mauern nebeneinander erscheinen, die ursprünglich nicht zur gleichen Zeit existierten.
Der benachbarte Steinbruch gehören übrigens zu den Sauerland-Seelenorten. Es lohnt sich auf jeden Fall auch den von Gräsern und Efeu überwucherten und von Buchen umgebenen Kalksteinbruch zu besuchen (www.lennestadt-kirchhundem.de/de/neusta-touren/seelenortwanderung-steinbruch-peperburg).
Wer lieber auf zwei Rädern unterwegs ist, kommt bei seiner Tour über den Sauerlandradring unterhalb von der Peperburg vorbei.