Die auf diesem Berg entzündeten Feuer riefen die „Heiden“ zu Versammlungen und Kultfesten. Der Lichtfels, wie er wegen dieser Feuer im Volksmund genannt wurde, war über eine lange Zeit hinweg die Grenze, die der katholische Glaube nicht überwinden konnte.
Nachdem die Burg kurz nach dem Bau zerstört wurde, erbaute Abt Hermann I. von Holte ab 1223 bis 1230 die neue Burg Lichtenfels, deren gotische Architektur im heutigen Torhaus erhalten geblieben ist.
Am 21. Juli 1267 verpfändete Corvey dem Grafen Adolf I. von Waldeck unter anderem die Burg Lichtenfels.
Nach heftigen Fehden musste Corvey 1297 dem Grafen Otto I. von Waldeck endgültig den Besitz der Burg zugestehen.