Graf Simon VI. zur Lippe, ein kunstsinniger und hochgebildeter Herrscher, ist als Erbauer des Jagdschlosses Oesterholz in die Geschichte eingegangen.
Urkundlich belegt ist der Besitz der Burg durch Heinrich Graf von Sternberg für das Jahr 1252. 1405 fielen Burg und