In den Jahren um 1220 ließ Friedrich von Angersbach (ab 1232 Friedrich von Wartenberg genannt) auf dem „Wartenbachhügel“ eine Burg erbauen, der zunächst der Bergfried und anschließend die innere Ringmauer sowie die übrigen Bauten zugeordnet wurden. Die Söhne Heinrich und Dietrich von Wartenberg gelten als die Inhaber der Burg Wartenberg nach dem Tod Friedrichs.