In den Jahren 1599-1604 wurde die junge Jungfer Rigborg in einem Zimmer des Schlosses gefangen gehalten. Dies geschah, nachdem Rigborg dem jungen Edelmann Frederik Rosenkrantz so nahe kam, dass sie einen Sohn gebar. Das war, als Rigborg eine Hofdame am Hofe von Christian IV. war. Die Schwangerschaft war außerehelich, und der Sohn Holger wurde ihr bei der Geburt weggenommen.
Rigborgs Vater, der Landvogt Laurids Brockenhuus, forderte eine Bestrafung für Rigborgs und Frederiks Handeln. Da König Christian IV. zögerte, Frederik zu bestrafen, beschuldigte Fürst Laurids den König, der Vater des Kindes zu sein. Als Ergebnis wurde der junge Frederik dazu verurteilt, zwei Finger zu verlieren und unehrenhaft zu werden. Wenige Jahre später, 1602, starb er im Alter von 28 Jahren bei einem Duell in Prag. Rigborg hingegen wurde zu lebenslanger Haft in ihrem Zimmer auf Egeskov verurteilt.
Als Rigborgs Vater 1604 starb, bat ihre Mutter, Karen Skram, den König um die Auflösung des Urteils. Rigborg wurde schließlich freigelassen und verbrachte ihre letzten Tage als hoch angesehene Dame in Nybøllegaard bei Ringe auf Mittelfyn. Im Jahre 1615 wurde Egeskov von Karen Skrams Schwiegersohn gegen Kærstrup auf Lolland ausgetauscht. Damit endete die Zeit von Skram und der Familie Brockenhuus auf Egeskov. Rigborgs Sohn, Holger, wurde 1624 als echter Rosenkrantz anerkannt und wurde zum Stammvater des norwegischen Zweigs der Familie. Er wurde 1634 in der Schlacht von Venloo getötet.
Die Tür des Rittersaals
Die Tür im Rittersaal sollte angeblich die gleiche Tür sein, die Rigborg 5 Jahre lang in ihrem Zimmer eingesperrt hielt. Ob das stimmt, ist nicht bekannt, aber es hat Hans Christian Andersen nicht davon abgehalten, sich in einem seiner Tagebücher vorzustellen, dass das Mädchen die junge, gefangene Rigborg sei.
