Den unge Jomfru Rigborg blev i årene 1599-1604 holdt indespærret i et værelse på slottet. Dette skete, efter Rigborg ”kom den unge adelsmand Frederik Rosenkrantz så nær, at hun nedkom med en søn”. Det var, mens Rigborg var hofdame ved Christian IV’s hof. Graviditeten var uden for ægteskab, og sønnen Holger blev taget fra hende ved fødslen.
Rigborgs far, lensmand Laurids Brockenhuus, krævede straf for Rigborg og Frederiks handlinger. Da kong Christian IV var tilbageholden med at straffe Frederik, beskyldte lensmand Laurids kongen for at kunne være barnets far. Det resulterede i, at den unge Frederik blev dømt til at miste to fingre og blive æreløs. Dog slap han for straffen ved at tage til England for at gå i krig mod Tyrkiet . Få år efter, i 1602, døde han som 28-årig i en duel i Prag. Rigborg blev derimod idømt indespærringen på værelset på Egeskov på livstid.
Da Rigborgs far døde i 1604, gik hendes mor, Karen Skram, i forbøn hos kongen for at få dommen mildnet. Rigborg blev til sidst løsladt og levede de sidste af sine dage som en højt agtet dame på Nybøllegaard ved Ringe på Midtfyn. I 1615 blev Egeskov byttet for Kærstrup på Lolland af Karen Skrams svigersøn. Derved blev Skram og Brockenhuus-familiens tid på Egeskov afsluttet. Rigborgs søn, Holger, blev i 1624 anerkendt som en ægte Rosenkrantz og blev stamfader til den norske gren af slægten. Han faldt i slaget ved Venloo i 1634.
Døren i riddersalen
Døren i Riddersalen skulle angiveligt være selv samme dør, som holdt Rigborg indelukket på sit værelse i 5 år. Om dette er sandt, vides ikke, men det stoppede ikke H. C. Andersen fra at forestille sig, at pigen var den unge indespærrede Rigborg i en af hans dagsbogs skriverier.
