Maler og officer Sir Nevile Wilkinson (1869-1940), var søn af en sagfører i London og deltog i Boerkrigen. I 1903 giftede han sig med Lady Beatrix, ældste datter af den 14. Jarl af Pembroke. De fik 2 døtre, den ældste Guendolen blev født i 1904.
Inspirationen til at bygge de fine dukkehus, fik Sir Nevile Wilkinson en dejlig sommerdag i 1907, hvor han sad i sin have og malede. Som så ofte før, når han malede, løb Guendolen rundt i haven. Denne dag havde hun set nogle små alfer ude i haven og var overbevist om, at de levede i huler under jorden. De burde have et fint hus at bo i, mente Guendolen.
Sir Nevile lovede at bygge et palads til Alfedronningen Titania, prinsgemalen Oberon og deres syv børn. Thi dem var det hans datter havde set et glimt af.