George Gordon Byron tytuł 6. Lorda Byrona odziedziczył w 1798 r., mając zaledwie dziesięć lat. Rodzinę miał z wszech miar malowniczą. Jego dziadek ze strony ojca to John Byron, brytyjski oficer Royal Navy i odkrywca z przydomkiem „Foul-Weather Jack”. Otrzymał go ze względu na wyjątkowo częste spotkania z kiepską pogodą na morzu. Był gubernatorem Nowej Fundlandii i jako komodor opłynął świat z własną eskadrą. John poślubił swoją kuzynkę Sophię Trevanion z którą miał siedem córek i dwóch synów. Jeden z nich, John „Mad Jack” Byron, był ojcem poety. Dziadek i pradziadek ze strony matki, Catherine Gordon, popełnili samobójstwo, jego własny ojciec żył w kazirodczym związku ze swoją siostrą, a on sam był w dzieciństwie molestowany przez nianię. Ale ab ovo, jak mawiali starożytni Rzymianie.

Ojciec poety, Jack Byron, kształcił się w Westminster School, został oficerem, walczył nawet w amerykańskiej wojnie o niepodległość, naturalnie po stronie angielskiej, a do historii angielskiej socjety przeszedł jako Mad Jack, czyli Szalony Jack, jeden z największych hazardzistów i rozpustników epoki, którego jego ojciec John, dziadek Byrona, wydziedziczył po tym, jak ten trafił do więzienia dla dłużników. Jack jako dwudziestolatek wdał się w romans, a potem poślubił Amelię Osborne – kobieta zostawiła dla niego męża, dwie córki i syna. Para miała troje dzieci, lecz tylko jedno dożyło wieku dorosłego – była to ich córka Augusta, którą po śmierci matki wychowywała najpierw babcia Mary Darcy, hrabina Holderness, a kiedy zmarła Augustą zajęła się bliższa i dalsza rodzina. Po śmierci Amelii Jack Byron, który garściami czerpał z jej wysokich dochodów, a wynosiły około czterech tysięcy funtów rocznie (w przeliczeniu na dzisiejszą wartość mogłoby stanowić około 600 tysięcy funtów rocznie), został bez grosza. Nie tracił jednak czasu. Już w rok później poślubił poznaną w uzdrowisku w Bath bogatą Szkotkę, Katarzynę Gordon. Jej portret, wykonany przez Thomasa Stewardsona, przedstawia niezbyt urodziwą, pulchną, ciemnowłosą damę o pełnej, życzliwej twarzy i wielkich, naiwnych oczach. Hazard Jacka pochłaniał szalone sumy, więc i jej fortuna nie wystarczyła na długo, ale 22 stycznia 1788 roku w wynajętym mieszkaniu przy londyńskiej Holles Street urodził się ich jedyny syn George Gordon Byron, późniejszy 6. Lord Byron. Miał zaledwie kilka lat, gdy jego ojciec, Szalony Jack, porzucił swoją szkocką żonę i uciekł do Francji, by zamieszkać ze swoją starszą o osiem lat siostrą Frances Leigh, z którą łączyły go nie tylko więzy krwi, ale i płomienny romans. Nigdy nie zdołał zapanować nad swoimi skłonnościami – wydawał wystawne przyjęcia, był stałym bywalcem teatrów i luksusowych burdeli, utrzymywał rozliczne kurtyzany. Zmarł w sierpniu 1791 roku w Valenciennes, mając niespełna trzydzieści lat. Jego śmierć sprawiła, że tytuł lorda Byrona przypadł jego synowi.

Życie lubi kontynuować wypróbowane wątki i porzuca je niechętnie. To samo zdarzy się w kolejnej generacji – George Gordon Byron, podobnie jak jego ojciec, zakocha się w swojej przyrodniej siostrze Auguście, czyli córce swego ojca i jego pierwszej żony Amelii Osborne. Augusta była w tym czasie mężatką, a jej mężem był jej własny kuzyn George Leigh, z którym miała trójkę dzieci. Żeby sprawę skomplikować jeszcze bardziej należy dodać, że George Leight, mąż Augusty, był synem Frances, tej samej, z którą Szalony Jack, ojciec Augusty i George’a, miał romans. Gdy Augusta urodziła swoje czwarte dziecko, jego ojcem chrzestnym został nikt inny jak George Gordon, Lord Byron. Prawdopodobnie był biologicznym ojcem dziecka, co pośrednio przyznaje w liście do swojej kochanki Caroline Lamb pisząc, że „dziecko nie jest małpą, a jeśliby nią było, to byłaby moja wina”, sugerując tym ewentualny wpływ wad genetycznych, jakie mogłoby mieć potomstwo zrodzone z kazirodczego związku. Skomplikowane? Najprościej można rozpisać to następująco: dziadek poety ze strony ojca, John Byron, miał kilkoro dzieci, między innymi Frances i Szalonego Jacka, których połączył kazirodczy związek. Synem Frances był George Leight, ożeniony potem z Augustą, córką Szalonego Jacka, a kochankiem Augusty i ojcem jej dziecka był z kolei jej przyrodni brat, George Gordon Byron, jeden z największych poetów i dramaturgów tamtej epoki, autor Don Juana, uwielbiany przez romantyków.