Tolstoi sugupuu ulatub tagasi vana germaani suguvõsani. Nende esivanem lahkus 14. sajandil Saksamaalt ja asus elama Tšernigovi. Perekonnanimi pärineb Andrej Haritonovitši hüüdnimest, keda Moskvas kutsuti Tolstoi’ks.
Tolstoi perekonna saatuse kaudu võib jälgida kogu Venemaa ajalugu. Nende seas oli sõjaväelasi, riigiametnikke, kubernerid, heliloojaid, meresõitjaid ja ajakirjanikke.
Kuid perekonnanime maailmakuulsuse tõi Lev Nikolajevitš, kes muide pidas kõiki Tolstoid „metsikuteks”, st liiga järskudeks ja otsekohesteks. Rohkem kui kolmsada Tolstoi järeltulijat ühendavad tänapäeval sugulussidemed Ameerika Ühendriikide, Venemaa ja Euroopa vahel. Kord kahe aasta jooksul kogunevad nad kõik Jasnaja Poljanasse.