Karlo i njegov mlađi brat Karlmann nikad se nisu naročito podnosili. Bili su prinčevi željni dokazivanja i vrebali su jedan drugoga u borbi za moć. Nakon smrti njihova oca Pipina, braća su zavladala Franačkim kraljevstvom: Karlo je okrunjen u biskupskom gradu Noyon u sjevernoj Francuskoj, a Karlmann u susjednomu gradu Soissonsu. Pipin je ranije Franačko kraljevstvo smatrao obiteljskom svojinom. Čak i Akvitanija na jugu Francuske, u kojoj je u to vrijeme bilo pobuna protiv karolinga, njima je dvojici predana u zajedničku vlast. No kad je Karlmann odustao od vojnoga pohoda, Karlo je Akvitaniju preuzeo u svoje ruke.
Karlov otac Pipin bio je jedinstveni vladar na franačkomu prijestolu, a imao je podršku tadašnjega pape. Kraljevska se obitelj savezom između Franaka i pape obvezala da će štititi Papinsku državu koju je prethodno Pipin utemeljio darovnicom. Tako su franački vladari bili obvezani štititi Svetu Stolicu od napada Langobarda. Stoga je Karlo pristao na ugovoreni brak s jednom langobardskom princezom, premda su u Rimu bili sablažnjeni ovakvim sporazumom s nevjernicom.
Kad je Karlmann u prosincu 771. godine iznenada umro, Karlo je preuzeo vladavinu nad Franačkim Carstvom. A kad je na Petrovu stolicu zasjeo papa Hadrijan I., Karlo je ostavio svoju lombardsku suprugu i obnovio savez s Papinskom državom. Potom je Karlo osvojio Kraljevstvo Langobarda, sve do juga Italije i na taj je način proširio granice Franačkoga Carstva. No kako tvrdi franački učenjak Einhard, autor Karlova životopisa, najdugotrajniji, najstrašniji i najnaporniji rat kralj Karlo je vodio protiv Saksonaca.
Više od tri desetljeća trajala je borba u kojoj je Karlo između ostaloga razorio Irminsul, golemi drveni stup koji je predstavljao kultno središte poganskih Saksonaca. Godine 777. Karlo je Saksoniju dao podijeliti na manje teritorije kako bi misionari mogli pokrstiti narod. Nakon sređivanja političkih i crkvenih odnosa u Carstvu, papa je Karla 800. godine okrunio za cara.
Do danas je Karlo Veliki postao simbol velike kraljevske moći. U poljskom jeziku njegovo je ime ostalo termin za kralja – krol. Mnogi njegovi suvremenici, naročito crkvenjaci, zvali su ga „Ocem Europe“. S obzirom na multikulturalnu dinamiku europskoga kontinenta Karlo Veliki vjerovao je u objedinjujuću moć kršćanskoga carstva.
Posljednja desetljeća svoga života Karlo je proveo je uglavnom u falačkomu Aachenu, gdje je uživao u izvorima tople vode i u lovačkim pohodima. Umro je 28. siječnja 814. godine, a pokopan je u carskoj grobnici katedrale u Aachenu
