Oprindelig var dalsænkningen her på den nuværende Piazza del Colosseo mellem højene Colle Oppio og Monte Celio og Monte Palatino et sumpet område, som Nero's arkitekter udnyttede til at lave en kunstig sø, da han lod bygge sit pragtfulde palads Domus Aurea.

Nero's Gyldne Hus var kæmpestort, det fyldte en del af Palatin og det meste af Celio- og Esquilinhøjen, men efter hans død i 68 efter Kristus ønskede hans efterfølgere at slette mindet om hans forhadte regeringsperiode og paladset blev revet ned og fyldt op som fundament til nye bygninger.

Kejser Vespasian lod den kunstige sø dræne og byggede Roms største amfiteater på samme sted i år 72 efter Kristus.

Kejserne og rige romerske adelsmænd bekostede de pragtfulde forestillinger med gladiatorkampe og kampe med eksotiske vilde dyr, som blev importeret fra hele den kendte verden. På denne måde kunne den store romerske underklasse underholdes og holdes i ro.

Der var plads til ca. 55.000 tilskuere i den 188 meter lange og 156 meter brede ovale bygning, der nåede en højde på 50 meter fordelt på 4 etager. I stueetagen var der 80 indgange for publikum, udsmykkede med buer og doriske søjler. På 1. salen var der buegange med joniske søjler, på 2. salen korinthiske søjler, mens den øverste etage var lukket. Alle buerne var udsmykket med statuer og ydermurene var dækket af travertin, mens indermurene var i mursten.

I kælderetagerne var der en labyrint af rum med adgangsveje, bure til de vilde dyr og hejseanordninger til at hejse dyrene op i arena'en gennem lemme i gulvet.

En deling søfolk fra flåden i Cap Misenum gjorde tjeneste ved Colosseum for at betjene det store solsejl "velarium", som fra pæle i den øverste etage kunne spændes ud over tilskuerpladserne for at beskytte mod den brændende sol.

Martyrlegenderne om de kristne, som ofredes for de vilde dyr i Colosseum er kun legender, og allerede i år 404 blev gladiatorkampene forbudt.

I 442 blev bygningen skadet af et voldomt jordskælv, men man fortsatte til år 523 med at afholde kampe med vilde dyr i arena'en.

Herefter mistede Colosseum langsomt sin betydning, et jordskælv i 1200-tallet reducerede bygningen til en ruin, som den romerske adelsfamilie Frangipani derpå omdannede til en befæstet borg.

I 1312 overgav kejser Henrik VII Colosseo til Senatet og det romerske folk og bygningen henlå igen som ruin og herfra hentedes efterhånden alt marmor og sten, som kunne bruges til byggemateriale til nybygninger, bl.a. af Peterskirken i Renæssancen.

Senere henstod ruinerne blot som rester på engområdet, hvor får og køer græssede, som det kan ses på mange malerier fra 17-1800-tallet.

I 1826 restaureredes Colosseo af Valadier, der opsatte støttemurene.

I 1870 fjernede man alt det tilgroede (der var et sandt botanisk paradis, op til 420 forskellige arter, på stedet) og i 1893-96 blev kældrene udgravet.

Navnet Colosseum kan evt. komme fra den kæmpestatue af Nero, som skal have stået lidt vest for bygningen. Statuens fundament kunne ses indtil 1936, i dag kan stedet ses i brolægningen.

Men navnet kan også stamme efter stedets antikke navn "Collis Isei", opkaldt efter et Isis-Tempel på Colle Oppio, herfra kom områdets navn "Iseo".

På Monte Celio lå i antikken flere bygninger med tilknytning til Colosseum: en række gladiatorkaserner (blandt andre Ludus Matutinus og Ludus Magnus. Af den sidste kan man se ruinerne ved Via Labicana.), våbensmedier og magasiner (Armamentarium og Samiarium), et stort magasin til opbevaring af forskelligt udstyr (Summum Choragium), et lighus for de døde gladiatorer (Spoliarium).

På Colle Oppio's sydskråning lå kasernen for de tjenestegørende søfolk, Castra Misenatium.