L'architecture du Colisée montre un plan ovoïde, c'est à dire en forme d’œuf. C'est une ellipse à plusieurs centres, mais d'un aspect général il est assez proche d'une plan ovale. La plus grande longueur fait 187,75 mètres et sa largeur 155,60 mètres, pour une hauteur constante de 50,75 mètres. Il se compose d'un bloc en amphithéâtre encerclant une arène entourée d'une façade qui en fait le tour. Il y a quatre étages. L'espace entre l'amphithéâtre et la façade est fait de deux couloirs circulaires mitoyens par étage.

La façade et les couloirs intérieurs sont percés de 80 arcades de grandes tailles, arcades voûtées en plein cintre séparées les unes des autres par des demi-colonnes décorées. Cette succession d'arcades n'existent que sur les trois premiers niveaux, le quatrième, postérieur, est un mur plein, une pièce d'architecture que l'on appelle "attique" et qui est percé de petites fenêtres rectangulaires au rythme d'une arcade sur deux. Au sommet il y a une installation de pierre permettant de maintenir verticalement un mat : Répétée 240 fois, cette installation formait une couronne de mâts verticaux entre lesquels on pouvait tendre une toile : Le velarium.

Les gradins étaient répartis le long de la courbe de l’amphithéâtre. Les sièges les plus proches de l'arène étaient à 3 mètres de hauteur, le mur qui les sépare s'appelle un podium. De la première rangée à la dernière, on croise 7 anneaux concentriques, de plus en plus grands au fil de la montée dans les étages. Ces anneaux sont la structure du bâtiment, ils reposent sur des arcs déchargés par des murs de pierres qui leurs sont perpendiculaires. Plus on monte dans les étages, plus la courbe d'altitude augmente son coefficient : Ça signifie que plus on est haut, plus on est "au-dessus" de la personne devant, alors qu'en bas, on est plutôt "derrière" cette personne.

Au point de vue des places disponibles, les dimensions du Colisée sont impressionnantes : les chiffres oscillent entre 75 000 et 80 000 places, soit la population d'une ville actuelle de moyenne importance. A titre de comparaison, l'amphithéâtre d'El Djem (Tunisie) pouvait recevoir jusqu'à 30 000 spectateurs, celui d'Arles (France) 20 000 et celui de Lambèse (Algèrie) 12 000.

Les spectateurs étaient assis dans un arrangement hiérarchisé qui reflète la nature rigide et stratifiée de la société romaine.
Des loges spéciales étaient réservées respectivement au Sud et Nord à l'empereur et aux Vestales, offrant les meilleures vues sur l'arène. Une large plate-forme ou podium, au même niveau, accueillait les spectateurs de classe sénatoriale, autorisés à apporter leur propre chaise. Les noms de certains sénateurs du V° siècle sont encore gravés dans la pierre.
Le niveau situé juste au-dessus de celui des sénateurs, connu sous le nom de primum maenianum, était occupé par la classe des chevaliers (ordre équestre : équites, noblesse non sénatoriale). Le niveau suivant, le maenianum secundum, était à l'origine réservé aux simples citoyens romains (les plébéiens) et était divisé en deux sections. La partie inférieure (l'immum) était destinée aux citoyens riches, alors que la partie supérieure (le summum) était dévolue à la classe moyenne. Des secteurs spécifiques étaient attribués à d'autres groupes sociaux : par exemple, les garçons avec leurs tuteurs, les soldats en permission, les dignitaires étrangers, les scribes, les hérauts, les prêtres et ainsi de suite. Certaines zones étaient réservées à des groupes spécifiques. Les sièges de pierre, — et plus tard de marbre — étaient rendus plus confortables par les coussins que chacun apportait pour son propre usage.
Un autre niveau, le maenianum secundum in ligneis, ("2ème étage en bois") fut ajouté au sommet de l'édifice sous le règne de Domitien. Il consistait en une galerie destinée aux pauvres, aux esclaves et aux femmes, avec des places debout ou aménagées succinctement sur des tribunes de bois en pente très raide. Certains groupes étaient totalement exclus du Colisée, notamment les fossoyeurs, les acteurs et les anciens gladiateurs.
Chaque niveau, divisé en sections (maeniana) par des passages en courbe et des murets (praecinctiones ou baltei), était subdivisé en cunei, ou portions, et par les allées et les marches des vomitoria. Chaque rangée (gradus) avait ses sièges numérotés, permettant de désigner précisément chaque siège par son gradus, son cuneus et son numéro propre.