Nel sito in cui sorge oggi la chiesa, prossimo al Tevere, al Foro Boario e al Circo Massimo, sorgeva in epoca imperiale la Statio Annonae, il servizio che gestiva l'approvvigionamento e la distribuzione di cibo al popolo romano.
Ancor prima, però, esso era stato sede dell'Ara Massima di Ercole, santuario "internazionale" deputato a garantire i commerci e i mercanti che in quella zona trafficavano e vivevano.
Ancora nel I secolo a.C., Vitruvio cita un tempio a pianta rettangolare posto all'ingresso del Circo Massimo e dedicato ad Ercole Invitto o Pompeiano.[1].
Proprio per la storia del luogo, l'annona e gli edifici vicini divennero sede fin dal VI secolo di una diaconia, struttura ecclesiale destinata a garantire assistenza al popolo cristiano. La prima piccola chiesa fu fatta costruire da papa Gregorio I, la cui famiglia aveva grandi possedimenti nella zona, attorno all'inizio del VII secolo.
Papa Adriano I la fece ricostruire alla fine dell'VIII secolo dentro la struttura dell'antica sede dell'Annona, di cui la chiesa incorporò la struttura e il colonnato, dividendola in tre navate e abbellendola di splendide decorazioni. La chiesa e i suoi annessi furono affidati ad una colonia di monaci greci che si erano rifugiati a Roma per sottrarsi alle persecuzioni degli iconoclasti e si erano stabiliti su questa riva del Tevere, dove era già insediata la comunità greca ed era per ciò nota come Ripa Greca. Da questi la chiesa prese il nome di Santa Maria in Schola Greca, e divenne poi nota come Santa Maria in Cosmedin, dalla parola greca kosmidion (ornamento).
Diversamente dalla gran parte delle chiese romane del periodo, questa non era sorta sulla tomba di un martire. Tuttavia ebbe anch'essa la sua cripta, scavata nel podio della stessa Ara Massima.
Durante il pontificato di papa Niccolò I (858-867), alla chiesa furono aggiunti una sagrestia, l'oratorio e una residenza diaconale. Papa Gelasio II nel 1118 fece riparare i danni subiti dalla struttura quasi cento anni prima (1082) a seguito dell'invasione dei Normanni guidati da Roberto il Guiscardo, mentre papa Callisto II, intorno al 1120, fece costruire il portico.
La chiesa fu nuovamente restaurata nel 1718 su disegni di Giuseppe Sardi che ne trasformò lo stile da romanico a rococò e nel 1899 da G.B. Giovenale che eliminò questi elementi per riportare la chiesa al suo aspetto romanico originario che ancora oggi conserva.
In questa chiesa furono eletti al soglio pontificio papa Gelasio II, papa Celestino III e anche l'antipapa Benedetto XIII.
