Confraternita dei Pittori betyder "Lægbroderskabet af malere" og i denne sammenslutning havde malerne i Rom allerede tidligt "organiseret" sig. Lægbroderskabernes opgave var først og fremmest at hjælpe hinanden og sørge for at de døde medlemmer fik en passende begravelse. Broderskaberne var derfor knyttede til en kirke, hvor de deltog i ceremonierne og hvor de kunne afholde deres møder. Oprindeligt var medlemskredsen ret bred, den bestod af malere, men også af kobberstikkere, folk der fremstillede broderier og faner, miniaturemalere og guldsmede. Tilsvarende havde billedhuggerne deres broderskab kaldet "Università dei Marmorari".

Confraternita dei Pittori menes at have gammel oprindelse og stammede muligvis tilbage til Middelalderen og kaldtes "Università dei Pittori". Første gang det optræder i kilderne er i 1478, da Pave Sixtus IV tillader broderskabet at få sæde ved Kirken San Luca på Esquilin. Denne nu forsvundne Kirke lå tæt på Santa Maria Maggiore, omtrent ved hjørnet af Via Daniele Manin og Via dell'Esquilino.

San Luca Evangelista var malernes skytshelgen, legenden fortæller nemlig, at han var maler og den første som malede et maleri af Madonna med Barnet. Ifølge traditionen malede Rafael et billede, der viser San Luca ifærd med at udføre sit maleri, og dette billede anbragtes af broderskabet i Kirken San Luca.

Università dei Pittori fejrede især deres skytshelgens festdag, Festa di San Luca, den 18.oktober, men på grund af naboskabet med Kirken Santa Maria Maggiore de deltog også i Festa dell'Assunta, Festen for Maria's Himmelfart, den 15.august ligesom de gik med i de 2 processioner fra Santa Maria Maggiore til San Giovanni in Laterano og tilbage.

Da Sixtus V i 1585 var blevet Pave, lod han San Luca Kirken rive ned, fordi den stod i vejen for hans store landsted Villa Peretti, som havde indgangsport ud mod Santa Maria Maggiore. Eller måske for at pladsen omkring Kirken kunne planeres og anlægges. Som erstatning herfor fik Confraternita dei Pittori tildelt Kirken Santa Martina på Forum Romanum og denne fik herefter navnet Santi Luca e Martina.

Under Pave Gregor XIII var der opstået et ønske om at gøre broderskabet til et rigtigt kunstnerakademi med blandt andet undervisning og kunstnersammenslutningen L'Accademia romana di belle arti San Luca blev derpå grundlagt i 1593 af malerne Federico Zuccari og Girolamo Muziano samt billedhuggeren Pietro Paolo Olivieri.

Da Pave Gregor XIII gav sin tilladelse til oprettelsen af Accademia di San Luca, havde ham forlangt, at der stadigvæk samtidig skulle eksistere et religiøst broderskab, hvor alle kunstnerne, bortset fra lærlinge og arbejdsmænd, kunne blive medlemmer.

Derfor omdannedes og videreførtes således det gamle Università dei Pittori til: "Compagnia (eller Confraternita eller Congregazione) dei Pittori e Scultori di Roma". Dette broderskab blev ledet af formanden for Akademiet sammen med 2 "rettori" valgt blandt akademimedlemmerne, 1 "paciere" (fredsstifter) og 2 "visitatori", der skulle besøge de syge og fængslede medlemmer. Der blev lavet særlige regler for medlemmernes udøvelse af deres virksomhed og i 1606 gav Pave Paul V tilladelse til at broderskabet kunne få en dødsdømt benådet.

Broderskabet holdt ligesom Akademiet til i Kirken Santi Luca e Martina og fejrede især den 30.januar, som er festen for Santa Martina, den 15.august, som er festen for Maria's Himmelfart, og den 18.oktober, der er festen for San Luca.

Parallelt med broderskabet og Akademiet opstod også den mere elitære og religiøse sammenslutning Compagnia di San Giuseppe di Terrasanta, som senere kaldtes "I Virtuosi al Pantheon".