Il computer che impara a fare il critico d'arte

Essere un genio è quasi sempre significato non essere capiti. Colui che osserva un'opera d'arte o che legge un libro di successo rimane basito per un tempo necessario a comprendere che sì, quest'artista è diverso, questo quadro o questo libro mi stanno dicendo cose interessanti. Magari stanno parlando di me.

E con tutta probabilità ci vorrà del tempo per assimilare il vero significato dell'opera, perché non si dispone ancora delle conoscenze e delle esperienze necessarie a riconoscere come vero quanto ci sta di fronte, sia questo un dipinto quanto piuttosto un libro. Ad un livello ancora superficiale, l'opera del genio giunge all'uomo e da una parte di questo è certamente riconosciuta, ma a livello più profondo mancano ancora quelle associazioni necessarie a comprendere ciò che il genio ha visto e che ci vuole raccontare. E ciò che manca all'uomo per riconoscere un autore o una corrente artistica, è oggi oggetto di studio da parte dei ricercatori.

"Così, mentre ero in questo museo, ho pensato che sarebbe stato bello poter istruire un computer a riconoscere il nome di un pittore soltanto da un suo quadro, ma non un quadro conosciuto, bensì un quadro inedito o comunque sconosciuto al computer."

A parlare è il Dr.Ahmed Elgammal, professore associato nel Dipartimento di Computer Science alla Rutgers University del New Jersey.

"Parliamo di vero e proprio apprendimento delle macchine, machine learning, il nostro algoritmo istruisce il computer a riconoscere le opere d'arte. Più esattamente, lo scopo della nostra ricerca è stato quello di istruire la macchina a capire le influenze artistiche tra un autore e l'altro nel campo della pittura."

a sinistra Frederic Bazille - Bazille's Studio, 1870
a destra Norman Rockwell - Shuffleton's Barber Shop, 1950

Il team del prof.Elgammal ha lavorato per tre anni a questo progetto. Siamo nel campo della Computer Vision, parliamo dunque di algoritmi in grado di riconoscere oggetti, volti e persone nelle immagini, esattamente come avviene per le macchine fotografiche di oggi o sui software di Google e Facebook nella fase di caricamento di una foto.

Dice il prof.Elgammal che un quadro può essere rappresentato in genere da sette elementi; spazio, forma, sagoma, colore, tonalità, linee e struttura. All'inizio della loro ricerca però si sono accorti che questi parametri non erano sufficienti, così hanno dovuto introdurne altri come il riconoscimento del movimento, dell'unità, del contrasto e della proporzione. In aggiunta hanno considerato anche l'argomento stesso del quadro, gli oggetti rappresentati, il tipo di pennellate e il materiale. Per finire, il contesto storico.

"Attualmente esistono alcuni database di quadri nel mondo, altri ancora sono invece dei progetti condivisi e in continua crescita. La catalogazione è possibile in questo senso, qualora ciascuno di noi contribuisca ad arricchire il database. Ma fare in modo che questo lavoro venga svolto da una macchina rende le cose più interessanti. E' interessante perché la macchina non solo può riconoscere lo stile di un pittore, ma può riconoscere anche i pittori passati che lo hanno influenzato, prerogativa esclusiva di un critico d'arte. Capisci però che i dettagli di un quadro possono essere davvero tanti e possono sfuggire persino a uno studioso di storia dell'arte."

Ho chiesto al professore di parlarci a grandi linee di come il suo team fosse arrivato all'algoritmo.

"All'inizio del nostro studio abbiamo dovuto capire quale fosse la migliore rappresentazione matematica di un quadro per stabilirne le influenze artistiche. Poi, abbiamo preso in considerazione sia la somiglianza tra i quadri che quella tra gli artisti. Questi tre elementi sono stati applicati al nostro personale dataset di 1710 dipinti ad alta risoluzione. Parliamo di opere che vanno dal 1412 al 1996 rappresentando 13 stili diversi di 66 artisti. Nel nostro dataset abbiamo una media di 132 quadri per stile e passiamo da un massimo di 140 opere di Paul Cézanne, fino ad autori con un'opera sola come Hans Hoffmann."

Gli stili che il team del professore ha preso in esame sono l'espressionismo, l'impressionismo, il rinascimento (336 quadri), il periodo del romanticismo, il cubismo, il barocco, il surrealismo, il post impressionismo, il modernismo americano (23 quadri), il simbolismo, la pop art, il neoclassicismo e l'arte astratta.

sopra Joan Mirò - La fattoria, 1922

a destra Vincent van Gogh  - Old Vineyard with Peasant Woman, 1890 

stessi scenari, stessi oggetti, ma stili diversi
Mirò risulta sia stato influenzato da Van Gogh

"Quello che abbiamo dovuto fare - continua il professore - è stato innanzitutto capire cosa altri scienziati avessero prodotto in merito a una simile questione. Ci siamo basati sulle ricerche di Thomas Lombardi per il riconoscimento di un pittore dai diversi tipi di pennellate. Abbiamo studiato il modello Bag of Words usato per esempio da Maria Khan per capire di chi fosse un quadro su una scelta possibile di otto pittori. Gli studi di Gustavo Carneiro poi ci sono stati d'aiuto per comprendere quale fosse il modo migliore per identificare le somiglianze tra due quadri. Insomma, la Computer Vision sta facendo tanto e da tanto tempo, ma quello a cui noi abbiamo puntato in questi tre anni non è stato affrontato da nessuno. Scoprire quale artista abbia influenzato un determinato pittore caricando l'immagine di un quadro nel computer, era ed è scienza di frontiera nel campo dell'Intelligenza Artificiale."

"E immagino che questo possa tramutarsi anche in un business."

"Sì, in effetti siamo stati già contattati da un paio di società, ma è stata più che altro una chiacchierata sul modello in sé. Non escludo però che in futuro possano uscire delle applicazioni in quest'ambito che usino il nostro algoritmo. Pensiamo già a quelle esistenti su smartphone per il riconoscimento di opere utilizzate all'interno dei musei o di oggetti, come fa ad esempio l'applicazione Google Goggles. Forse le nostre applicazioni saranno in grado di raccontare chi siano i maggiori contributori del pittore che si ha davanti."

"E che risultati avete ottenuto?"

"Che Donatello ad esempio, è stato influenzato da Mantegna e dal fiammingo Van Eyck. Ma è vero pure che Mantegna sia stato a sua volta influenzato da Donatello. Caravaggio invece da Rubens, da Raffaello e da Leonardo. Poi è uscito che Warhol avesse alcune influenze di Degas o Rubens di Velasquez. Sempre il vostro Mantegna sembra aver influenzato anche Munch e Klimt. Tutti questi risultati sono venuti fuori grazie al livello di astrazione semantica del nostro modello. Il metodo infatti che ci dava i risultati più affidabili è chiamato "classeme". E' un modello che codifica i quadri prendendo in considerazione campi semantici imparati dalle immagini su internet.

Bag of Words model in computer vision

"Una volta prodotto il nostro personale e unico vettore che rappresentasse ogni singolo quadro, abbiamo applicato Euclide per trovare le somiglianze tra un dipinto e l'altro.  A questo punto l'accuratezza dei risultati è stata soddisfacente. Abbiamo prodotto una serie di grafici raggruppando gli artisti che più si sono influenzati tra loro. La concentrazione di più pittori in un'area rappresenta un movimento, una corrente, con dei maestri a guida di altri artisti."

mappa degli artisti

"Prof.Elgammal, considerando lo stato attuale della ricerca, lei crede sia possibile che questi algoritmi arrivino a dirci se in una persona ci sia del genio o se un bambino sarà un genio in un determinato campo che magari non conosce ancora?"

"Questa è un'ottima domanda." Il professore ci pensa un pò su. "Devo dire che sarebbe un campo di ricerca molto interessante, ma non è così facile dare una risposta. Certamente se parliamo della genialità in un campo specifico le possibilità aumentano. Ad un livello più generico forse proverei a lavorare sull'immagine stessa del cervello."

Concludo la mia intervista con il Dr.Elgammal chiedendogli se dipinga o se abbia una qualche passione in campo artistico.

"Beh, se avessi del tempo per farlo, mi piacerebbe disegnare sì. Ma mi consolo del fatto che questi studi vanno a incontrare quella cultura umanistica che negli anni '80 volevo approfondire. Sono nato ad Alessandria d'Egitto e da giovane volevo fare l'archeologo. Poi, poco prima di iscrivermi all'Università, ho scoperto i calcolatori e ho cominciato a programmare. E' nata così una passione e quella passione sta trovando adesso ampio spazio in un settore decisamente umanistico come la pittura. Come vede, la distanza che separa due campi quali arte e computer è in fondo inversamente proporzionale alla nostra stessa curiosità. Io sono uno dei tanti esempi che quest'unione sia veramente possibile."



(FINE PRIMA PARTE)
english version