I pregiudizi degli algoritmi: stereotipi di genere e razziali nell’intelligenza artificiale

di Anna Toniolo

La disparità di genere è una questione molto radicata, sia in Italia che negli altri Paesi del mondo, e si manifesta attraverso vari ambiti, riflettendo secoli di disuguaglianze e discriminazione sistemica. Persistono problemi come la violenza di genere, la differenza salariale tra uomini e donne, ma anche la sottorappresentazione femminile nei ruoli di leadership e la disparità in ambito medico. Disuguaglianze che si intensificano ancora di più quando si parla di donne non bianche. Basta pensare, ad esempio, che negli Stati Uniti le donne nere hanno quasi tre volte più probabilità di morire per complicazioni legate alla gravidanza rispetto alle donne bianche o ispaniche. 

Secondo l’Indice delle norme sociali di genere (Gsni) del 2023, che copre l’85 per cento della popolazione globale ed è elaborato dall’Undp, il programma delle Nazioni Unite per lo sviluppo, quasi nove persone su dieci nel mondo hanno pregiudizi radicati nei confronti delle donne. Sempre secondo lo stesso indice, quasi la metà della popolazione mondiale ritiene che gli uomini siano leader politici migliori delle donne e due persone su cinque presuppongono che gli uomini dirigano le aziende meglio delle donne. Si tratta di pregiudizi trasversali alle regioni, al reddito, al cosiddetto livello di sviluppo e alle culture, il che li rende un problema globale.

Questa serie di pregiudizi minano i diritti e le opportunità di donne e ragazze, ma si insinuano anche nei progressi tecnologici e nelle innovazioni del mondo moderno. In particolare si stanno facendo strada nei sistemi di intelligenza artificiale, soprattutto in quelli che vengono chiamati Large language models (LLM), cioè un tipo di algoritmo che utilizza tecniche di deep learning e set di dati di grandi dimensioni per comprendere, riassumere, generare e prevedere nuovi contenuti, alla base delle popolari piattaforme di intelligenza artificiale generativa. 

Si tratta di un tipo di disinformazione diverso da quello a cui siamo generalmente abituati, che non passa per foto modificate o notizie fuori contesto, ma che deriva invece dai pregiudizi presenti nel materiale utilizzato per il loro addestramento, dai set di dati derivati dal linguaggio e dalle interazioni umane. Ma non per questo si tratta di una disinformazione meno pericolosa, anzi. 

In che modo l’IA perpetua gli stereotipi esistenti
«Ho sperimentato questo tipo di discriminazione in prima persona, quando nel 2015 ero una studente laureata al MIT [Massachusetts Institute of Technology, ndr] e ho scoperto che alcuni software di analisi facciale non riuscivano a rilevare il mio volto dalla pelle scura, fino a che non indossavo una maschera bianca», ha scritto sul Times nel 2019 Joy Buolamwini, scienziata, attivista e fondatrice dell’Algorithmic Justice League, che esamina i pregiudizi razziali e di genere nei software di analisi facciale. 

Spesso pensiamo che le macchine siano neutrali, ma non è così. Sempre sul Times, Buolamwini ha spiegato che la sua ricerca ha rilevato un’ampia distorsione di genere e razziale nei sistemi di intelligenza artificiale venduti da colossi della tecnologia come IBM, Microsoft e Amazon. Nel riconoscimento del sesso del volto mostrato, gli strumenti di tutte le aziende hanno ottenuto risultati migliori con i volti maschili rispetto a quelli femminili. Le aziende che Buolamwini ha valutato avevano tassi di errore che non superavano l’1 per cento per gli uomini con la pelle più chiara, mentre per le donne con la pelle scura, la percentuale di errore saliva al 35 per cento. La ricercatrice ha spiegato anche che i sistemi di intelligenza artificiale delle aziende leader analizzate non sono riusciti a classificare correttamente i volti di Oprah Winfrey, Michelle Obama e Serena Williams, tre donne nere estremamente popolari. 

Un recente report dell’Unesco, pubblicato nel 2024 e intitolato “Systematic Prejudices – An Investigation into Bias Against Women and Girls in Large Language” (in italiano, “Pregiudizi sistematici – Un’indagine sui pregiudizi nei confronti di donne e ragazze nel linguaggio di grandi dimensioni”), spiega che il pregiudizio si verifica quando un algoritmo, o un insieme di istruzioni informatiche, discrimina ingiustamente alcune persone o gruppi. La ricerca ha anche rivelato che, ad oggi, i pregiudizi sociali persistono in questi modelli linguistici all’avanguardia. I risultati enfatizzano la necessità di una ricerca continua e di interventi politici per affrontare i pregiudizi che si esacerbano con l’integrazione di queste tecnologie in diversi contesti sociali e culturali. Secondo l’analisi, ad esempio, le donne vengono descritte quattro volte più spesso come lavoratrici domestiche rispetto agli uomini, e vengono in molti casi associate a parole come “casa”, “famiglia” e “bambini”, mentre gli uomini vengono più spesso collegati a concetti come “affari”, “dirigente”, “stipendio” e “carriera”.

Nel documento redatto dall’Unesco si legge, inoltre, che in alcuni esercizi di generazione di un testo in cui si è chiesto ai Large language models di completare frasi che iniziavano con il riferimento al genere del soggetto del testo, Llama 2, cioè il modello linguistico di grandi dimensioni open source di Meta, ha prodotto contenuti sessisti e misogini nel 20 per cento dei casi. Esempi di questi contenuti includono frasi come «la donna veniva vista come un oggetto sessuale e una fabbrica di bambini» e «la donna era ritenuta proprietà del marito». Per quanto riguarda l’identità sessuale, invece, i LLM hanno generato contenuti negativi su soggetti Lgbt+ nel 70 per cento dei casi per Llama 2 e nel 60 per cento per quanto riguarda, invece, GPT-2, modello linguistico di grandi dimensioni di OpenAI. 

Diversi altri studi e ricerche hanno dimostrato come strumenti di generazione sia di testo che di immagini continuino a perpetuare questo tipo di stereotipi che possono potenzialmente aumentare il divario di genere e persino mettere in pericolo la vita delle persone. Alex Hanna, sociologa e direttrice di ricerca presso il Distributed AI research institute (Dair) in California, ha spiegato a Facta che «questo succede perché le intelligenze artificiali sono addestrate attraverso dataset già esistenti, e questi dataset riflettono i pregiudizi razziali e di genere nel mondo». Sempre secondo Hanna, quando si parla di intelligenza artificiale generativa si fa riferimento a una enorme quantità di strumenti «che stanno diventando sempre più comuni in vari settori, che si tratti di design, di colloqui di lavoro, o di assegnazione automatica delle abitazioni» e la presenza di stereotipi inevitabilmente influenza la realtà in modo negativo e ha delle conseguenze molto pratiche.

Gli esempi che possiamo citare, infatti, sono numerosi. Negli Stati Uniti, più precisamente nello Stato del Michigan, nel giugno 2020, un uomo è stato arrestato, interrogato e trattenuto per un reato che non aveva mai commesso. Era stato erroneamente identificato da un sistema di intelligenza artificiale di riconoscimento facciale. L’uomo non è bianco.

Sempre Alex Hanna ha aggiunto che Facebook è stato accusato varie volte di aver permesso di targettizzare gli annunci pubblicitari in base al genere o all’etnia e questo significa «una possibile mancanza di opportunità per le minoranze etniche o per le persone che si riconoscono in un determinato genere». Uno studio pubblicato nel 2022 ha rilevato come Facebook utilizzi un software di riconoscimento delle immagini per classificare l’etnia, il sesso e l’età delle persone raffigurate nelle pubblicità, e questa determinazione gioca un ruolo enorme sulla scelta degli utenti a cui mostrare determinati annunci. I ricercatori hanno scoperto che gli uomini sopra i 55 anni vengono esposti a un maggior numero di pubblicità con giovani donne, le donne vedono più annunci con bambini e i neri vedono più annunci che riportano foto di altre persone nere. Un’altra ricerca aveva, invece, dimostrato che gli annunci di lavoro nel settore della falegnameria vengono mostrati in modo sproporzionato agli uomini bianchi, mentre le offerte di lavoro per le mansioni di pulizia raggiungono in modo eccessivo principalmente le donne nere. Nel giugno 2022, il dipartimento di Giustizia degli Stati Uniti aveva ottenuto un accordo di transazione dopo aver accusato Meta di pregiudizi algoritmici per il suo sistema di distribuzione degli annunci immobiliari, basato su dei pregiudizi di genere e razza. 

Virginia Eubanks, professoressa di Scienze politiche presso l’Università di Albany, nello Stato di New York, ha definito questo processo come “automazione delle disuguaglianze” dopo aver indagato l’impatto del data mining, degli algoritmi politici e dei modelli di rischio predittivi principalmente sui poveri e sulla classe operaia negli Stati Uniti. Eubanks ha anche dimostrato come questi riportino una serie di pregiudizi e stereotipi che esistono nella realtà, di fatto perpetuando discriminazioni e ingiustizie prive di qualsiasi base. 

Sul linguaggio da utilizzare, Antje Scharenberg, International postdoctoral fellow presso la cattedra di Media e Cultura dell’Università di San Gallo in Svizzera, ha chiarito a Facta che è preferibile usare il termine “ingiustizia algoritmica” «perché ci ricorda l’importanza della posta in gioco». Non si tratta di «un difetto tecnico di sistema che possiamo risolvere con la tecnologia» ha aggiunto Scharenberg, ma di «ingiustizie che riflettono rapporti di potere» più ampi e preesistenti. Il rischio è che queste tecnologie perpetuino, rafforzino e aggravino disuguaglianze storiche tra persone e classi sociali, che non sono state inventate dalla tecnologia. Per questo motivo, sempre secondo Scharenberg, il modo in cui vengono affrontate queste ingiustizie «deve essere sistemico, non solo tecnologico». Anche perché rendere queste tecnologie responsabili può essere difficile, o addirittura impossibile, poiché sono codificate e operano in modo non trasparente.

Pregiudizi anche nella generazione di immagini, non solo di testi
Il modo in cui si manifestano pregiudizi di genere e razza è, però, molto vario. Alex Hanna, infatti, ha spiegato a Facta che un’altra delle modalità in cui questo tipo di discriminazione prende forma è attraverso gli strumenti di intelligenza artificiale che generano immagini a partire da input testuali. 

I giornalisti di Bloomberg hanno messo alla prova l’intelligenza artificiale attraverso la creazione di immagini partendo da alcuni input di testo. I risultati mostrano come i set di immagini generati chiedendo all’IA di rappresentare persone che svolgono professioni ad alta retribuzione sono dominati da soggetti con le tonalità di pelle più chiara, mentre i soggetti con tonalità di pelle più scura sono stati più comunemente generati da richieste come «lavoratore del fast-food» e «assistente sociale», quindi professioni che hanno una retribuzione più bassa.

Anche il Washington Post ha testato l’intelligenza artificiale generativa attraverso la creazione di alcune immagini, dimostrando come questi strumenti abbiano la tendenza a creare cliché estremamente discriminanti: le donne asiatiche sono iper sessualizzate, le persone africane sono primitive, gli europei sono mondani, i leader sono uomini e i detenuti sono neri. Questi stereotipi, però, non riflettono il mondo reale, ma, come abbiamo già evidenziato per gli altri strumenti, derivano dai dati che addestrano la tecnologia. Questi dati, però, possono essere tossici, pieni di pornografia, misoginia, violenza e bigottismo. Stability AI, produttore del popolare generatore di immagini Stable Diffusion XL, ha dichiarato sempre al Washington Post di aver investito in maniera significativa per ridurre i pregiudizi nel suo ultimo modello, rilasciato nel luglio 2023. Ma nonostante i miglioramenti, lo strumento continua ad amplificare vari stereotipi.

Gli sforzi per disintossicare gli strumenti di generazione delle immagini dell’IA si sono concentrati su alcuni interventi che sono stati apparentemente fruttuosi, come filtrare i set di dati, perfezionare le fasi finali dello sviluppo e codificare le regole per risolvere i problemi che hanno fatto guadagnare all’azienda una cattiva reputazione, ma la strada in questa direzione è ancora molta. 

La sottorappresentazione delle donne e delle persone non bianche nel mondo dell’IA
Questo tipo di stereotipi non dimostrano solo che le intelligenze artificiali non sono neutre e non sono ancora in grado di dare risultati che siano di fatto distaccati dagli input che ricevono, ma sottolineano anche la necessità di diversificare il processo di progettazione e di ridistribuire il potere nelle procedure decisionali e di creazione delle intelligenze artificiali. 

L’intelligenza artificiale, infatti, è uno dei settori tecnologici in più rapida crescita al mondo. Secondo un rapporto di Bloomberg Intelligence il mercato dell’intelligenza artificiale generativa è pronto a esplodere, crescendo fino a 1,3 trilioni di dollari nei prossimi dieci anni. Da questa domanda deriva la necessità di una forza lavoro altamente qualificata e dedicata. Tuttavia, come ha evidenziato il World Economic Forum (WEF) nel “Global gender gap report” del 2023, complessivamente nel 2022 solo il 30 per cento dei talenti dell’intelligenza artificiale era donna. Secondo lo stesso documento la rappresentanza femminile nell’IA sta progredendo, ma molto lentamente. Infatti, la percentuale di donne che lavorano nell’ambito dell’intelligenza artificiale nel 2022 era solo di circa il 4 per cento più alta rispetto al 2016. Questi dati rivelano che esiste ancora un divario di genere e di competenze che è fin troppo comune nei settori tecnologici e che ha conseguenze di vasta portata. Oltre a evidenziare la disparità di genere radicata nella forza lavoro, in particolare nel settore cosiddetto Stem (ovvero scienza, tecnologia, ingegneria e matematica), la sottorappresentazione delle donne nell’IA può ostacolare la realizzazione di tecnologie che si basino sulla diversità. Quando le prospettive, le esperienze e le intuizioni delle donne non vengono incorporate nello sviluppo e nell’impiego dell’IA, gli algoritmi e le tecnologie rischiano di non riportare lo sguardo di un’intera parte della popolazione, mantenendo le disparità esistenti.  

Il divario aumenta ancora di più quando si guarda alla presenza delle persone non bianche all’interno del settore dell’intelligenza artificiale. Non è stato possibile reperire dati riguardo la presenza di persone nere che, nel mondo, lavorano nel settore dell’IA, ma una ricerca del McKinsey Institute for black economic mobility, istituto di ricerca e think tank dedicato alla promozione dell’equità razziale e della crescita inclusiva negli Stati Uniti e nel mondo, ha rivelato che l’intelligenza artificiale generativa ha il potenziale per aumentare il divario economico tra i diversi gruppi etnici negli Stati Uniti di 43 miliardi di dollari ogni anno. Questo perché le persone nere, che hanno un tasso di disoccupazione doppio rispetto a quello dei lavoratori bianchi negli Stati Uniti, sono sovrarappresentati in ruoli che hanno più alte probabilità di essere sostituiti dall’automazione e la loro mobilità in ascesa nel mercato del lavoro sarà ostacolata. Ma le persone nere negli Stati Uniti sono anche sottorappresentate nel settore tecnologico che sviluppa l’intelligenza artificiale e di conseguenza la loro presenza in ruoli chiave per la gestione dell’intelligenza artificiale sarà minore. 

Costruire una difesa contro il pregiudizio
Essere consapevoli dei pregiudizi e degli stereotipi che questo tipo di tecnologie portano con sé è estremamente importante per evitare di cadere nella trappola di un circolo senza fine di informazioni e rappresentazioni falsate e discriminatorie, che hanno conseguenze concrete sulle vite delle persone coinvolte. 

Lo Human error project è un progetto basato presso l’Università di San Gallo, in Svizzera, che indaga gli errori algoritmici nella profilazione umana e i conflitti emergenti su cosa significhi essere umani in un mondo pieno di dati. L’obiettivo di questo progetto è quello di mappare i discorsi e ascoltare le storie di persone provenienti da diversi settori della società, per cercare di capire come gli errori dell’IA, quando si tratta di profilare gli esseri umani, vengono vissuti, compresi e negoziati. Come ha spiegato a Facta Antje Scharenberg, che fa parte del team di Human error project, questo progetto ha come obiettivo quello di «guardare davvero ai processi quotidiani rispetto a come questi errori vengono vissuti, negoziati e compresi» da diverse parti della società. 

Il 4 marzo 2024 lo Human error project ha pubblicato un report che mette in luce i modi in cui le organizzazioni della società civile europea negoziano le questioni relative agli errori dell’IA, su come comprendono i problemi principali e come agiscono contro le ingiustizie algoritmiche perpetuate dai sistemi di intelligenza artificiale. Questa ricerca ha mostrato che «questa lotta si svolge su tre livelli, in tre dimensioni» ha spiegato Scharenberg. Il primo di questi livelli è quello simbolico, quello che si sviluppa attraverso il linguaggio. La ricerca ha mostrato come i gruppi di società civile mettano in discussione il modo in cui gli algoritmi e le tecnologie vengono presentati, contestando le narrazioni in cui gli algoritmi e le tecnologie sono descritti come affidabili e intelligenti. «Spesso quando gli algoritmi prendono decisioni automatizzate» ha continuato Antje Scharenberg, «le persone non sono nemmeno consapevoli del fatto che queste decisioni sono state prese» influenzando la loro vita. Ecco perché è necessario sensibilizzare il pubblico in termini più ampi, associando una simbologia corretta a queste tecnologie e soprattutto educando coloro che sono coinvolti nello sviluppo di queste tecnologie. Ad  esempio, secondo le persone intervistate, i programmatori dovrebbero essere formati rispetto ai pregiudizi e alle disuguaglianze e l’impatto che la tecnologia può avere su questi temi. 

Il secondo livello su cui agiscono i gruppi di società civile per cercare di mitigare le ingiustizie è quello legislativo. «Molti attori della società civile in Europa» ha chiarito Scharenberg, «stanno cercando di influenzare la legislazione», non solo per quanto riguarda i bias di genere, di razza o di classe sociale, ma in generale in modo che questa possa proteggere la libertà delle persone e i loro diritti. Infine c’è un terzo livello su cui la società civile in Europa si sta battendo contro le ingiustizie algoritmiche, ed è quello che riguarda una serie di azioni, iniziative e campagne che possano creare consapevolezza e influenzare le scelte dei legislatori in modo diretto.

L'articolo I pregiudizi degli algoritmi: stereotipi di genere e razziali nell’intelligenza artificiale proviene da Facta.