Apple l’ha messo sul suo iPhone X. Amazon lo vuole connettere al campanello di casa e già lo vende alle forze di polizia statunitensi. La casa automobilistica cinese Byton ha realizzato SUV elettrici che lo usano al posto della chiave, per sbloccare le portiere. Il riconoscimento facciale è una delle tecnologie su cui le grandi aziende del tech stanno investendo di più e i governi di tutto il mondo fremono per implementare le più svariate applicazioni. In Cina, per esempio, si usa per far pagare i clienti nei negozi, per accedere alla metropolitana o individuare i responsabili di violazioni del codice della strada.

Proprio questa sua presenza sempre più pervasive a fronte di tutta una serie di questioni irrisolte, fa del riconoscimento facciale una tecnologia la cui applicazione suscita dubbi e preoccupazioni. Per esempio, non è ancora chiaro quale potrebbe essere l’effettivo impatto sulla nostra privacy, quali le potenzialità dell’instaurarsi di stati di sorveglianza di massa, o quali sono i rischi per la cyber security, che porta con sé l’applicazione sconsiderata e affrettata di un’innovazione simile.

Ancora più preoccupante è il fatto che questi sistemi, come spesso accade nei software basati sulle tecnologie di intelligenza artificiale, sono equipaggiati anche con un carico di pregiudizi derivati direttamente da chi li ha programmati. In particolare, nel riconoscimento facciale, si riscontrano razzismo nei confronti di minoranze etniche e discriminazioni di genere.

Per esempio, se sei un maschio bianco standard, ovvero con capelli corti e barba, verrai riconosciuto dall’AI (Artificial Intelligence) del sistema di riconoscimento facciale con un’accuratezza del 98 per cento. Anche nel caso di una ragazza standard non ci sono problemi. Basta che abbia la pelle chiara e i capelli lunghi. Ed è anche molto importante che non abbia nessun tipo di peluria sul viso. Nel 100 per cento dei casi, infatti, l’AI riconoscerà la presenza di peluria facciale su di un soggetto come tratto unicamente maschile.

Questo tipo di sistema più che sull’identità del soggetto scansionato dice molto su quella della persona che insegna alla macchina quali sono i tratti distintivi da riconoscere e come valutarli. Il fatto che la peluria sia in maniera incontrovertibile un tratto maschile, per esempio, ci fa capire che chi istruisce la macchina considera inaccettabile che una donna abbia della peluria sul volto.

“Se sei un uomo o una donna cisgender il sistema non avrà problemi a riconoscerti correttamente. Ma se sei una donna transessuale, non proprio. Se sei invece un uomo transessuale, secondo il sistema di riconoscimento di Amazon, hai circa appena il 61 per cento di possibilità di essere riconosciuto”, conferma in un’intervista Jed Brubaker, assistente alla Boulder University in Colorado, che ha condotto un esperimento mirato proprio a capire quanto questi sistemi siano discriminatori.

Secondo Brubaker, il punto è proprio che queste macchine non tengono conto della fisionomia umana, ma solamente dei luoghi comuni e degli stereotipi che gli ingegneri insegnano loro. L’AI non è di base una macchina con degli stereotipi, ma non può fare altro che impararli e applicarli se le vengono insegnati.

Se sei un uomo transessuale, secondo il sistema di riconoscimento di Amazon, hai circa appena il 61 per cento di possibilità di essere riconosciuto.

Sembra impossibile che le grandi aziende tecnologiche producano sistemi così fallibili eppure così è sempre stato. Già nel 2015 Google era stata accusata di razzismo poiché il suo sistema di riconoscimento facciale segnalava le persone nere come gorilla. In quell’occasione l’azienda si era scusata e aveva promesso che avrebbe corretto l’algoritmo, ma l’unica cosa che ha fatto è stata eliminare dalla banca dati le immagini dei gorilla. L’algoritmo, tuttavia, è rimasto intatto.

Non solo poi le aziende tecnologiche immettono sul mercato intelligenze artificiali incomplete e poco accurate, ma i governi le acquistano consapevoli ma incuranti di queste mancanze. Anzi spesso ne abbassano ulteriormente i livelli di precisione. Negli Stati Uniti le forze dell’ordine diminuiscono il limite di accuratezza consigliato, ad esempio da Amazon, così da avere uno spettro un po’ più ampio di ricerca. Ma in questo modo è come se tirassero a indovinare. E a rimetterci sono sempre le minoranze.

Uno degli esempi più lampanti per cui questi sistemi di riconoscimento facciale non dovrebbero essere utilizzati da alcune istituzioni è stato evidenziato dall’American Civil Liberties Union (Aclu, Ong che si pone l’obiettivo di difendere i diritti civili e le libertà individuali negli Stati Uniti).

L’organizzazione ha realizzato un test utilizzando Reckongnition, il sistema standard di riconoscimento facciale che Amazon offre alle forze dell’ordine a un costo molto contenuto. L’Aclu, con soli 12,33 dollari, ha costruito un database composto da 25mila foto segnaletiche di criminali statunitensi. Queste foto sono poi state messe a confronto con quelle di tutti i membri della Camera e del Senato degli Stati Uniti. Il risultato del test ha evidenziato che più di venti legislatori sono stati riconosciuti come criminali schedati.

Questo non significa ovviamente che i legislatori siano effettivamente dei criminali o persone con precedenti penali, la macchina li ha semplicemente confusi creando dei falsi positivi. E a preoccupare di più è l’unidirezionalità dell’errore: quasi il 40 per cento dei falsi positivi riguardava senatori e deputati di colore, nonostante questi rappresentino solo il 20 per cento di tutti i membri.

Se la tecnologia non darà prova di essere efficace ed eserciterà sistematicamente pregiudizi verso le persone di colore, allora causerà danni.

Un numero palesemente troppo alto per contesti come quello della sicurezza. “I falsi positivi sono sproporzionalmente verso le persone di colore”, spiega un portavoce dell’ACLU a BuzzFeedNews. “Se la tecnologia non darà prova di essere efficace ed eserciterà sistematicamente pregiudizi verso le persone di colore, allora causerà danni; non aiuterà di certo le forze dell’ordine o chiunque altro la usi”, dichiara invece Luis Vicente Gutiérrez, politico e attivista statunitense, membro della Camera dei Rappresentanti.

Sempre continuando a chiedersi quali siano le conseguenze per privacy e giustizia dell’immissione in commercio di questi sistemi di riconoscimento facciale, è certo che non è possibile accontentarsi di prodotti che funzionano solo per le persone considerate “normali” secondo canoni arbitrari e caratteri lontani dal descrivere la realtà della popolazione umana.

Sarebbe forse opportuno rompere il guscio che protegge gli ingegneri della Silicon Valley aprendolo ad una sfera più ampia di professionisti, come psicologi, scienziati comportamentali, antropologi, storici. Queste sono infatti figure che potrebbero aiutare a insegnare la complessità della fisiologia umana senza trasmettere all’intelligenza artificiale pericolosi pregiudizi.