di Giulia Curcuruto e Paolo Inturri

1. Con l’espressione credit scoring ci si riferisce all’impiego di metodi statistici per l’elaborazione dei dati rilevanti in output numerici che indicano il profilo di rischio, affidabilità e puntualità nei pagamenti di ciascun potenziale cliente. Tipicamente, maggiore è il punteggio ottenuto, minore è il rischio di inadempimento.

In Italia il merito creditizio viene stimato impiegando per lo più modelli statistici econometrici. Tuttavia, nel biennio 2023-2024 le imprese che operano nel Fintech credit hanno investito 901 milioni di euro in progetti di sviluppo di tecnologie innovative, il 16,5% dei quali è destinato all’IA. Infatti, la capacità di sfruttare dati alternativi permette all’IA di determinare il punteggio di credito estraendo delle variabili che non hanno una chiara relazione economica e che, pertanto, non potrebbero essere considerate da un modello basato unicamente su dati finanziari.

La prassi dei Paesi in cui l’IA è già in uso nel settore dell’accesso al credito ha evidenziato il rischio di discriminazione che questa comporta per i consumatori appartenenti a categorie vulnerabili.

2.Invero, numerosi studi economici hanno da tempo evidenziato come il rischio di discriminazione, basato su fattori quali razza, etnia e genere, sia endemico al procedimento di valutazione del merito creditizio, indipendentemente dal modello adottato.

Ciò che contraddistingue i procedimenti di credit scoring basati sull’IA sono le cause della discriminazione. Infatti, determinanti in tal senso non potranno che essere le scelte adottate nelle diverse fasi di sviluppo dell’algoritmo, le quali volontariamente o involontariamente possono determinare esiti discriminatori.

Innanzitutto, nella fase di raccolta dei dati risulteranno fondamentali le decisioni che riguardano la composizione del dataset di addestramento. Infatti, se quest’ultimo presenta dei bias, l’algoritmo potrebbe riprodurli nei risultati.

Nel caso in cui il dataset ricomprenda dati tradizionali i pregiudizi possono derivare da una inadeguata rappresentatività del campione di consumatori di riferimento.

Inoltre, taluni pregiudizi possono derivare dall’etichettatura dei dati di addestramento degli algoritmi di ML supervisionato, in cui l’algoritmo è addestrato alla modellazione della variabile dipendente attraverso dei dati di addestramento contrassegnati con delle class label.

Infine, indipendentemente dalla tipologia di dati considerati, i risultati discriminatori possono risultare dalla selezione delle caratteristichedi creditworthiness.

Ulteriori risultati discriminatori possono derivare dalla fase di sviluppo e addestramento del modello di IA, durante la quale possono verificarsi i problemi di overfitting o underfitting che non consentono gli consentono di raggiungere un grado di generalizzazione tale da assegnare dei punteggi in grado di rispecchiare l’effettiva creditworthiness dei consumatori.

Ancora, può accadere che non venga adeguatamente considerata la tipologia di errore nei risultati generati dal modello. Durante l’addestramento è imprescindibile scegliere quali errori minimizzare ovverosia spiegare al modello se, ad esempio, sia preferibile che per errore ad un consumatore meritevole non venga concesso credito o, viceversa, che ad uno non meritevole venga concesso. I finanziatori preferiscono che venga data prevalenza ai falsi negativi, in modo da minimizzare il rischio di impresa dovuto alle insolvenze. Tuttavia, ove tale errore sia dovuto a forme di bias contenuti nei dati, la mancata considerazione della tipologia di errore si traduce in una sistematica esclusione dal credito dei consumatori danneggiati dal pregiudizio.

Infine, è anche possibile che gli effetti discriminatori si realizzino allorché le variabili effettivamente necessarie per valutare il merito creditizio siano al contempo proxy circa l’appartenenza ad una classe di consumatori svantaggiata.

L’ultima fase in cui può darsi luogo a fenomeni di discriminazione è quella dell’analisi dei risultati. A causa del c.d. black box effect in presenza di un risultato discriminatorio l’analista non potrebbe agevolmente comprenderne le cause, e, soprattutto, potrebbe manifestare ritrosie a causa del c.d. anchoring effect.

Alla luce di tutto quanto sopra affermato, emerge che i rischi di output discriminatori non possono essere cancellati del tutto secondo un modello di tutela by design, stante l’ineliminabile tasso di soggettività coinvolto. Il rischio è quello di generare un ciclo di feedback in cui nel tempo la distorsione è confermata e rinforzata. In altri termini, la negazione sistematica del credito a danno di specifici gruppi sociali causata da un modello non a regola d’arte, contribuisce a determinare un bias storico nei dati, che si rifletterà nei campioni estratti dalla popolazione, sulla base dei quali verrà aggiornato lo stesso modello distorto.

3. Per quanto riguarda il quadro normativo, è necessario rilevare come l’accertamento del grado di solvibilità degli aspiranti prenditori rileva, anzitutto, sul piano della disciplina prudenziale.

A questo scopo, le disposizioni di vigilanza della Banca d’Italia richiedono al finanziatore di acquisire, in fase precontrattuale, tutta la documentazione necessaria per effettuare un’adeguata valutazione del merito di credito del prenditore e di adottare procedure di sfruttamento delle informazioni che forniscanoindicazioni circostanziate sul livello di affidabilità del cliente.

Gli Orientamenti ABE in materia di concessione e monitoraggio dei prestiti prendono in considerazione l’ipotesi in cui la concessione avvenga a seguito del trattamento automatizzato dei dati. In questi casi, gli intermediari devono dotarsi di politiche o di procedure dalle quali risultino le condizioni per l’applicazione di decisioni automatizzate; devono essere in grado di comprendere il funzionamento dei modelli, i dati inseriti, le ipotesi, i limiti e i risultati; devono prevenire possibili distorsioni; devono accompagnare al modello automatizzato meccanismi di controllo del risultato e di «override» che incorpori il giudizio di esperti. Nell’ipotesi  in cui vengano utilizzate tecnologie definite innovative, come l’IA, gli enti devono, altresì, essere in grado di comprendere e prevenire i rischi specifici legati al funzionamento della tecnologia in uso.

Infine, all’interno della disciplina prudenziale, è utile volgere lo sguardo al Regolamento (UE) CRR applicabile agli intermediari che utilizzano, previa autorizzazione dell’autorità di vigilanza, modelli interni per la misurazione del rischio di credito. Difatti, fermo restando che tali norme sono applicabili soltanto ai modelli destinati al calcolo dei requisiti patrimoniali, esse forniscono indicazioni utili per lo sviluppo di buone prassi nell’impiego di sistemi di IA.

In particolare, l’art. 174 CRR descrive le caratteristiche che devono possedere i modelli statistici e gli altri metodi automatici per l’assegnazione delle esposizioni a classi o a pool relativi a debitori o ad operazioni. Più in dettaglio, la norma richiede che i dati siano accurati, completi e pertinenti, nonché rappresentativi dell’effettiva popolazione di debitori o di esposizioni dell’ente e che il modello statistico sia combinato con la valutazione e la revisione umana «in modo da verificare le assegnazioni effettuate in base al modello e da assicurare che i modelli siano utilizzati in modo appropriato» (lett. e).

Vengono in rilievo anche gli articoli 124 bis e 120 undecies del testo unico bancario.

Entrambe le disposizioni, pur fornendo indicazioni sulla quantità e la qualità delle informazioni da utilizzare ai fini di una corretta valutazione, non prendono in considerazione l’ipotesi in cui l’elaborazione dei dati avvenga in maniera automatizzata oppure ricorrendo all’IA.

Il vigente quadro normativo è stato, perciò, reputato insufficiente a fornire un adeguato livello di tutela del consumatore alla luce della digitalizzazione che ha investito il mercato del credito, ragion per cui il legislatore eurounitario è tornato sul tema con la Direttiva CCD II con la quale ha vietato di impiegare dati sensibili o provenienti dai social network e ha imposto di prevenire le condotte discriminatorie nell’accesso al credito.

Al di fuori dell’ordinamento settoriale del credito, rivestono particolare importanza il GDPR e l’AI Act.

Nello specifico, il GDPR, riconosce all’interessato il diritto di essere informato dell’esistenza di un processo decisionale automatizzato che lo riguarda (art. 15, par. 1, lett. h). Ancora, all’art. 22, prevede il diritto a non essere sottoposto ad una decisione basata unicamente sul trattamento automatizzato dei dati; nelle ipotesi in cui ciò sia consentito al titolare deve essere riconosciuto almeno il diritto «di ottenere l’intervento umano […] di esprimere la propria opinione e di contestare la decisione». Un’interpretazione estensiva della norma, preferibile anche alla luce dell’art.18, comma 8, della CCD II permetterebbe all’interessato di esigere dal titolare del trattamento la “spiegazione” della logica sottesa alla decisione algoritmica, che, tuttavia, non pare potersi estendere ad una piena disclosure del codice coperto da segreto industriale.

L’AI Act, invece, classifica i sistemi di credi scoring basati sull’IA come sistemi ad alto rischio, in quanto determinano l’accesso di tali persone alle risorse finanziarie o a servizi essenziali quali l’alloggio, l’elettricità e i servizi di telecomunicazioni. Per queste ragioni, i fornitori devono rispettare i requisiti previsti dal Titolo III, Capo II del Regolamento, volti a garantire un’elevata qualità dei dati, metodologie e pratiche idonee a prevenire distorsioni, la tracciabilità dei risultati nonché il controllo di esperti.

4. Alla luce della ricostruzione del quadro normativo ci si domanda se al consumatore sia consentito esperire le azioni civili contro la discriminazione di cui agli art. 44 d.lgs. n. 286/1998, art. 4 d.lgs. n. 215/2003, art. 3 l. n. 67/2006, art. 55-quinquies d.lgs. n. 198/2006, regolate dal rito semplificato di cognizione ai sensi dell’art. 28 d.lgs. n. 150/2011.

In particolare, il co. 4 dell’articolo da ultimo citato consente di superare il problema dell’effetto black box e del segreto industriale: all’allegazione del ricorrente di elementi di fatto, desunti da dati di carattere anche statistico, dai quali si può presumere l’esistenza di pattern discriminatori il legislatore riconnette un’inversione dell’onere della prova tale per cui spetterà al soggetto finanziatore dimostrare che l’IA non ha generato un risultato secondo una logica discriminatoria. Sul piano dei contenuti della sentenza, il co. 5 attribuisce il diritto di rivolgersi al giudice per ottenere: il risarcimento del danno anche non patrimoniale, la cessazione dell’atto discriminatorio pregiudizievole, ogni altro provvedimento idoneo a rimuoverne gli effetti e l’ordine di adozione di un piano di rimozione delle discriminazioni. Più nel dettaglio, bisogna interrogarsi se la cessazione dell’atto discriminatorio e l’adozione di ogni altro provvedimento idoneo possano tradursi in un ordine di rivalutazione del richiedente previa eliminazione dei bias riscontrati nell’IA, nonché se l’ordine di adozione di un piano di rimozione delle discriminazioni possa consistere in una ridefinizione delle politiche e delle procedure interne volte a prevenire i rischi legati all’utilizzo dei modelli automatizzati.

Una risposta in senso affermativo non solo sembra consentita da un’interpretazione letterale delle disposizioni, ma soprattutto da un’interpretazione sistematica che tenga conto tanto dell’art. 6 della CCD II quanto del principio di uguaglianza.

El artículo del que trae causa esta entrada (puede consultarse aquí), ha sido publicado en el número especial de 2024 de BioLaw Journal – Rivista Di BioDiritto.