Patricia García Majado

La puntuación en sí misma es una herramienta nada desconocida para el Derecho, ni para la sociedad, sino ampliamente utilizada desde hace muchísimos años, tanto en el ámbito público como privado: piénsese en que las oposiciones y concursos son un sistema de puntuación, como también lo son los procesos competitivos por los que se conceden subvenciones públicas o el propio carnet por puntos. Puntuar es, por tanto, una forma de reducir la complejidad que habita en el entorno social y de priorizar/jerarquizar necesidades para tomar las decisiones, a veces de manera más eficaz, y otras (o también) más objetiva. Ahora bien, con la llegada de la inteligencia artificial este mecanismo ha evolucionado exponencialmente. La inmensa cantidad de datos a los que hoy se tiene acceso unida a las también inmensas capacidades de computación de tales sistemas han logrado que lo “puntuable” haya terminado por ser, casi, cualquier elemento o sector de la sociedad misma, dando lugar a lo que se conoce como puntuación social o ciudadana. 

Los sistemas de puntuación social ciudadana, tras la aprobación del RIA, están sometidos a distintos regímenes jurídicos en función cómo funcionen, qué efectos produzcan y, también, en qué ámbitos se empleen. No hay, por tanto, un tratamiento uniforme de los mismos, sino segmentado, algo que casa con el enfoque de “riesgo” adoptado por el propio Reglamento. 

El art.5.1 c) RIA prohíbe expresamente los sistemas de puntación social ciudadana en ciertas circunstancias. Dicho precepto, aunque no fue el que más modificaciones sufrió, si experimentó cambios merced, fundamentalmente, a las enmiendas introducidas por el Parlamento europeo. En primer lugar, en la propuesta inicial se prohibía la introducción de estos sistemas “a las autoridades públicas o a quien actuara en su representación”, concreción posteriormente eliminada. Por tanto, y con buena lógica, estos sistemas no pueden ser usados no solo por poderes públicos, sino también por empresas privadas que, en muchos casos, son las que más utilizan este tipo de mecanismos. En segundo lugar, la propuesta de la Comisión aludía a los sistemas que evaluasen o calificasen a las personas en base al comportamiento social o rasgos de la personalidad “conocidos o predichos”. Sin embargo, la versión final incluye también la posibilidad de que dichas características sean “inferidas”, puesto que dichas cuestiones pueden extraerse de otras circunstancias, aparentemente neutras, que no guardan relación directa con el comportamiento o los rasgos de la personalidad. En efecto, la IA se utiliza justamente para inferir. En tercer lugar, mientras que la propuesta inicial entendía que el fin de los sistemas de puntuación social era evaluar o clasificar la “fiabilidad” de las personas, el reglamento alude únicamente a la “evaluación o clasificación”, independientemente de para qué se utilice, si para medir su confianza o cualesquiera otras variables. En cuarto lugar, el texto de la Comisión aludía a la “evaluación o clasificación de personas físicas” mientras que, merced a una enmienda del Parlamento, dicha evaluación se extendió finalmente también a grupos de personas a efectos de su calificación social (trabajadores, asegurados, consumidores, menores…).

Ahora bien, como sucede con otras prohibiciones, la que ahora nos ocupa también es finalista. De esta manera, no se prohíben per se los sistemas de puntuación ciudadana sino que se prohíben cuando: (a) o bien provoquen un trato perjudicial o desfavorable en contextos distintos en donde se generaron los datos o (b) cuando dicho trato sea injustificado o desproporcionado con respecto al comportamiento social o su gravedad.  

En relación con la primera exclusión, habría que sostener que no resultan prohibidos los sistemas de evaluación o clasificación de personas que ofrecen una puntuación a partir de datos generado en ese mismo contexto. El ejemplo a este respecto quizás sean los sistemas de puntuación de seguros, utilizados para determinar el nivel de riesgo que presenta cada asegurado y así fijar las primas adecuadas. Los factores utilizados suelen tener que ver con el historial crediticio, el historial de conducción, la edad, el sexo y el historial de reclamaciones, de manera que, por resultar todas ellas variables relacionadas con el contexto relativo al seguro, no resultarían excluídos por el art.5.1.c) RIA. 

Sin embargo, sí resultarían prohibidos aquellos sistemas que utilicen datos para elaborar puntuaciones sociales en un contexto diferente a aquél en el que se generaron los datos. Al margen de otras consideraciones, el fundamento específico de esta prohibición parece ser el derecho a la igualdad y no discriminación. La regulación presume que tratar de manera diferente a alguien, en un ámbito, por cuestiones ajenas al mismo (factores no relacionados) es una diferencia de trato carente de justificación (y, por tanto, discriminatoria).¿Por qué decidir promocionar o no a un trabajador en función de su calificación crediticia? Este es un ejemplo actual, y muy extendido especialmente en EE.UU (aunque no solo) donde las evaluaciones de solvencia crediticia son utilizadas como un elemento para decidir a quién contratar, entendiendo que quien es diligente y paga bien sus facturas tendrás más posibilidades de ser un buen empleado, responsable, que llega puntual a su puesto, etc.

Ejemplo de esta exclusión podría ser el sistema danés de IA creado para controlar el fraude en materia de prestaciones públicas, revelado por Amnistía Internacional recientemente. Dicho sistema emplea datos que incluyen información sobre la situación de residencia y movimientos, ciudadanía, lugar de nacimiento y relaciones familiares, todos ellos datos que se pueden emplear para inferir la raza, la etnia o la orientación sexual de una persona. Por ejemplo, a fin de detectar fraudes a prestaciones sociales de los planes de pensiones y de cuidado infantil, las autoridades danesas emplean el algoritmo Really Single (Realmente soltero/a) para predecir la situación familiar y de relaciones de una persona. Uno de los parámetros utilizados por el algoritmo de control de fraudes Really Single incluye patrones de vida o composiciones familiares “inusuales” o “atípicos”, como por ejemplo que personas casadas no vivan juntas o que haya hogares multigeneracionales. Otro de los algoritmos utilizados (Abroad) emplea la ciudadanía como parámetro para detectar al fraude, a través del cual se pueden inferir la raza, etnia y situación migratoria de una persona, priorizando la investigación sobre las personas sobre las que concurran estas circunstancias. De esta manera, podría sostenerse que el contexto donde opera la prestación (ámbito de prestaciones sociales) no está en muchos casos relacionado con el contexto de donde derivan los datos (la situación familiar o personal, la ciudadanía, etc.).

En relación con este primer apartado del art.5.1.c) RIA parece necesaria, por un lado, la interpretación que la Comisión haga del propio concepto de contexto dado que, en función de ésta, aquélla tendrá diverso alcance. Además, habrá que tratar de ver cómo opera dicho concepto en el mundo, como es el de la IA, donde a partir de datos conocidos y pertinentes al contexto puede llegarse a correlaciones absolutamente imprevisibles que se utilicen nuevamente para puntuar. ¿Cuándo saber, en suma, que estamos ante “el mismo contexto” en que se generaron los datos?

En relación con la segunda exclusión, se prohíben aquellos sistemas de puntuación social que provoquen un trato perjudicial o desfavorable hacia determinadas personas físicas o colectivos de personas que sea injustificado o desproporcionado con respecto a su comportamiento social o la gravedad de éste. Es decir, se prohíben los sistemas de puntuación que, aún operando dentro del mismo contexto informativo, sean desproporcionados o injustificados. De esta exclusión quizás pudiera ser ejemplo la plataforma de reparto de comida a domicilio Deliveroo. En ella, los trabajadores pueden entrar cada lunes para reservar sus horarios de trabajo en tres franjas (11h, 15h y 17h) según la puntuación que tengan en el ranking de Deliveroo y de la que se encarga un algoritmo llamado “Frank”. La puntuación de los riders depende de dos índices: fiabilidad y disponibilidad. Mientras que el primero tiene en cuenta las veces en que el repartidor no cumple con una sesión de trabajo previamente reservada, el segundo tiene en cuenta el número de veces que aquél está disponible en los horarios de mayor demanda (20 a 22h de viernes a domingo). Pues bien, parece evidente (o quizás no tanto) que la variable de la disponibilidad puede comportar un trato perjudicial injustificado para aquellos repartidores que, por ejemplo, estén enfermos, tengan personas a su cargo o ejerzan la acción sindical, cuestiones todas ellas que merman su total disponibilidad a esas horas. El Tribunal ordinario de Bolonia, que conoció de este asunto en 2020, consideró que se trataba de un caso de discriminación indirecta: un criterio aparentemente neutro (disponibilidad laboral) termina, en la práctica, por discriminar a determinados colectivos concretos. Precisamente por ello, y a la luz del RIA, parece que el algoritmo Frank se trataría de un trato perjudicial injustificado para determinados trabajadores de la plataforma y, en cuanto tal, discriminatorio.

Ahora bien, cuando los sistemas de puntuación social operen en el mismo contexto y no produzcan tratos perjudiciales injustificados o desproporcionados para los individuos están permitidos. No obstante, no están tampoco exentos de riesgos. Son muchos y los principales atañen a la igualdad y a la no discriminación pero también a los derechos concretos que se encuentren en juego: el derecho al trabajo, a la seguridad social, a la asistencia social, etc. De ahí que, cuando sea utilizados en determinados ámbitos o para determinados fines, sean considerados, desde la óptica del RIA sistemas de alto riesgo y, por tanto, que estén sometidos a sus específicas garantías, tanto ex ante como ex post. El Anexo III RIA considera de alto riesgo los sistemas de calificación o evaluación utilizados en el ámbito laboral (para asignar tareas, para supervisar el rendimiento o el comportamiento de los empleados) y también aquellos otros utilizados para la calificación o evaluación en el ámbito de servicios esenciales, públicos o privados. Caen dentro de esta rúbrica los sistemas de IA utilizados para evaluar la admisibilidad de las personas para beneficiarse de prestaciones esenciales de asistencia pública; aquellos utilizados  para evaluar la solvencia de las personas físicas o establecer su calificación crediticia o los utilizados para la evaluación de riesgos y la fijación de  precios en caso de seguros de vida y salud.

¿Puede haber sistemas de puntuación que no estén prohibidos o no sean de alto riesgo? No es lo más habitual pero podría ser, siempre que, no estando prohibidos, no afectasen a ninguna de los ámbitos cubiertos por los sistemas de alto riesgo. Quizás ese podría ser el caso de los sistemas de IA de scoring de inquilinos que tratan de seleccionar al mejor candidato para el arrendamiento teniendo en cuenta su contrato de trabajo, su nómina, si ha tenido impagos, las condiciones en las que ha dejado anteriores viviendas alquiladas, etc. 

En definitiva, la regulación final de los sistemas de puntuación social es más satisfactoria que la prevista inicialmente en la propuesta de la Comisión. No obstante, esta clasificación no es definitiva y es positivo que así sea para que el Derecho pueda adecuarse de la manera jurídicamente más correcta a los propios desarrollos incesantes de la IA. Los sistemas de puntuación social hoy prohibidos mañana quizás puedan estar admitidos si jurídicamente se logra disciplinarlos o, al revés, sistemas actualmente permitidos podrían pasar a estar prohibidos si se advirtiera un potencial lesivo inaceptable para los derechos fundamentales. De la misma manera, podrían surgir otros nuevos, quizás hoy desconocidos, que habría que decidir “dónde colocar”. En efecto, la Comisión está obligada a revisar tanto las prácticas prohibidas como las de alto riesgo (anexo III) anualmente. Además, hay algunos aspectos -ya señalados- relativos a la interpretación de ciertos conceptos usados por el art.5.1.c) RIA que necesitan quizás de aclaración. Aunque esta pueda venir de los criterios interpretativos que elaborará la Comisión, quizás en muchos casos no pueda resolverse a nivel legislativo y aquélla venga dada de la propia casuística en la materia, que nos ofrecerá pistas sobre cómo ir redefiniendo el alcance de la prohibición.

P.D. Esta es una versión abreviada de la presentación realizada en el Seminario Vigilancia biométrica masiva mediante IA: Corporeidad, Identidad y Derechos Fundamentales (UPV – 25 y 26 de noviembre de 2024).