{"id":577,"date":"2024-11-28T18:19:36","date_gmt":"2024-11-28T17:19:36","guid":{"rendered":"https:\/\/retina-der.uniovi.es\/?p=577"},"modified":"2025-01-12T11:22:29","modified_gmt":"2025-01-12T10:22:29","slug":"los-sistemas-de-puntuacion-social-en-el-reglamento-europeo-de-inteligencia-artificial-2","status":"publish","type":"post","link":"https:\/\/retina-der.uniovi.es\/index.php\/2024\/11\/28\/los-sistemas-de-puntuacion-social-en-el-reglamento-europeo-de-inteligencia-artificial-2\/","title":{"rendered":"Los sistemas de puntuaci\u00f3n social en el Reglamento Europeo de Inteligencia Artificial"},"content":{"rendered":"\n

Patricia Garc\u00eda Majado<\/em><\/p>\n\n\n\n

La puntuaci\u00f3n en s\u00ed misma es una herramienta nada desconocida para el Derecho, ni para la sociedad, sino ampliamente utilizada desde hace much\u00edsimos a\u00f1os, tanto en el \u00e1mbito p\u00fablico como privado: pi\u00e9nsese en que las oposiciones y concursos son un sistema de puntuaci\u00f3n, como tambi\u00e9n lo son los procesos competitivos por los que se conceden subvenciones p\u00fablicas o el propio carnet por puntos. Puntuar es, por tanto, una forma de reducir la complejidad que habita en el entorno social y de priorizar\/jerarquizar necesidades para tomar las decisiones, a veces de manera m\u00e1s eficaz, y otras (o tambi\u00e9n) m\u00e1s objetiva. Ahora bien, con la llegada de la inteligencia artificial este mecanismo ha evolucionado exponencialmente. La inmensa cantidad de datos a los que hoy se tiene acceso unida a las tambi\u00e9n inmensas capacidades de computaci\u00f3n de tales sistemas han logrado que lo \u201cpuntuable\u201d haya terminado por ser, casi, cualquier elemento o sector de la sociedad misma, dando lugar a lo que se conoce como puntuaci\u00f3n social o ciudadana<\/em>. <\/p>\n\n\n\n

Los sistemas de puntuaci\u00f3n social ciudadana, tras la aprobaci\u00f3n del RIA, est\u00e1n sometidos a distintos reg\u00edmenes jur\u00eddicos en funci\u00f3n c\u00f3mo funcionen, qu\u00e9 efectos produzcan y, tambi\u00e9n, en qu\u00e9 \u00e1mbitos se empleen. No hay, por tanto, un tratamiento uniforme de los mismos, sino segmentado, algo que casa con el enfoque de \u201criesgo\u201d adoptado por el propio Reglamento. <\/p>\n\n\n\n

El art.5.1 c) RIA proh\u00edbe expresamente los sistemas de puntaci\u00f3n social ciudadana en ciertas circunstancias. Dicho precepto, aunque no fue el que m\u00e1s modificaciones sufri\u00f3, si experiment\u00f3 cambios merced, fundamentalmente, a las enmiendas introducidas por el Parlamento europeo. En primer lugar, en la propuesta inicial se prohib\u00eda la introducci\u00f3n de estos sistemas \u201ca las autoridades p\u00fablicas o a quien actuara en su representaci\u00f3n\u201d, concreci\u00f3n posteriormente eliminada. Por tanto, y con buena l\u00f3gica, estos sistemas no pueden ser usados no solo por poderes p\u00fablicos, sino tambi\u00e9n por empresas privadas que, en muchos casos, son las que m\u00e1s utilizan este tipo de mecanismos. En segundo lugar, la propuesta de la Comisi\u00f3n alud\u00eda a los sistemas que evaluasen o calificasen a las personas en base al comportamiento social o rasgos de la personalidad \u201cconocidos o predichos\u201d. Sin embargo, la versi\u00f3n final incluye tambi\u00e9n la posibilidad de que dichas caracter\u00edsticas sean \u201cinferidas\u201d, puesto que dichas cuestiones pueden extraerse de otras circunstancias, aparentemente neutras, que no guardan relaci\u00f3n directa con el comportamiento o los rasgos de la personalidad. En efecto, la IA se utiliza justamente para inferir. En tercer lugar, mientras que la propuesta inicial entend\u00eda que el fin de los sistemas de puntuaci\u00f3n social era evaluar o clasificar la \u201cfiabilidad\u201d de las personas, el reglamento alude \u00fanicamente a la \u201cevaluaci\u00f3n o clasificaci\u00f3n\u201d, independientemente de para qu\u00e9 se utilice, si para medir su confianza o cualesquiera otras variables. En cuarto lugar, el texto de la Comisi\u00f3n alud\u00eda a la \u201cevaluaci\u00f3n o clasificaci\u00f3n de personas f\u00edsicas\u201d mientras que, merced a una enmienda del Parlamento, dicha evaluaci\u00f3n se extendi\u00f3 finalmente tambi\u00e9n a grupos de personas a efectos de su calificaci\u00f3n social (trabajadores, asegurados, consumidores, menores\u2026).<\/p>\n\n\n\n

Ahora bien, como sucede con otras prohibiciones, la que ahora nos ocupa tambi\u00e9n es finalista. De esta manera, no se proh\u00edben per se<\/em> los sistemas de puntuaci\u00f3n ciudadana sino que se proh\u00edben cuando: (a) o bien provoquen un trato perjudicial o desfavorable en contextos distintos en donde se generaron los datos o (b) cuando dicho trato sea injustificado o desproporcionado con respecto al comportamiento social o su gravedad.  <\/p>\n\n\n\n

En relaci\u00f3n con la primera exclusi\u00f3n, habr\u00eda que sostener que no resultan prohibidos los sistemas de evaluaci\u00f3n o clasificaci\u00f3n de personas que ofrecen una puntuaci\u00f3n a partir de datos generado en ese mismo contexto. El ejemplo a este respecto quiz\u00e1s sean los sistemas de puntuaci\u00f3n de seguros, utilizados para determinar el nivel de riesgo que presenta cada asegurado y as\u00ed fijar las primas adecuadas. Los factores utilizados suelen tener que ver con el historial crediticio, el historial de conducci\u00f3n, la edad, el sexo y el historial de reclamaciones, de manera que, por resultar todas ellas variables relacionadas con el contexto relativo al seguro, no resultar\u00edan exclu\u00eddos por el art.5.1.c) RIA. <\/p>\n\n\n\n

Sin embargo, s\u00ed resultar\u00edan prohibidos aquellos sistemas que utilicen datos para elaborar puntuaciones sociales en un contexto diferente a aqu\u00e9l en el que se generaron los datos. Al margen de otras consideraciones, el fundamento espec\u00edfico de esta prohibici\u00f3n parece ser el derecho a la igualdad y no discriminaci\u00f3n. La regulaci\u00f3n presume que tratar de manera diferente a alguien, en un \u00e1mbito, por cuestiones ajenas al mismo (factores no relacionados) es una diferencia de trato carente de justificaci\u00f3n (y, por tanto, discriminatoria).\u00bfPor qu\u00e9 decidir promocionar o no a un trabajador en funci\u00f3n de su calificaci\u00f3n crediticia? Este es un ejemplo actual, y muy extendido especialmente en EE.UU (aunque no solo) donde las evaluaciones de solvencia crediticia son utilizadas como un elemento para decidir a qui\u00e9n contratar, entendiendo que quien es diligente y paga bien sus facturas tendr\u00e1s m\u00e1s posibilidades de ser un buen empleado, responsable, que llega puntual a su puesto, etc.<\/p>\n\n\n\n

Ejemplo de esta exclusi\u00f3n podr\u00eda ser el sistema dan\u00e9s de IA creado para controlar el fraude en materia de prestaciones p\u00fablicas, revelado por Amnist\u00eda Internacional recientemente<\/a>. Dicho sistema emplea datos que incluyen informaci\u00f3n sobre la situaci\u00f3n de residencia y movimientos, ciudadan\u00eda, lugar de nacimiento y relaciones familiares, todos ellos datos que se pueden emplear para inferir la raza, la etnia o la orientaci\u00f3n sexual de una persona. Por ejemplo, a fin de detectar fraudes a prestaciones sociales de los planes de pensiones y de cuidado infantil, las autoridades danesas emplean el algoritmo Really Single<\/em> (Realmente soltero\/a) para predecir la situaci\u00f3n familiar y de relaciones de una persona. Uno de los par\u00e1metros utilizados por el algoritmo de control de fraudes Really Single incluye patrones de vida o composiciones familiares \u201cinusuales\u201d o \u201cat\u00edpicos\u201d, como por ejemplo que personas casadas no vivan juntas o que haya hogares multigeneracionales. Otro de los algoritmos utilizados (Abroad<\/em>) emplea la ciudadan\u00eda como par\u00e1metro para detectar al fraude, a trav\u00e9s del cual se pueden inferir la raza, etnia y situaci\u00f3n migratoria de una persona, priorizando la investigaci\u00f3n sobre las personas sobre las que concurran estas circunstancias. De esta manera, podr\u00eda sostenerse que el contexto donde opera la prestaci\u00f3n (\u00e1mbito de prestaciones sociales) no est\u00e1 en muchos casos relacionado con el contexto de donde derivan los datos (la situaci\u00f3n familiar o personal, la ciudadan\u00eda, etc.).<\/p>\n\n\n\n

En relaci\u00f3n con este primer apartado del art.5.1.c) RIA parece necesaria, por un lado, la interpretaci\u00f3n que la Comisi\u00f3n haga del propio concepto de contexto dado que, en funci\u00f3n de \u00e9sta, aqu\u00e9lla tendr\u00e1 diverso alcance. Adem\u00e1s, habr\u00e1 que tratar de ver c\u00f3mo opera dicho concepto en el mundo, como es el de la IA, donde a partir de datos conocidos y pertinentes al contexto puede llegarse a correlaciones absolutamente imprevisibles que se utilicen nuevamente para puntuar. \u00bfCu\u00e1ndo saber, en suma, que estamos ante \u201cel mismo contexto\u201d en que se generaron los datos?<\/p>\n\n\n\n

En relaci\u00f3n con la segunda exclusi\u00f3n, se proh\u00edben aquellos sistemas de puntuaci\u00f3n social que provoquen un trato perjudicial o desfavorable hacia determinadas personas f\u00edsicas o colectivos de personas que sea injustificado o desproporcionado con respecto a su comportamiento social o la gravedad de \u00e9ste. Es decir, se proh\u00edben los sistemas de puntuaci\u00f3n que, a\u00fan operando dentro del mismo contexto informativo, sean desproporcionados o injustificados. De esta exclusi\u00f3n quiz\u00e1s pudiera ser ejemplo la plataforma de reparto de comida a domicilio Deliveroo. En ella, los trabajadores pueden entrar cada lunes para reservar sus horarios de trabajo en tres franjas (11h, 15h y 17h) seg\u00fan la puntuaci\u00f3n que tengan en el ranking de Deliveroo y de la que se encarga un algoritmo llamado \u201cFrank\u201d. La puntuaci\u00f3n de los riders depende de dos \u00edndices: fiabilidad y disponibilidad. Mientras que el primero tiene en cuenta las veces en que el repartidor no cumple con una sesi\u00f3n de trabajo previamente reservada, el segundo tiene en cuenta el n\u00famero de veces que aqu\u00e9l est\u00e1 disponible en los horarios de mayor demanda (20 a 22h de viernes a domingo). Pues bien, parece evidente (o quiz\u00e1s no tanto) que la variable de la disponibilidad puede comportar un trato perjudicial injustificado para aquellos repartidores que, por ejemplo, est\u00e9n enfermos, tengan personas a su cargo o ejerzan la acci\u00f3n sindical, cuestiones todas ellas que merman su total disponibilidad a esas horas. El Tribunal ordinario de Bolonia, que conoci\u00f3 de este asunto en 2020<\/a>, consider\u00f3 que se trataba de un caso de discriminaci\u00f3n indirecta: un criterio aparentemente neutro (disponibilidad laboral) termina, en la pr\u00e1ctica, por discriminar a determinados colectivos concretos. Precisamente por ello, y a la luz del RIA, parece que el algoritmo Frank se tratar\u00eda de un trato perjudicial injustificado para determinados trabajadores de la plataforma y, en cuanto tal, discriminatorio.<\/p>\n\n\n\n

Ahora bien, cuando los sistemas de puntuaci\u00f3n social operen en el mismo contexto y no produzcan tratos perjudiciales injustificados o desproporcionados para los individuos est\u00e1n permitidos. No obstante, no est\u00e1n tampoco exentos de riesgos. Son muchos y los principales ata\u00f1en a la igualdad y a la no discriminaci\u00f3n pero tambi\u00e9n a los derechos concretos que se encuentren en juego: el derecho al trabajo, a la seguridad social, a la asistencia social, etc. De ah\u00ed que, cuando sea utilizados en determinados \u00e1mbitos o para determinados fines, sean considerados, desde la \u00f3ptica del RIA sistemas de alto riesgo y, por tanto, que est\u00e9n sometidos a sus espec\u00edficas garant\u00edas, tanto ex ante como ex post. El Anexo III RIA considera de alto riesgo los sistemas de calificaci\u00f3n o evaluaci\u00f3n utilizados en el \u00e1mbito laboral (para asignar tareas, para supervisar el rendimiento o el comportamiento de los empleados) y tambi\u00e9n aquellos otros utilizados para la calificaci\u00f3n o evaluaci\u00f3n en el \u00e1mbito de servicios esenciales, p\u00fablicos o privados. Caen dentro de esta r\u00fabrica los sistemas de IA utilizados para evaluar la admisibilidad de las personas para beneficiarse de prestaciones esenciales de asistencia p\u00fablica; aquellos utilizados  para evaluar la solvencia de las personas f\u00edsicas o establecer su calificaci\u00f3n crediticia o los utilizados para la evaluaci\u00f3n de riesgos y la fijaci\u00f3n de  precios en caso de seguros de vida y salud.<\/p>\n\n\n\n

\u00bfPuede haber sistemas de puntuaci\u00f3n que no est\u00e9n prohibidos o no sean de alto riesgo? No es lo m\u00e1s habitual pero podr\u00eda ser, siempre que, no estando prohibidos, no afectasen a ninguna de los \u00e1mbitos cubiertos por los sistemas de alto riesgo. Quiz\u00e1s ese podr\u00eda ser el caso de los sistemas de IA de scoring de inquilinos que tratan de seleccionar al mejor candidato para el arrendamiento teniendo en cuenta su contrato de trabajo, su n\u00f3mina, si ha tenido impagos, las condiciones en las que ha dejado anteriores viviendas alquiladas, etc. <\/p>\n\n\n\n

En definitiva, la regulaci\u00f3n final de los sistemas de puntuaci\u00f3n social es m\u00e1s satisfactoria que la prevista inicialmente en la propuesta de la Comisi\u00f3n. No obstante, esta clasificaci\u00f3n no es definitiva y es positivo que as\u00ed sea para que el Derecho pueda adecuarse de la manera jur\u00eddicamente m\u00e1s correcta a los propios desarrollos incesantes de la IA. Los sistemas de puntuaci\u00f3n social hoy prohibidos ma\u00f1ana quiz\u00e1s puedan estar admitidos si jur\u00eddicamente se logra disciplinarlos o, al rev\u00e9s, sistemas actualmente permitidos podr\u00edan pasar a estar prohibidos si se advirtiera un potencial lesivo inaceptable para los derechos fundamentales. De la misma manera, podr\u00edan surgir otros nuevos, quiz\u00e1s hoy desconocidos, que habr\u00eda que decidir \u201cd\u00f3nde colocar\u201d. En efecto, la Comisi\u00f3n est\u00e1 obligada a revisar tanto las pr\u00e1cticas prohibidas como las de alto riesgo (anexo III) anualmente. Adem\u00e1s, hay algunos aspectos -ya se\u00f1alados- relativos a la interpretaci\u00f3n de ciertos conceptos usados por el art.5.1.c) RIA que necesitan quiz\u00e1s de aclaraci\u00f3n. Aunque esta pueda venir de los criterios interpretativos que elaborar\u00e1 la Comisi\u00f3n, quiz\u00e1s en muchos casos no pueda resolverse a nivel legislativo y aqu\u00e9lla venga dada de la propia casu\u00edstica en la materia, que nos ofrecer\u00e1 pistas sobre c\u00f3mo ir redefiniendo el alcance de la prohibici\u00f3n.<\/p>\n\n\n\n

P.D. Esta es una versi\u00f3n abreviada de la presentaci\u00f3n realizada en el Seminario Vigilancia biom\u00e9trica masiva mediante IA: Corporeidad, Identidad y Derechos Fundamentales<\/em> (UPV \u2013 25 y 26 de noviembre de 2024).<\/p>\n\n\n\n

<\/p>\n","protected":false},"excerpt":{"rendered":"

Patricia Garc\u00eda Majado La puntuaci\u00f3n en s\u00ed misma es una herramienta nada desconocida para el Derecho, ni para la sociedad, sino ampliamente utilizada desde hace much\u00edsimos a\u00f1os, tanto en el \u00e1mbito p\u00fablico como privado: pi\u00e9nsese en que las oposiciones y concursos son un sistema de puntuaci\u00f3n, como tambi\u00e9n lo son los procesos competitivos por los […]<\/p>\n","protected":false},"author":4,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[27],"tags":[22],"class_list":["post-577","post","type-post","status-publish","format-standard","hentry","category-blog","tag-patricia-garcia-majado"],"_links":{"self":[{"href":"https:\/\/retina-der.uniovi.es\/index.php\/wp-json\/wp\/v2\/posts\/577","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/retina-der.uniovi.es\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/retina-der.uniovi.es\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/retina-der.uniovi.es\/index.php\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/retina-der.uniovi.es\/index.php\/wp-json\/wp\/v2\/comments?post=577"}],"version-history":[{"count":5,"href":"https:\/\/retina-der.uniovi.es\/index.php\/wp-json\/wp\/v2\/posts\/577\/revisions"}],"predecessor-version":[{"id":616,"href":"https:\/\/retina-der.uniovi.es\/index.php\/wp-json\/wp\/v2\/posts\/577\/revisions\/616"}],"wp:attachment":[{"href":"https:\/\/retina-der.uniovi.es\/index.php\/wp-json\/wp\/v2\/media?parent=577"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/retina-der.uniovi.es\/index.php\/wp-json\/wp\/v2\/categories?post=577"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/retina-der.uniovi.es\/index.php\/wp-json\/wp\/v2\/tags?post=577"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}