En 2016, Cathy O´Neil publicó su libro “Armas de destrucción matemática: cómo el big data aumenta la desigualdad y amenaza a la democracia”, obra que tuvo una gran repercusión a lo largo de Estados Unidos y el mundo, puesto que nos permite entender la conexión que existe entre los algoritmos y la discriminación.
Comienza explicando cómo un programa de ordenador es capaz de procesar y analizar grandes cantidades de datos en pocos segundos, ya sean curriculums o solicitudes de préstamos, clasificándolos en listas bien ordenadas, con los candidatos prometedores situados siempre en los primeros lugares. Estos programas se consideran como procesos justos y objetivos en donde, al no existir intervención por parte de los seres humanos, los procesos se realizan sin prejuicios. De esta manera, son las máquinas las que procesan números de manera objetiva.
Pero ¿a qué nos referimos cuando hablamos de algoritmos? Los algoritmos son el resultado de la combinación entre las matemáticas y las tecnologías de la información que están reproduciendo grandes errores humanos, prejuicios e injusticias. Esto se puede ver en temas relacionados con solicitudes de préstamos, o cuando, por ejemplo, llamamos al servicio de atención al cliente de una empresa. Según la puntuación que la compañía tenga de nosotros en relación a nuestro número de teléfono y de nuestro perfil, decidirá si somos un cliente de alto o de bajo valor. Y si consideraran que somos de valor reducido, podría provocar esperas mucho más largas de lo habitual.
Lo interesante de esto es ver cómo los algoritmos terminan tomando decisiones por nosotros mismos, haciendo que los procesamientos de datos afecten más a los estratos bajos de la sociedad que a las personas con un poder adquisitivo mayor, ya que en la mayoría de los casos, reciben un trato más personal.
Con base a esto podemos identificar tres distintas problemáticas:
1. Socialmente. Son los problemas que afectan, sobre todo, a las personas que se someten a estos procesos automatizados de toma de decisiones. No solo existe una justificada preocupación por los errores y sesgos que pueden generar los sistemas automatizados, sino que también se han detectado múltiples casos en los que el uso de estos sistemas produce resultados especialmente perjudiciales para las personas pertenecientes a grupos vulnerables o desaventajados, ya que se ha demostrado la especial incidencia que el uso de algoritmos tiene en la perpetuación de las estructuras sociales de desigualdad y subdiscriminación.
En relación a esto, ciertas acciones discriminatorias reciben una consideración específica, como especialmente perjudiciales, por los Estados democráticos y los instrumentos internacionales de Derechos Humanos. Estas decisiones se estipulan como discriminación principalmente por raza o sexo y por supuesto, situación económica. Por ejemplo, en Estados Unidos, empresas como Finish Line, Home Depot o Walgreen Co; utilizan un programa denominado Kronos para los procesos de selección y contratación. Mismos que incluyen test de personalidad, algo que puede ser considerado como ilegal debido a que este software, en teoría, estaría violando la Ley sobre Estadounidenses con Discapacidades (ADA, por sus siglas en inglés) ya que es notorio que no se puede incorporar información sobre el rendimiento del trabajador en una compañía a través de un sistema automatizado. Por este motivo, representan un filtro para eliminar a la mayor cantidad de candidatos posibles.
2. Económicamente. Los fallos de mercado contribuyen a justificar la intervención en el uso privado de sistemas algorítmicos. La intervención en el sector privado viene avalada por el principio de precaución, que justifica la imposición de mayores cargas sobre las actividades económicas susceptibles a producir daños sobre los intereses públicos. Esta intervención provoca la existencia de monopolios digitales, las situaciones de información asimétrica y la irracionalidad en el comportamiento de los individuos a quienes pueden afectar estos procesos.
3. Jurídicamente. Por último, existen limitaciones en materia de protección de datos para enfrentarse a los problemas derivados del creciente uso de algoritmos que generan una ineludible necesidad de adoptar nuevos instrumentos jurídicos que hagan frente a esta nueva realidad.
Ahora bien, en términos de Derechos Humanos, podemos decir que los algoritmos —al influir en los procesos de recolección y procesamiento de datos— no consideran el contexto internacional de los derechos humanos. Por este motivo, en la actualidad nos encontramos con grandes violaciones a los derechos fundamentales en todo el mundo. Esto es debido a que no existen límites ni regulaciones respecto a los avances tecnológicos que se están generando, aunque existen países que dentro de sus ordenamientos internos se encuentran realizando esfuerzos para solventar esta situación. Por ejemplo, el Tribunal Internacional de La Haya en 2020 dictó un fallo para la anulación de la recopilación de datos y la elaboración de perfiles de riesgo de ciudadanos con el fin de detectar todo tipo de fraudes a la seguridad social mediante un Sistema de Indicación de Riesgos (SyRI). El mismo permitió que se hiciera frente al fraude en áreas de seguridad social e impuestos a través de la recopilación de datos sobre ingresos, pensiones, tipos de vivienda, impuestos o deudas para calcular —con base a lo dispuesto por los algoritmos— quiénes son los individuos con mayores posibilidades de defraudar a la Administración. Por lo que, el Tribunal de La Haya señaló que el sistema no cumplía con los requisitos del artículo 8 del Convenio Europeo de Derechos Humanos sobre el respeto de la privacidad como forma para justificar este tipo de recopilación de datos personales, en el que se establece que:
Pero, ¿cómo está regulada la protección de datos en el Derecho Europeo? El núcleo del régimen de protección de datos personales de la UE lo constituye la libre determinación en materia de información personal. Este régimen jurídico se basa principalmente en un marco que proporciona a las personas autoridad sobre cómo y cuándo compartir sus datos. Así mismo, se establecen una serie de instrumentos de supervisión que se han desarrollado combinando instrumentos jurídicos de hard law y soft law para producir un sistema que tenga por objeto prevenir y hacer frente a los riesgos y daños causados por el tratamiento de datos personales. Por último, al establecer una red de autoridades públicas de protección de datos, se transmite la forma en que la UE reconoce las insuficiencias de abordar exclusivamente los peligros generados por las tecnologías de tratamiento de datos mediante instrumentos tradicionales de Derecho Privado.
Por lo tanto, podemos afirmar que la necesidad de regular la protección de datos es una situación conocida por la Unión Europea y sus Estados miembros. En los últimos años, como se ha mencionado anteriormente, coincidieron en la necesidad de crear un nuevo sistema normativo que aborde de manera global los problemas derivados del uso de la I.A. Pero, hasta que esto se ponga en práctica, hay que tomar en consideración que entre los Estados del Consejo de Europa hay ordenamientos internos muy dispares, afectando no solo a los derechos relacionados con la protección de datos sino también a los derechos de la privacidad y a las salvaguardas procesales que se deben aplicar en cada Estado.
En mayo de 2021, según El País, España fue multada por 89.000 euros diarios por no trasponer a tiempo la Directiva de Protección de Datos. El Tribunal de Justicia ha penado al país con dos sanciones que se encuentran reguladas en el artículo 260 del Tratado de Funcionamiento de la Unión Europea. En primer lugar, se ha impuesto el pago de una multa coercitiva para poner fin al incumplimiento y, por otro, se impone el pago de 15 millones de euros adicionales como una medida disuasoria con el objetivo de prevenir cualquier tipo de incumplimiento futuro. Ante esta situación, la institución competente para adecuar la directiva al ordenamiento interno español es el Ministerio del Interior a través de la elaboración de un anteproyecto de ley orgánica. Actualmente, la normativa vigente es la Ley Orgánica 3/2018 de Protección de Datos Personales y garantía de los derechos digitales.
A modo de conclusión, es importante entender que los algoritmos actualmente se encuentran tomando decisiones por nosotros mismos en asuntos de gran relevancia para el desarrollo profesional, económico y social de las personas. Esto está afectando tanto a los Derechos Humanos como a las regulaciones de Protecciones de Datos. Por esto mismo, es necesario que los Estados pongan sus esfuerzos en negociar e implementar normativas en sus ordenamientos internos que permitan limitar su uso para evitar que sigan existiendo casos de discriminación de raza o sexo como los mencionados anteriormente. Igualmente, se necesitan acordar líneas de acción para la adopción, en el caso europeo, de la Directiva 2016/680 y el Reglamento Europeo de Libre Circulación de Datos No Personales en todos los Estados Miembros de la Unión Europea.
