Cómo garantizar la aplicación de los marcos éticos elaborados para la inteligencia artificial
Autores: Carlos Cercos, Enrique Collada, Enrique García-Arcicollar, Íñigo Merino, Eduardo Moreno, Carlos Salazar, Xavier Trilla
Fecha de publicación: 16 de octubre, 2020
Fecha de publicación: 16 de octubre, 2020
Resumen ejecutivo
En este texto se abordan las principales soluciones para conseguir la aplicación de los principios éticos, ya establecidos en numerosas publicaciones de organizaciones, instituciones y empresas, para la confianza en la IA, en los ámbitos de la transparencia, la responsabilidad y la no discriminación por sesgos.
En este texto se abordan las principales soluciones para conseguir la aplicación de los principios éticos, ya establecidos en numerosas publicaciones de organizaciones, instituciones y empresas, para la confianza en la IA, en los ámbitos de la transparencia, la responsabilidad y la no discriminación por sesgos.
Índice
- Introducción
- Transparencia en el uso de los datos personales
- El dilema de la responsabilidad ante errores
- La discriminación causada por los sesgos algorítmicos
- Conclusiones
Introducción
El ser humano ha conseguido numerosos avances tecnológicos que le han permitido adaptarse al mundo y sobrevivir en él mejor que otras especies. Como diría Ortega y Gasset en su discurso inaugural de la Universidad Internacional Menéndez Pelayo, “sin la técnica el hombre no existiría ni habría existido nunca”, pues, para él, la “técnica” es parte fundamental de eso que podríamos llamar la naturaleza humana.
Los avances tecnológicos han conseguido cambiar nuestras formas de comportamiento y el funcionamiento mismo de nuestras sociedades y sus culturas, además de proveernos de herramientas con las que entender mejor nuestro entorno y vivir más seguros y cómodos. Sin embargo, el desarrollo de algunas tecnologías, como la inteligencia artificial, hacen tambalearse algunos principios éticos y morales predominantes en nuestra sociedad.
En este texto, no pretendemos recoger todos aquellos principios éticos que deben regir el desarrollo de la IA, pues ya son muchos los papers publicados al respecto por instituciones y diversas organizaciones. Queremos pasar al siguiente nivel, es decir, asumir que ya existe cierto consenso sobre la necesidad de garantizar algunos principios, como la transparencia, la responsabilidad y la no discriminación, y encontrar las fórmulas para que no queden en una mera declaración de intenciones.
Los avances tecnológicos han conseguido cambiar nuestras formas de comportamiento y el funcionamiento mismo de nuestras sociedades y sus culturas, además de proveernos de herramientas con las que entender mejor nuestro entorno y vivir más seguros y cómodos. Sin embargo, el desarrollo de algunas tecnologías, como la inteligencia artificial, hacen tambalearse algunos principios éticos y morales predominantes en nuestra sociedad.
En este texto, no pretendemos recoger todos aquellos principios éticos que deben regir el desarrollo de la IA, pues ya son muchos los papers publicados al respecto por instituciones y diversas organizaciones. Queremos pasar al siguiente nivel, es decir, asumir que ya existe cierto consenso sobre la necesidad de garantizar algunos principios, como la transparencia, la responsabilidad y la no discriminación, y encontrar las fórmulas para que no queden en una mera declaración de intenciones.
Transparencia en el uso de los datos personales
Una de las primeras cuestiones tecnológicas que preocupan, en general, a la ciudadanía, es el uso de los datos personales por parte de las IAs en la sociedad del Big Data. Sin embargo, el problema de la protección de datos nace en las empresas que hacen uso de ellos; la IA es la herramienta que utilizan para analizarlos. Por tanto, se podría decir que la creciente disponibilidad de mejores y más sofisticadas herramientas de big data y predicción inclinan a empresas o instituciones a hacer un uso cuestionable de estos datos, que debe ser tenido en cuenta a nivel ético. Pero desde luego, esta no es una problemática intrínseca a la IA, sino más bien una cuestión de privacidad y protección de datos.
Dicho esto, lo incluimos en este análisis porque consideramos que un principio ético clave para la confianza en la IA, en el que parecen estar de acuerdo los expertos, es la transparencia. Sin ella no hay confianza en la tecnología ni en las organizaciones, públicas o privadas, que las utilizan. La transparencia consistiría en conocer qué información personal es recogida, quién la utiliza y para qué. Si bien en la Unión Europea podemos decir que contamos con un ambicioso reglamento de protección de datos (GDPR) desde el año 2018, con un alcance, en teoría, extraterritorial (que implica que todas las compañías, sean o no europeas, tengan que cumplir el reglamento), no ocurre lo mismo en el resto del mundo, con leyes más laxas y, en algunos casos, vulnerando estos derechos. Por tanto, un primer paso para garantizar el principio de transparencia sería el de robustecer y hacer cumplir las leyes de protección de datos.
Sin embargo, teniendo en cuenta que no tenemos realmente acceso a los algoritmos utilizados por las empresas, tampoco podemos conocer al detalle y comprobar si el uso que se hace de los datos es estrictamente el que nos describen las grandes tecnológicas. Ya hemos visto episodios en los que grandes compañías vendían datos sensibles sin permiso, de forma opaca y para fines nada éticos, además de conocer el testimonio de muchos ingenieros, extrabajadores de firmas importantes, que afirman que las mentes más preparadas de este mundo trabajan para hackear las del común de los mortales y captar nuestra atención constantemente, conociéndonos mejor de lo que nos conocemos a nosotros mismos. Sería conveniente en este punto recordar las palabras de Reed Hastings, fundador y CEO de Netflix, cuando afirmaba que su mayor competidor no es HBO, sino el “sueño”. En cualquier caso, este debate, sobre si es lícito o no trabajar en torno a ciertos objetivos o propósitos, es del orden de lo filosófico y ético y, de momento, lo dejamos en manos del lector.
Dicho esto, lo incluimos en este análisis porque consideramos que un principio ético clave para la confianza en la IA, en el que parecen estar de acuerdo los expertos, es la transparencia. Sin ella no hay confianza en la tecnología ni en las organizaciones, públicas o privadas, que las utilizan. La transparencia consistiría en conocer qué información personal es recogida, quién la utiliza y para qué. Si bien en la Unión Europea podemos decir que contamos con un ambicioso reglamento de protección de datos (GDPR) desde el año 2018, con un alcance, en teoría, extraterritorial (que implica que todas las compañías, sean o no europeas, tengan que cumplir el reglamento), no ocurre lo mismo en el resto del mundo, con leyes más laxas y, en algunos casos, vulnerando estos derechos. Por tanto, un primer paso para garantizar el principio de transparencia sería el de robustecer y hacer cumplir las leyes de protección de datos.
Sin embargo, teniendo en cuenta que no tenemos realmente acceso a los algoritmos utilizados por las empresas, tampoco podemos conocer al detalle y comprobar si el uso que se hace de los datos es estrictamente el que nos describen las grandes tecnológicas. Ya hemos visto episodios en los que grandes compañías vendían datos sensibles sin permiso, de forma opaca y para fines nada éticos, además de conocer el testimonio de muchos ingenieros, extrabajadores de firmas importantes, que afirman que las mentes más preparadas de este mundo trabajan para hackear las del común de los mortales y captar nuestra atención constantemente, conociéndonos mejor de lo que nos conocemos a nosotros mismos. Sería conveniente en este punto recordar las palabras de Reed Hastings, fundador y CEO de Netflix, cuando afirmaba que su mayor competidor no es HBO, sino el “sueño”. En cualquier caso, este debate, sobre si es lícito o no trabajar en torno a ciertos objetivos o propósitos, es del orden de lo filosófico y ético y, de momento, lo dejamos en manos del lector.
El dilema de la responsabilidad ante errores
En segundo lugar, otra cuestión que nos preocupa es la de la responsabilidad ante los errores que pueda cometer una IA a la hora de dar un resultado. Pero antes, queremos precisar que esto no se trata de la búsqueda de culpables. Tenemos que aprender a vivir con el error porque nos ayudará a seguir avanzando y mejorar con este tipo de herramientas y en muchos otros aspectos. El objetivo, por una parte, debe estar en minimizar la posibilidad de error estableciendo unos estándares de calidad y, por otra parte, en garantizar el resarcimiento de aquellos afectados por los errores, asumiendo la responsabilidad de la compensación aquellos que se benefician de la venta de tecnologías y de la prestación de servicios con IA.
En muchos casos, la IA se utiliza como apoyo para la toma de decisiones, estando presente en ámbitos tan distintos y trascendentes como el sanitario o judicial. Parece evidente que la responsabilidad está, en todo momento, en el profesional que decide utilizar estas herramientas. Pero, ¿y en el caso en el que no conozcamos por qué una IA llega a un resultado determinado? En diferentes marcos éticos, este principio se considera como la “explicabilidad” de los algoritmos (según el marco presentado por Deloitte (aquí), “transparencia y explicabilidad” se definen como: “ayudar a los participantes a comprender cómo pueden utilizarse sus datos y cómo los sistemas de IA toman decisiones. Los algoritmos, atributos y correlaciones están abiertos a la inspección”). Este es ya un problema ampliamente debatido, pues muchas herramientas que hacen uso del Machine o Deep Learning funcionan, a nuestros ojos, como una caja negra. Es decir, nosotros introducimos unos datos, la IA los procesa y nos devuelve un resultado, sin saber el por qué de este. Realmente, el problema aquí es más técnico que de voluntad por parte de los desarrolladores. Aquí entra un dilema serio para los profesionales que la utilizan, ¿se fían de la herramienta tecnológica? En algunos casos, si ha sido evaluada y el porcentaje de fallo es bajo, lo natural es que sí. Por ejemplo, ya se han creado IAs que son capaces de analizar una imagen y diagnosticar si un lunar es cancerígeno o no con un índice de fallos inferior al humano (aquí). Parecería razonable utilizar en este caso la IA, ¿no? Pero si comete un error la IA, ¿a quién multamos? ¿A la máquina? ¿Al vendedor y al programador?¿Debe ser el ciudadano el que firme una declaración haciéndose responsable?
Subiendo aún más la apuesta, si quien toma la decisión es la propia máquina (caso conocido del dilema de un coche autónomo que no puede evitar un accidente (aquí)), ¿quién es el responsable? El dilema sobre la responsabilidad necesita incorporarse ya en el marco legal, dejando claro quién debe asumirla en cada caso. Solo así podremos resolver este tipo de situaciones y pasar del papel al hecho.
Por una parte, si obligamos a los desarrolladores a asumir la responsabilidad, que podría parecer lo más lógico (modelo: “encarcelar a quien mata”) pueden ocurrir dos situaciones: 1) que estemos limitando la innovación, pues pocos querrán asumir dicha responsabilidad y 2) que se cargue la responsabilidad legal en personas jurídicas externas al proyecto con otros intereses (corrupción). Sin embargo, si no son los mismos creadores quienes asumen la responsabilidad de sus creaciones, nos podría llevar a un resultado opuesto y no deseado: más innovación pero de baja calidad y posiblemente con más fallos.
En un modelo productivo eficiente y justo, quien debería asumirlo son las empresas u organizaciones como entes creadores que obtienen beneficios de esa IA y que, por lo tanto, son quienes disponen de más recursos. Y no los desarrolladores, que son simples trabajadores asalariados. Así serían las mismas empresas quienes se responsabilizarían de las IAs y se encargarían del buen trabajo de sus equipos para sacar al mercado productos de calidad y seguros, con incentivos para evitar que cometan fallos. Esto supondría, además, una garantía más para el consumidor.
En muchos casos, la IA se utiliza como apoyo para la toma de decisiones, estando presente en ámbitos tan distintos y trascendentes como el sanitario o judicial. Parece evidente que la responsabilidad está, en todo momento, en el profesional que decide utilizar estas herramientas. Pero, ¿y en el caso en el que no conozcamos por qué una IA llega a un resultado determinado? En diferentes marcos éticos, este principio se considera como la “explicabilidad” de los algoritmos (según el marco presentado por Deloitte (aquí), “transparencia y explicabilidad” se definen como: “ayudar a los participantes a comprender cómo pueden utilizarse sus datos y cómo los sistemas de IA toman decisiones. Los algoritmos, atributos y correlaciones están abiertos a la inspección”). Este es ya un problema ampliamente debatido, pues muchas herramientas que hacen uso del Machine o Deep Learning funcionan, a nuestros ojos, como una caja negra. Es decir, nosotros introducimos unos datos, la IA los procesa y nos devuelve un resultado, sin saber el por qué de este. Realmente, el problema aquí es más técnico que de voluntad por parte de los desarrolladores. Aquí entra un dilema serio para los profesionales que la utilizan, ¿se fían de la herramienta tecnológica? En algunos casos, si ha sido evaluada y el porcentaje de fallo es bajo, lo natural es que sí. Por ejemplo, ya se han creado IAs que son capaces de analizar una imagen y diagnosticar si un lunar es cancerígeno o no con un índice de fallos inferior al humano (aquí). Parecería razonable utilizar en este caso la IA, ¿no? Pero si comete un error la IA, ¿a quién multamos? ¿A la máquina? ¿Al vendedor y al programador?¿Debe ser el ciudadano el que firme una declaración haciéndose responsable?
Subiendo aún más la apuesta, si quien toma la decisión es la propia máquina (caso conocido del dilema de un coche autónomo que no puede evitar un accidente (aquí)), ¿quién es el responsable? El dilema sobre la responsabilidad necesita incorporarse ya en el marco legal, dejando claro quién debe asumirla en cada caso. Solo así podremos resolver este tipo de situaciones y pasar del papel al hecho.
Por una parte, si obligamos a los desarrolladores a asumir la responsabilidad, que podría parecer lo más lógico (modelo: “encarcelar a quien mata”) pueden ocurrir dos situaciones: 1) que estemos limitando la innovación, pues pocos querrán asumir dicha responsabilidad y 2) que se cargue la responsabilidad legal en personas jurídicas externas al proyecto con otros intereses (corrupción). Sin embargo, si no son los mismos creadores quienes asumen la responsabilidad de sus creaciones, nos podría llevar a un resultado opuesto y no deseado: más innovación pero de baja calidad y posiblemente con más fallos.
En un modelo productivo eficiente y justo, quien debería asumirlo son las empresas u organizaciones como entes creadores que obtienen beneficios de esa IA y que, por lo tanto, son quienes disponen de más recursos. Y no los desarrolladores, que son simples trabajadores asalariados. Así serían las mismas empresas quienes se responsabilizarían de las IAs y se encargarían del buen trabajo de sus equipos para sacar al mercado productos de calidad y seguros, con incentivos para evitar que cometan fallos. Esto supondría, además, una garantía más para el consumidor.
La discriminación causada por los sesgos algorítmicos
Finalmente, en tercer lugar, aparece la principal preocupación: los sesgos que derivan en discriminación. Este es el asunto que más atención está suscitando y del que algunos investigadores de Microsoft, IBM y la Universidad de Toronto, vienen avisando desde 2011, con unos de los primeros análisis en profundidad sobre el tema (aquí). Desde algoritmos de recursos humanos que discriminan por género, a sentencias de la justicia que aplican condenas distintas en función de la raza. La lista es en realidad interminable.
Para evitar este sesgo encontramos, por lo menos, tres soluciones. La primera de ellas, consistiría en utilizar IAs que entrenen a su vez a otras IAs para eliminar los sesgos. Aunque suene muy futurista, ya hay investigación en esta materia (aquí). En segundo lugar, se hace vital la formación ética de los desarrolladores, pues muchos de los sesgos de las personas que diseñan y programan los algoritmos, son directamente trasladados a las IAs. No se trata de criminalizar a los desarrolladores, pues todos somos culturalmente susceptibles de obedecer, sin darnos cuenta, a algún tipo de sesgo. Por eso, este tipo de formaciones y congresos sobre principios éticos y justos en la IA son cada vez más populares (aquí). Por último, otro aspecto clave para evitar estos sesgos generados por los propios programadores, es el trabajo en equipos que garanticen la diversidad de los miembros.
Sin embargo, de cara a plantear las posibles soluciones o responsabilidades, no sólo hay que tener en cuenta la IA clásica. Ya mencionamos que tecnologías como Machine Learning o Deep Learning funcionan como cajas negras, y éstas son las que, bajo nuestro punto de vista, más problemas traen, porque es difícil responsabilizar sobre algo que no se diseña tal y como es finalmente. Es decir: ni el desarrollador, ni el programador, ni la empresa han diseñado la red sobre la que “toma decisiones” ese tipo de IA. Habría que enfocarse también, por tanto, en asegurar la calidad de los datos con los que se entrenan las redes, que son éstos los que trasladan los sesgos, y no única y necesariamente los desarrolladores.
Para ello, podemos distinguir dos escenarios: que los datos existan o no. En el último caso, habría que hacer, como en cualquier estudio científico, un diseño estadístico fiable, representativo y no sesgado; y a partir de ahí, recolectar los datos. Este es probablemente el caso más sencillo, porque recoges los datos una vez ya sabes para qué los quieres. Donde habría que prestar más atención es ahí donde los datos ya existen (por ejemplo, de sentencias judiciales durante los últimos X años, o diagnósticos de cáncer, etc.), que no han sido tomados con el objetivo de realizar una IA. Ahí debería dedicarse tiempo y esfuerzo suficiente en asegurarse de la ausencia de sesgos: un gran análisis de datos previo al entrenamiento de una red neuronal. Y por otro lado, se debería controlar también el feedback que se le da a la red una vez en marcha. ¿Cómo te aseguras de que se mantiene actualizada? ¿Cuál es el control de calidad que asegure que sigue funcionando?
“Exponer” o “evaluar” el algoritmo es, en muchas modalidades de IA, prácticamente imposible. La intervención de los desarrolladores termina en el momento en el que deciden qué parámetro optimizar. Más allá, la IA “va sola”. Un ejemplo ilustrativo de esto es un caso en el que un algoritmo de Google de reconocimiento y etiquetado de fotos mediante IA etiquetaba fotos de personas negras con gorilas. Tras dos años de trabajo, fueron incapaces de revertir este problema y optaron por por vetar la etiqueta ”gorila” (aquí). Así, si se quieren sacar conclusiones, convendría también desvincularlas, en ciertos casos, del desarrollador, porque principalmente lo que causa problemas éticos es esa independencia de la IA, al crearse su propio sistema de decisiones en base a parámetros y de manera independiente de quien la programa.
Para evitar este sesgo encontramos, por lo menos, tres soluciones. La primera de ellas, consistiría en utilizar IAs que entrenen a su vez a otras IAs para eliminar los sesgos. Aunque suene muy futurista, ya hay investigación en esta materia (aquí). En segundo lugar, se hace vital la formación ética de los desarrolladores, pues muchos de los sesgos de las personas que diseñan y programan los algoritmos, son directamente trasladados a las IAs. No se trata de criminalizar a los desarrolladores, pues todos somos culturalmente susceptibles de obedecer, sin darnos cuenta, a algún tipo de sesgo. Por eso, este tipo de formaciones y congresos sobre principios éticos y justos en la IA son cada vez más populares (aquí). Por último, otro aspecto clave para evitar estos sesgos generados por los propios programadores, es el trabajo en equipos que garanticen la diversidad de los miembros.
Sin embargo, de cara a plantear las posibles soluciones o responsabilidades, no sólo hay que tener en cuenta la IA clásica. Ya mencionamos que tecnologías como Machine Learning o Deep Learning funcionan como cajas negras, y éstas son las que, bajo nuestro punto de vista, más problemas traen, porque es difícil responsabilizar sobre algo que no se diseña tal y como es finalmente. Es decir: ni el desarrollador, ni el programador, ni la empresa han diseñado la red sobre la que “toma decisiones” ese tipo de IA. Habría que enfocarse también, por tanto, en asegurar la calidad de los datos con los que se entrenan las redes, que son éstos los que trasladan los sesgos, y no única y necesariamente los desarrolladores.
Para ello, podemos distinguir dos escenarios: que los datos existan o no. En el último caso, habría que hacer, como en cualquier estudio científico, un diseño estadístico fiable, representativo y no sesgado; y a partir de ahí, recolectar los datos. Este es probablemente el caso más sencillo, porque recoges los datos una vez ya sabes para qué los quieres. Donde habría que prestar más atención es ahí donde los datos ya existen (por ejemplo, de sentencias judiciales durante los últimos X años, o diagnósticos de cáncer, etc.), que no han sido tomados con el objetivo de realizar una IA. Ahí debería dedicarse tiempo y esfuerzo suficiente en asegurarse de la ausencia de sesgos: un gran análisis de datos previo al entrenamiento de una red neuronal. Y por otro lado, se debería controlar también el feedback que se le da a la red una vez en marcha. ¿Cómo te aseguras de que se mantiene actualizada? ¿Cuál es el control de calidad que asegure que sigue funcionando?
“Exponer” o “evaluar” el algoritmo es, en muchas modalidades de IA, prácticamente imposible. La intervención de los desarrolladores termina en el momento en el que deciden qué parámetro optimizar. Más allá, la IA “va sola”. Un ejemplo ilustrativo de esto es un caso en el que un algoritmo de Google de reconocimiento y etiquetado de fotos mediante IA etiquetaba fotos de personas negras con gorilas. Tras dos años de trabajo, fueron incapaces de revertir este problema y optaron por por vetar la etiqueta ”gorila” (aquí). Así, si se quieren sacar conclusiones, convendría también desvincularlas, en ciertos casos, del desarrollador, porque principalmente lo que causa problemas éticos es esa independencia de la IA, al crearse su propio sistema de decisiones en base a parámetros y de manera independiente de quien la programa.
Conclusiones
- Para abordar el asunto de la transparencia en el tratamiento de los datos, lo primero que debe ocuparnos es el cumplimiento, por parte de todas las empresas y administraciones, de la GDPR y otros reglamentos, puesto que es un tema, principalmente, de protección de datos.
- Debemos resolver ya la asunción de responsabilidades, especialmente para las IAs que actúan como “cajas negras”, que recaería sobre la empresa u organización que se beneficia económicamente de la venta de la IA y sus servicios, incluyéndose así en el marco legal.
- Para acabar con la discriminación por sesgos en el tratamiento de los datos, cabe enfrentarlo de dos formas: acabando con los sesgos que nacen de los desarrolladores y asegurando fuentes de datos y controles de calidad libres de sesgos.
