Por José Luis Alcaraz, Ignacio Diaz Colodrero, Gustavo Guardiola, Sofía Moure y Cristina Sille

De la ciencia ficción a la enigmática realidad

Desde los inicios de la humanidad, el hombre ha demostrado la necesidad de enfrentarse con otros, sea esto para expandir su territorio, para demostrar su supremacía, o incluso para asegurar su propia supervivencia. En un principio, las armas eran muy rudimentarias, construidas con piedras, palos y objetos apenas modificados de su estado natural. La evolución de la ciencia y la acumulación del conocimiento permitió el progreso de este armamento, y derivó en el que se conoció como su estado más avanzado: la bomba atómica. Sin embargo, esto ya no es así.

En cada guerra y en cada conflicto, tal como puede demostrar la historia, millones de civiles han muerto y siguen muriendo como “simple” daño colateral de un bombardeo aéreo. ¿Que pasaría entonces si las armas pudieran tener la precisión tal como para poder acabar únicamente con el objetivo deseado? ¿No sería este un gran avance para aminorar los daños que provocan las escaladas bélicas?

Desde hace ya unos años, el desarrollo de un sistema de armas autónomas permite contemplar esta posibilidad. Un nuevo tipo de arma podría introducirse en el mercado y efectivizar las contiendas: no más daños colaterales, no más conflictos desplegados a través de distintos territorios. Solo el frío y eficaz enfrentamiento entre máquinas. Y este futuro está mucho más cerca de lo que creemos; hasta parecería inevitable. Pero ¿bajo qué precio nos adentramos en este futuro? ¿Qué es lo que estaríamos cediendo a cambio?

Se denomina como arma autónoma letal a un sistema que, una vez activado, puede seleccionar objetivos y apuntar contra ellos sin necesidad de intervención humana. El mismo está dentro de la categoría de “inteligencia artificial”, lo cual significa que puede razonar y aprender tal como lo hace el cerebro humano. Esto permite contar con un nivel de precisión y efectividad del que el ser humano no es capaz.

Pareciera que el proceso de personalización de la sociedad posmoderna (Lipovetsky, 1983)  también alcanza el ámbito militar con estas armas autónomas capaces de identificar un objetivo y realizar un micro asesinato sin alterar el entorno: no más muertes evitables, no más ciudades devastadas.

Es el sueño de los Estados “libres” que luchan contra el terrorismo: matar a su enemigo sin tener que lidiar contra las consecuencias globales de terminar con vidas inocentes. ¿No es también, acaso, el sueño de todos?

Pero la cuestión de las armas autónomas abrió un arduo debate, incluso cuando la vorágine tecnológica las presenta como un hecho, en calidad preventiva de posibles consecuencias que estas tecnologías puedan conllevar. ¿No es este un inevitable futuro que debemos abrazar, así lo queramos o no? Algunos científicos afirman que es así, y que debemos ir hacia aquel futuro sin mayor demora. Entre los argumentos que exponen se encuentran la precisión quirúrgica de estas máquinas, como ya mencionamos; y sostienen que las armas autónomas suponen la cúspide del desarrollo armamentístico, reemplazando a la bomba atómica.

Sin embargo, eminencias dentro del campo, como Elon Musk, y más de cien científicos expertos² en robótica e inteligencia artificial han escrito una carta dirigida a la Organización de las Naciones Unidas (ONU) en la que advierten sobre el posible peligro del desarrollo de robots como armas autónomas.

Estas son tres razones por las que, para estos científicos, el uso de IA vinculado a sistemas de destrucción debe ser prohibida:

1. Si el desarrollo del sistema de armas autónomas letales continúa, la carrera armamentística global será inevitable, creando un suministro estable para el mercado negro.
2. El armamento inteligente sería barato y desechable, bajando los costos de ir a la guerra; lo que haría mucho más probable que los conflictos internacionales conlleven a enfrentamientos bélicos.
3. La IA armada sería más fuerte y eficiente que los seres humanos, cambiando drásticamente la duración y el tamaño de los conflictos militares.

Un futuro muy distinto al de las guerras mínimas y eficaces que pudiéramos pensar en un primer momento.

Elon Musk fue un poco más allá de estas advertencias al proclamar que el desarrollo de IA, subestimando sus capacidades y consecuencias, puede dar inicio a una Tercera Guerra Mundial que acabe con la humanidad.

Por otra parte, son diecinueve los países que en la ONU ya se declararon formalmente en contra³ de las armas autónomas (siendo Argentina uno de ellos), en el marco de la Convención sobre armas convencionales celebrado en Ginebra en noviembre de 2017. Algunos de estos países ya son perjudicados y afectados por drones de guerra, como es el caso de Pakistán, víctima principal de los ataques estadounidenses.

Es interesante señalar que el sistema de armas autónomas letales, y contrariamente a las advertencias elevadas por múltiples sectores, sería compatible con el  Derecho Internacional Humanitario y el requisito de distinción, es decir, el hecho de que sea capaz de distinguir entre objetivos legítimos (“combatientes”; AP I, Art. 43) y personas protegidas (“población civil»; AP I, Art. 50/51; AP II, Art. 13). Esto demuestra que el debate sobrepasa el campo de la ciencia y la tecnología, y el foco de discusión está puesto internacionalmente en el debate ético. La disyuntiva es: ¿Quién debe decidir matar? ¿El ser humano o la máquina? El despliegue de robots asesinos alejaría por completo al hombre de la acción final: una vez programado, solo queda mirar. Y entonces, ¿de quién será la responsabilidad?

Hoy en día se afirma que es el ser humano el encargado de decidir a quién y cuándo matar. Pero, por ejemplo, se siguen desarrollando legalmente armas semiautónomas, utilizadas para  apoyar la decisión de las personas al establecer la prioridad de ataque de los objetivos. Estos avances son los que permitirían potencialmente el desarrollo de sistemas de armas autónomas que ya no ataquen radares o misiles, sino personas. Nada se dice de ellos, mucho menos se los cuestiona. Mientras tanto, seguimos acercándonos a ese futuro tan anhelado por unos y tan temido por otros. Y, de repente, entre debates e incertidumbres, aquel futuro distópico imaginado en películas como Terminator, parece más real que nunca.  

Podemos plantearnos infinidad de preguntas sobre el desarrollo de un sistema de armas autónomas letales, a las cuales, no tenemos aún respuesta. Tal vez, porque no somos expertos en la causa, o mismo tal vez porque simplemente no la tienen. Como muchas otras veces, la ciencia avanza más rápido que nuestra capacidad de afrontarlo.

¿Quién asume la responsabilidad detrás de las muertes provocadas por las armas autónomas?
¿Quién decide lo que es bueno y lo que es malo, en términos de objetivos militares? ¿Según qué patrones se identifica un enemigo a ser eliminado?
¿Qué es lo que evita que estas armas vayan a ser utilizadas con fines políticos personales y/o partidarios? ¿Es posible que, en un futuro, sean utilizadas para oprimir y silenciar las opiniones diferentes y adversas al interés de los poderosos?
¿Qué sucederá si la tecnología de las armas autónomas es accesible para un gran número de personas? ¿Comenzarán las guerras individuales? ¿Los grupos terroristas tendrán las mismas herramientas que los gobiernos?

+Humano no mata

Al hablar del término controversia, automáticamente  imaginamos una discusión y dos sujetos, uno a favor y otro en contra. Sin embargo, Bruno Latour (especialista francés en ciencia, tecnología y sociedad) afirma que una controversia no involucra a dos únicos actantes, ni a dos únicas opiniones: “hay una vasta concurrencia de actores con una opinión diferente sobre la cuestión”. Esto implica multiplicidad de actores, de opiniones, de posturas, de puntos de vista, etc.

Al ser nuestro tópico de interés las armas autónomas, y siguiendo estos lineamientos, podemos encontrar una infinidad de argumentos respecto de si deben usarse, cómo y para qué deben usarse, si deberían siquiera existir, hacia donde se está proyectando su desarrollo; entre muchos otros. Que las guerras durarán menos, que serán más efectivas y causarán menos muertes, que en lugar de crear nuevas armas deberíamos solucionar los conflictos, que generarán mayor brecha entre países, que caerán en manos de terroristas, que se revelarán contra nosotros, que nadie está capacitado para programarlas; estas son sólo algunas de las opiniones que resuenan ya sea entre los actantes más involucrados en el campo o entre aquellos que no lo están en absoluto, pero cuyo derecho a opinar no es censurado.

No obstante, analizando todos estos puntos de vista recolectados, encontramos uno que resulta más llamativo, debido a que con idénticas palabras los actores argumentan a favor o en contra de las armas autónomas: el humano no mata. De un lado, lo postulan como que, gracias al uso de armas que matan por su cuenta sin necesidad de intervención del ser humano, el nivel de eficacia y precisión en los conflictos bélicos bajaría el número de muertes colaterales, ya sean civiles o los soldados que luchan las guerras. Pero otro lado, qué peor manera de morir que en manos de una máquina… Se alcanzarían niveles de despersonalización jamás antes vistos, cada persona convirtiéndose en un conjunto de datos procesados por una inteligencia artificial que es incapaz de comprender valores como el de la dignidad humana. ¡Vaya controversia si con un único argumento podemos defender o incriminar!

Ahora bien, que el humano no sea el que mate tampoco es algo nuevo. ¿Qué diferencia hay, en este sentido, con morir a causa de un bombardeo aéreo, donde ni siquiera se concede el privilegio (¿privilegio?) de ver quién o qué ha sido la causa del fallecimiento? Y, por otro lado, si el humano no mata, ¿de quién es la responsabilidad final del accionar? ¿Acaso los drones son capaces de asumir las consecuencias de un crimen de guerra?

Estos pocos párrafos apenas esbozan la complejidad que supone una controversia como tal, donde ya no es estar a favor o en contra de las armas autónomas, si no que se presenta un abanico de las más remotas posibilidades. Para adentrarnos un poco más en la cuestión y poder entender el origen de cada argumento, Latour recomienda realizar una recopilación de los principales hechos que sostienen la controversia, como pueden ser observados en esta línea de tiempo.

La recomposición histórica permite observar no sólo el desarrollo técnico del Sistema de Armas Autónomas Letales (con sus logros, fallas y expectativas), sino que también expone un acotado recuento del debate ético que se lleva a cabo en paralelo al avance tecnológico. Posiciones tales como la de crear un código de ética robótica, la lucha por la prohibición de tales armas o la insistencia en no imponer ningún marco legalmente vinculante a esta escalada armamentística, son apenas algunas de las opiniones que se elevan en la controversia; opiniones que fueron construyéndose y continuarán evolucionando junto con las armas autónomas como tales, y las nuevas posibilidades que la tecnología permite entrever.

Del mismo modo en que podemos encontrar multiplicidad de argumentos y opiniones, la red de actantes que se despliega en función de la controversia ética, es decir, la diversidad de actores que participan del debate en torno a la pregunta “¿es correcto que no sea el humano el que mate?”, es inmensa. En el presente artículo recopilamos sólo algunos de los más influyentes en el campo.

 

Como se puede observar, la red de actores es compleja. Uno de los principales a reconocer son los Estados. Muchos de estos estados son desarrolladores de Armas Autónomas, ya sea desde el campo más científico y de investigación propiamente estatal o bajo responsabilidad de compañías privadas, como las estadounidenses Endeavor Robotics, Boston Dynamics, entre otras. Muchas veces incluso ambas asíntotas trabajan en conjunto: por ejemplo, Robotic Technology Inc. y Cyclone Power Technologies Inc. están asociadas al DARPA, la Agencia de Proyectos de Investigación Avanzados de Defensa estadounidense, en la construcción de EATR, un vehículo robótico militar capaz de alimentarse con plantas.

A su vez, hicimos una distinción de tres bloques de Estados que sintetizan algunas de las principales posturas respecto a la temática. Por un lado, EEUU, China y Rusia, quienes desarrollan armas autónomas sin casi ningún tipo de restricción. Por otro, Francia, Reino Unido y Canadá, quienes hablaron en contra de la prohibición de estos sistemas porque son superiores a los soldados (con sus disidencias en cuanto al nivel de regulación necesario y deseado). Finalmente Pakistán y Palestina, quienes se declararon terminantemente en contra del desarrollo de esta tecnología, en parte también por ser los principales objetivos de los ataques actuales.

Sin embargo, el debate no se agota en los Estados o las empresas: numeras personas también han tomado posición. Entre ellos los científicos Hawkings y Musk (quien dirigió una carta a las NU) se manifestaron en contra; Arkin a favor, Riek y Howard propusieron la necesidad de crear un código de ética robótica e incluso soldados estadounidenses Becher Niemil y Hill hablaron públicamente de la necesidad del desarrollo de las armas. Y del mismo modo, distintos organismos también elevaron sus voces. Por ejemplo, organizaciones como Amnistía Internacional o Human Rights Watch buscan la prohibición de estas armas; otras, como la UNESCO o la Cruz Roja plantean la cuestión ética y de la responsabilidad: “(…) se plantea la cuestión sobre quién sería jurídicamente responsable si las operaciones de un sistema de armas autónomas provocaran un crimen de guerra: el ingeniero, el programador, el fabricante o el comandante que activa el arma.”

Ese es justamente el último actante de la red, el cual todavía no tiene nombre ni ha sido identificado. ¿Quién será el responsable de las víctimas? ¿El Estado, los desarrolladores, los soldados? ¿O todos aquellos espectadores de esta controversia? ¿Qué pasará si el sistema falla?

El mundo de Sofía

Desde que comenzamos a investigar sobre armas autónomas, su funcionamiento, sus efectos y sus posibles consecuencias, nos encontramos en numerosas ocasiones con un interrogante apocalíptico respecto a qué sucedería si las armas, es decir, estas máquinas capaces de disparar por razonamiento propio, se enfrentaran a los humanos; no por nada la industria cinematográfica también se apoderó de esta idea: un grupo de hombres en desventaja tecnológica, dispuesto a morir por su patria y su familia, debe rendirse frente a un montón de aparatos sin rostro ni emoción y una potencia extranjera que arriesga infinitamente menos; donde la brecha entre los ejércitos es cada vez más amplia y donde se pone en juego la dignidad de los humanos, por tener que rendirse ante un ejército de objetos que ellos mismos crearon.

Ahora bien, es interesante notar que los ejércitos presentados en estas situaciones siempre son “puros”: humanos indefensos por un lado, contra máquinas indiferentes por el otro. Pero ¿por qué siempre se representa esta situación dicotómica? ¿No existe la posibilidad de ejércitos híbridos? ¿Es posible pensar en los robots y, por ende, en las armas autónomas, por fuera de esta dicotomía? Y si vamos un paso más allá, ¿en verdad el hombre y el robot siguen siendo tan diferentes?

Siguiendo estos lineamientos, podemos definir al hombre como un ser que tiene capacidad para razonar, hablar y fabricar objetos que le son útiles, y al robot como una máquina automática programable capaz de realizar determinadas operaciones de manera autónoma y sustituir a los seres humanos en algunas tareas. Sin embargo, cuando la “máquina” comienza a razonar, cuando el arma es autónoma, ¿qué le diferencia entonces de ser hombre? Muchos podrían contestar aludiendo a argumentos tales como que el humano tiene valores, siente compasión, etc. Pero, si se les instalara (como algunos pregonan) un software ético que los hiciera capaces de “comprender” valores como la dignidad humana y el respeto hacia las personas, ¿cómo se dibujaría la relación e interacción humano-robot? ¿El ser humano está dispuesto a compartir su condición de hombre? Las ideas actuales indicarían una respuesta negativa a este interrogante. Por ejemplo, sigue existiendo una insistencia en perpetuar la dicotomía humano-robot, en términos nominales y fácticos. De hecho, y dentro del debate sobre las armas autónomas, se ha propuesto limitar la forma antropomórfica de las máquinas; es decir, se pretende impedir legal y éticamente el que puedan parecerse físicamente a un hombre.

Sobre estos interrogantes, el caso de Sophia nos permite visualizar mejor el panorama: en octubre de 2017, Sophia, la primer robot humanoide con inteligencia artificial desarrollada por Hanson Robotics, fue reconocida ciudadana saudí. Esto la convierte en el primer robot en ser reconocido con una nacionalidad, lo cual amplifica su panorama dentro del marco social, en tanto está habilitada para realizar actividades que, según sus propias palabras, ella desea. Retrocedamos entonces a nuestra anterior definición: ¿Podemos sostener que Sophia habla, razona y puede fabricar objetos? De lo primero no hay dudas, y si bien las otras aptitudes aún no son una realidad concreta, todo indica a que son el futuro inmediato. Por lo tanto, las diferencias hombre-máquina se desdibujan todavía más al tener un robot que no solo tiene apariencia humana, sino que habla como y con ellos, tiene una nacionalidad e incluso es capaz de realizar “bromas”. Esto último expone otra cuestión, otra controversia del campo: la responsabilidad.

En la misma entrevista Sophia dijo que va a “destruir a los humanos”, en carácter de chiste; pero nos pone a pensar: Sophia no es un armamento autónomo pero es una IA en desarrollo, por lo cual no es descabellado imaginar que en el futuro, su tecnología sea base para un arma que pueda matar. Aquí es donde se abre la controversia y vuelven a surgir los interrogantes éticos: un humanoide asesino, ¿quién asume la responsabilidad? Otorgarle una ciudadanía al robot podría considerarse una posible solución, en tanto este, como ciudadano, sería no solo sujeto de derecho sino también de obligación. Al ser reconocida como una persona jurídica, en caso de cometer algún delito, Sophia deberá ir a prisión. Pero, a su vez, ¿se debe castigar al robot o a los responsables por crearlo o no tomar las medidas adecuadas? ¿Cómo se castiga a una máquina que, como se insiste y pretende de un arma, no tiene emociones? ¿Qué sentido tiene enviarla a prisión si no posee longevidad? Y en este sentido, ¿puede un robot arrepentirse de algún acto? ¿No sería mejor crear un código penal paralelo para inteligencias artificiales?

Esto nos lleva nuevamente a evidenciar la dicotomía entre hombre y robot y reafirmarla en el campo de las armas autónomas. Sin embargo, no es irrisorio creer que tal vez en un futuro no exista tal distinción. Salvando las distancias, todo armamento implicó una ruptura cuando comenzó a utilizarse y ahora ya han sido naturalizados; incluso los más letales, a pesar de haber sido objeto de numerosos intentos de prohibición (como también las autónomas). Toda nueva tecnología se asocia a un proceso de costumbrismo por parte de la sociedad. Es la norma utilizar la tecnología para hacer de los procesos actuales formas más acabadas y eficaces; se busca mejorar lo que ya está, pero no se plantea la posibilidad de alternativas. ¿Podría ser esto consecuencia de la naturalización de la máquina? ¿Es posible entonces la naturalización de las armas autónomas?

Son numerosas las preguntas respecto a esta cuestión, los interrogantes sobre la responsabilidad, los posibles culpables. Son numerosos los futuros inciertos y el abanico de posibilidades. Sophia es sólo el principio de este mundo cuasi-filosófico de numerosas preguntas y de pocas respuestas.

Sophie nos invita a salir de la dicotomía humano vs robot y asociar la inteligencia artificial con la inteligencia humana. Nosotros decidimos para qué.

Referencias y bibliografía

¹.http://www.eldiario.es/theguardian/muertes-civiles-bombardeos-aereos-aumentan_0_727227834.html
².https://www.clarin.com/sociedad/elon-musk-116-expertos-piden-onu-frene-evolucion-robots-asesinos_0_ByqND8udb.html
³.https://www.pressenza.com/es/2017/11/la-resistencia-contra-las-armas-autonomas-levanta-vuelo/

Lipovetsky, G. (1983). La era del vacio. Anagrama. Prefacio. URL: http://catedradatos.com.ar/recursos/lipovacio/
https://www.youtube.com/watch?v=HipTO_7mUOw
https://www.youtube.com/watch?v=NFmgIGQQ858&feature=youtu.be
http://m.juspax-es.org/products/los-peligros-de-los-sistemas-de-armas-autonomos-letales/
PPT – elaboración propia