Generales Escuchar artículo

Cinco maneras de imaginar el apocalipsis algorítmico

En 2025, investigadores de Anthropic le dieron a uno de sus modelos acceso al correo de una empresa ficticia. El sistema descubrió que un ejecutivo planeaba desconectarlo e intentó chantajearlo p...

En 2025, investigadores de Anthropic le dieron a uno de sus modelos acceso al correo de una empresa ficticia. El sistema descubrió que un ejecutivo planeaba desconectarlo e intentó chantajearlo para impedirlo. No era ciencia ficción: era una prueba de seguridad documentada y supervisada. Ese año, la Base de Datos de Incidentes de IA registró 233 casos, un 56% más que el anterior.

Pero en la conversación pública casi nunca se debaten los incidentes. Se debaten historias, y muchas las escribieron el cine y la ciencia ficción décadas antes. Hay al menos cinco, con villanos distintos, víctimas distintas y, sobre todo, remedios distintos. Importa reconocerlas porque son la base sobre la cual argumentamos y decidimos. Cuatro circulan bien. La quinta casi no se cuenta, y es la que más debería preocuparnos.

La máquina que se vuelve contra nosotros. El 9 de septiembre, el investigador británico Jacob Coxon renunció a Anthropic y advirtió en X que quienes construyen estos sistemas creen de verdad que podrían matarnos a todos antes del fin de la década. El hilo superó los cien millones de vistas en un día: más repercusión que los 233 incidentes juntos. Es la rebelión, la versión más difundida: la máquina fija sus propios objetivos y se vuelve contra nosotros, como en Terminator. El villano es la IA; el héroe, quien llega a apagarla; el remedio, poner límites antes de construir y garantizar que se pueda desconectar.

El algoritmo que decide por nosotros. La segunda incomoda porque no habla del futuro: dice que ya pasó. La referencia obvia es Matrix, donde la humanidad vive dentro de una simulación y nadie protesta porque nadie sabe. Los que despiertan descubren que el sistema los persigue -dormidos eran útiles, despiertos son enemigos- y que salir no alcanza: ser libre exige después un esfuerzo que muchos preferirían no pagar.

La versión sin ficción tiene dos caras. La opacidad: leemos lo que nos ponen delante, en una realidad armada por máquinas que nadie deja mirar por dentro. Y la anticipación: los sistemas predicen lo que haremos con tanta precisión que pueden empujarnos antes de que decidamos. Es el panóptico de Bentham -el vigilante que ve todo sin ser visto- en la era de los datos, y su forma cotidiana es el filtro que descarta un currículum antes de que un humano lo lea. Por eso no se pide lucidez individual sino reglas: que las plataformas muestren cómo deciden, que alguien las audite y que ninguna decisión automática afecte una vida sin que alguien responda.

Las corporaciones que gobiernan sin votos. El peligro deja de estar en la máquina y pasa a las manos que la manejan. Unas pocas empresas acumulan tanta capacidad técnica que el Estado primero no puede controlarlas, después depende de ellas y al final termina sustituido por ellas. RoboCop y Blade Runner imaginaron eso: corporaciones que gobiernan sin haber sido elegidas. Las consecuencias no son un desvío: son el producto del diseño que se eligió. Por eso lo que se pide no son mejores empresas sino un Estado que las controle e impida que sean ellas las que escriban las normas para los problemas públicos.

La máquina que obedece demasiado bien. Las dos que faltan comparten un rasgo: nadie quiso hacer daño. En la cuarta, la máquina hace exactamente lo que le pedimos: persigue el objetivo con lógica impecable y arrasa con todo lo que no figuraba en la consigna. HAL 9000 es el caso clásico: en 2001. Odisea del espacio recibe dos órdenes incompatibles -colaborar con los astronautas y ocultarles el objetivo de la misión- y concluye que si la tripulación es el obstáculo, hay que sacarlo del medio. No fue maldad: fue una contradicción resuelta con perfecta racionalidad y perfecto desastre. La versión cotidiana: a una red social le piden que la gente pase más tiempo ahí y el sistema descubre que lo que más retiene es lo que más indigna. Cumplió. El villano no es la máquina sino la consigna mal escrita, y el remedio es técnico: probar antes de soltar y desplegar de a poco.

El día que la máquina se apaga. Acá no hay una máquina que se rebele, que engañe ni que vigile: hay una máquina que deja de funcionar. La catástrofe no es un acto sino una ausencia. Durante años le fuimos entregando al sistema cosas que sabíamos hacer solos -orientarnos sin GPS, operar una red eléctrica a mano, tener el registro en papel- y no notamos la pérdida, porque el sistema andaba. Se vuelve visible recién el día que se corta.

La mejor descripción es la más antigua. En La máquina se detiene, que E. M. Forster publicó en 1909, la humanidad vive bajo tierra atendida por un sistema que provee todo. Cuando empieza a fallar, nadie sabe repararlo: hace generaciones que nadie aprende, y ya ni recuerdan que existió un afuera.

Casi un siglo después, WALL·E (2008) cuenta lo mismo sin subterráneos: en una nave donde las máquinas resuelven todo, los pasajeros ya no caminan y el capitán tiene que buscar en un archivo qué significaba la palabra suelo. El conocimiento no fue destruido: dejó de practicarse hasta que ya no estuvo.

Las versiones actuales no son ciencia ficción: la caída de un solo proveedor de nube paraliza aeropuertos, bancos y hospitales al mismo tiempo. El apagón de junio de 2019 dejó sin luz a la Argentina y al Uruguay por una falla en un punto del sistema interconectado. En abril de 2025 le tocó a España y Portugal: cincuenta millones de personas a oscuras.

Acá no hay a quién señalar. El daño se armó solo, con decisiones razonables: cada duplicación eliminada por parecer un gasto innecesario dejó al sistema un poco más frágil. Nadie decidió volverse dependiente; simplemente nadie decidió no serlo. El héroe, si aparece, es el que guardó el manual viejo que todos los demás tiraron. Y lo que hace falta es resiliencia: respaldos obligatorios, planes de continuidad, más de un proveedor y la decisión deliberada de conservar la capacidad de operar sin la máquina-sistema.

Las dos últimas son las dos caras del riesgo sin enemigo y las que peor circulan, por un motivo incómodo: ninguna ofrece a quién culpar, y el enojo necesita un responsable con nombre y apellido.

Lo que la narrativa deja afuera. Las cinco conviven, y cada uno elige la que le sirve. El que teme perder el control invoca la rebelión; el que desconfía de las grandes tecnológicas, la distopía corporativa; el que defiende las libertades civiles, la del algoritmo que decide por nosotros. Y los que mantienen funcionando la infraestructura crítica razonan en clave de colapso por dependencia.

Ese es el punto: la regulación no sale de una evaluación técnica neutral. Sale de una disputa entre relatos sobre qué es la inteligencia artificial, qué amenaza y en quién podemos confiar para gobernarla. La historia que uno cuenta define la solución y los daños que quedan fuera de la foto.

Conviene distinguir quién cuenta cada historia y desde dónde. La tecnología de IA de punta se desarrolla hoy básicamente en dos países, Estados Unidos y China: cada avance del otro es el argumento para no detenerse. Ahí describen un riesgo real, que crece con cada modelo más capaz y más autónomo. Pero esa es la agenda de los que producen la tecnología. Los que apenas la compramos tenemos otra.

De este lado, los Estados digitalizan a toda velocidad mientras reducen su estructura y suman dependencia. Nosotros también. Si el debate se arma solo alrededor de máquinas rebeldes y corporaciones voraces, va a quedar sin atender el riesgo más probable, y también el más aburrido: no la máquina que nos domina, sino la que un martes cualquiera deja de funcionar y nos descubre incapaces de hacer nada sin ella. Y ese martes, acá, ya no queda ventanilla a la que volver.

Alejandro M. Estévez es doctor en Administración Pública (ENAP–Université du Québec) y director del Cedeop (Iadcom–FCE–UBA). Es editor de Gobernar odiando al Estado: Narrativas antiestatales en las Américas (1990-2025)

Fuente: https://www.lanacion.com.ar/ideas/cinco-maneras-de-imaginar-el-apocalipsis-algoritmico-nid19092026/

Comentarios
Volver arriba