By

La responsabilidad de la supervisión humana y la protección de la privacidad en la ética de la IA generativa

El informe de amenazas de OpenAI y la conciencia sobre la privacidad

El 25 de febrero de 2026, OpenAI publicó su informe más reciente sobre amenazas de inteligencia. Según la cobertura periodística, su contenido era notablemente concreto. Un usuario presuntamente implicado en una estafa romántica habría utilizado ChatGPT para generar el logotipo de un servicio de citas de alta gama, así como imágenes de mujeres ficticias, y llegó incluso a pedir asesoramiento fiscal, presentándose en ese proceso como “estafador”. En otro caso, ChatGPT habría sido utilizado para apoyar suplantaciones de despachos jurídicos, abogados y organismos de seguridad de Estados Unidos. Además, también se informó de que una persona descrita como vinculada a las fuerzas de seguridad chinas habría utilizado ChatGPT en una operación encubierta de influencia dirigida contra la primera ministra Sanae Takaichi, solicitando la edición y revisión de informes de situación.

Es natural que muchas personas, al leer una noticia así, reaccionen primero de una manera muy concreta: “al final, la IA generativa sí es peligrosa”, “hacen falta contramedidas”, “menos mal que OpenAI lo detuvo”. Esa reacción, en sí misma, es comprensible. Mientras el fraude y las operaciones de influencia existan de verdad, no se puede negar la necesidad de medidas de seguridad. Sin embargo, en ese mismo instante tendría que haberse levantado otra pregunta con la misma fuerza. Si OpenAI puede describir estos casos con un grado tan alto de detalle, ¿no significa eso que existe una estructura operativa que permite acceder, de alguna forma, a las conversaciones entre los usuarios y el modelo, o al menos a sus patrones de uso? Dicho de manera todavía más directa: ¿qué ha pasado con nuestra sensibilidad ante la privacidad?

El punto central de este artículo no es “protejamos a los estafadores”, ni tampoco “miremos hacia otro lado ante las operaciones estatales de influencia”. Ese tipo de lectura apresurada arruina el debate desde la primera línea. El problema es otro: la necesidad de combatir los abusos y la creciente normalización social de un modelo en el que los seres humanos pueden llegar a ver conversaciones no son, ni de lejos, la misma cosa. Lo que puso sobre la mesa la noticia sobre el informe de amenazas de OpenAI no fue solo la realidad del uso malicioso. También puso al descubierto hasta qué punto la seguridad operativa de la IA conversacional sigue dependiendo de la supervisión humana. Y, sobre todo, dejó al descubierto otra cuestión más inquietante: por qué la sociedad parece hoy mucho menos sensible a esa estructura de lo que fue en tiempos de PRISM. Ese adormecimiento, precisamente, es el verdadero tema de estas líneas.

El problema no es la existencia del uso malicioso, sino la estructura que permite narrarlo

Que estafadores u operadores de influencia respaldados por un Estado utilicen IA generativa no debería sorprender demasiado. La historia de la tecnología está llena de reutilizaciones de herramientas nuevas para fines criminales o para la guerra informativa. El teléfono, el correo electrónico y las redes sociales terminaron siendo utilizados tanto para fines legítimos como para fines destructivos precisamente porque permitían llegar a otras personas de manera más rápida, más amplia y más natural. La IA generativa no es una excepción. De hecho, teniendo en cuenta su fluidez textual, su velocidad de respuesta, su comprensión contextual, su capacidad de generar imágenes y de pulir documentos, resulta casi inevitable que sea utilizada para estafas, suplantaciones, propaganda y manipulación psicológica.

Por eso, la verdadera sorpresa no está en el uso malicioso en sí. Lo verdaderamente llamativo es que una empresa pueda presentar ejemplos concretos de ese uso, explicar los rasgos de las conversaciones y de los comportamientos implicados, e incluso trazar el contorno de la operación. Para que un informe de ese tipo exista, tiene que haber alguna forma de observabilidad en uno o varios niveles: el contenido de la conversación, los resultados generados, el comportamiento de las cuentas, los registros relacionados, las denuncias o las puntuaciones de clasificación. Lo importante aquí no es caer en la simplificación de decir que “hay personas leyendo todas las conversaciones todo el tiempo”. Lo importante es no perder de vista un hecho más básico: siguen existiendo estructuras operativas en las que el acceso humano ocupa un lugar central dentro de la práctica real de la seguridad.

Este punto coincide, además, con la documentación primaria publicada por las propias empresas. OpenAI describe de forma expresa mecanismos de vigilancia y aplicación que combinan tecnologías automáticas con revisión humana, y deja claro que Temporary Chat, aunque no se utiliza para entrenamiento, puede seguir siendo revisado con fines de supervisión frente al abuso. En el lado de la API, OpenAI explica que los registros de supervisión pueden incluir prompts y respuestas, que esos registros se conservan por defecto durante 30 días, y que opciones más restrictivas como ZDR o Modified Abuse Monitoring solo están disponibles mediante aprobación específica. Anthropic, por su parte, parte de la regla general de negar el acceso de sus empleados, pero define excepciones claras, como el contenido compartido voluntariamente como feedback o el acceso de Trust & Safety sobre una base need-to-know para la aplicación de sus políticas. Google Gemini indica con bastante claridad que revisores humanos pueden examinar parte de los chats con fines de calidad y seguridad, que los chats revisados pueden conservarse hasta tres años, y que incluso con Keep Activity desactivado puede seguir existiendo apoyo de revisión humana con fines de protección. Microsoft diferencia entre el entorno de Copilot para consumo general y Azure, pero en Azure va mucho más lejos al describir acceso solo tras un flag, almacenamiento segregado, SAW, JIT y restricciones geográficas. Meta, del mismo modo, explica marcos operativos que incluyen revisión humana y compartición con terceros proveedores en el ámbito del audio y de las AI glasses.

Dicho de otro modo: la posibilidad de que haya personas capaces de acceder a las conversaciones no es un rumor extravagante dentro del universo de la IA generativa. Es parte del funcionamiento real de los sistemas de seguridad, de aplicación normativa, de mejora de calidad y de respuesta ante abusos. Precisamente por eso, la verdadera pregunta que plantea la noticia sobre el informe de amenazas no puede quedarse en “así que sí, había usos maliciosos”. Tiene que avanzar hacia una pregunta más incómoda: si una empresa puede narrar ese uso malicioso, ¿qué partes de la privacidad conversacional han quedado ya incorporadas a su arquitectura de seguridad?

A qué reaccionó realmente la sociedad en la era de PRISM

Cuando esta pregunta se sitúa en un contexto histórico más amplio, PRISM aparece inevitablemente como punto de referencia. En 2013, cuando las revelaciones de Edward Snowden sacaron a la luz la estructura mediante la cual la NSA había accedido a datos de comunicaciones a través de grandes plataformas, la reacción social fue intensa. La indignación no surgió solo por la posibilidad de que las comunicaciones hubieran sido vistas. Surgió porque la vigilancia se había expandido de manera invisible, porque el poder estatal se había entrelazado con la infraestructura de las comunicaciones invadiendo el espacio privado de las personas, y porque la sociedad se enteró de todo ello a posteriori.

Lo que simbolizaba PRISM no era solo la vigilancia en abstracto, sino la manera en que la vigilancia puede crecer bajo el nombre de la “seguridad” sin hacerse plenamente visible para quienes la padecen. El problema no era simplemente si la vigilancia era o no necesaria. El problema real era hasta dónde podía estirarse la frontera en cuanto se invocaba esa necesidad, quién la trazaba, quién la comprobaba y quién podía impugnarla. PRISM no fue solo un episodio de vigilancia estatal. Fue una lección de fondo sobre lo fácil que resulta que la vigilancia se expanda una vez admitida como necesaria, y sobre lo difícil que después resulta hacerla retroceder.

Cuando esa lección se proyecta sobre el presente de la IA generativa, aparece una sensación inquietante de déjà vu. Desde luego, el Estado y las empresas privadas no son lo mismo. El Estado dispone de poder coercitivo, mientras que los servicios corporativos, al menos formalmente, permiten elegir no utilizarlos. Pero esa diferencia no basta para justificar la tranquilidad. Cuanto más dependan las personas de la IA conversacional para pensar, escribir, investigar, crear, consultar o procesar emocionalmente sus experiencias, más se extenderá la autoridad de diseño de esas plataformas más allá del mero marco de gestión de un servicio. Cuanto más se convierta la IA conversacional en infraestructura del pensamiento, más empezarán a adquirir un carácter casi institucional las decisiones empresariales sobre cómo tratar las conversaciones.

En tiempos de PRISM, la sociedad reaccionó con fuerza a la mera posibilidad de que pudiera estar siendo observada. Entonces, ¿por qué ahora cuesta más provocar esa misma intensidad de reacción frente a la IA generativa? Ahí, precisamente, se encuentra una de las fragilidades más serias de nuestra época.

Por qué esta vez la reacción social es más débil

En primer lugar, porque el sujeto de la vigilancia se ha desplazado del Estado a las empresas, y eso vuelve más difusa la percepción de amenaza. La vigilancia estatal resulta intuitivamente alarmante porque está vinculada al castigo penal, al poder administrativo y a la dificultad de escapar de ella. La vigilancia corporativa, en cambio, aparece envuelta en interfaces más suaves: términos de uso, ajustes, páginas de ayuda, opciones de opt-out. Además, el usuario ha decidido utilizar el servicio. Y eso introduce una narrativa psicológica de responsabilidad individual —“yo elegí usarlo”— que vuelve menos visible la asimetría de poder.

En segundo lugar, porque el propósito de la vigilancia ha sido reempaquetado como seguridad. En este caso, los abusos que ocupan el centro del relato —estafas románticas, suplantaciones, operaciones de influencia estatales— son el tipo de amenazas que casi cualquiera estaría de acuerdo en frenar. Por eso el debate se acelera enseguida hacia una conclusión intuitiva: hay que actuar. Hasta ahí, bien. El problema empieza cuando esa intuición válida se convierte sin demasiada resistencia en otro salto: si detener el abuso es necesario, entonces el acceso a las conversaciones también debe de serlo. Pero la necesidad de medidas de seguridad y la normalización acrítica de estructuras en las que seres humanos pueden ver conversaciones no son, en realidad, el mismo asunto.

En tercer lugar, porque la sensibilidad general hacia la privacidad se ha desgastado a lo largo de la última década y media. La gente se ha acostumbrado a almacenar fotos en la nube, entregar historiales de búsqueda, compartir su ubicación, volcar emociones en redes sociales y dejar que altavoces inteligentes escuchen sonidos de su vida cotidiana. En ese contexto aparece la IA conversacional, y la primera reacción pasa a ser simplemente “es útil, así que la uso”. La pregunta sobre hasta dónde puede llegar el acceso se va quedando atrás. Pero aquí existe una diferencia crucial. Las redes sociales son, en principio, espacios de expresión pública. La búsqueda introduce intenciones fragmentarias. La IA conversacional, en cambio, tiende a convertirse en un espacio semiprivado en el que se externaliza el pensamiento aún inacabado. Ahí entran ideas previas a su publicación, dudas, impulsos, emociones y razonamientos todavía sin ordenar. Precisamente por eso debería tratarse del ámbito que exigiera más cautela.

La IA conversacional se está acercando a un “cuaderno mental”

Si este punto se trata con ligereza, desaparece la profundidad real del problema. La IA conversacional no es solo una herramienta de preguntas y respuestas. La gente no lleva allí únicamente textos pulidos; lleva el material que existe justo antes de eso. Proyectos que aún no quiere mostrar a nadie. Hipótesis todavía ásperas. Preguntas éticas que ni siquiera ha resuelto consigo misma. Formulaciones que quiere probar antes de presentarlas ante otros. Emociones todavía en proceso de volverse inteligibles. Las personas pueden llevar estas cosas a la IA conversacional porque, normalmente, ese espacio no impone ni la velocidad de la crítica ni la mirada del otro. La IA conversacional se ha convertido en un interlocutor silencioso que acompaña el borrador del pensamiento.

Y ahí reside una diferencia decisiva respecto a las redes sociales. Las redes sociales nacen ya orientadas hacia fuera; tienen desde el principio una naturaleza pública. La IA conversacional, en cambio, recibe la fricción que existe antes de que la vida interior termine de convertirse en lenguaje. En ese espacio cambia incluso el significado de la privacidad conversacional. Lo que está en juego no es solo la información personal en sentido estrecho. Lo que está en juego es la inteligencia en formación, la subjetividad aún entrando en palabras, la parte inédita del pensamiento. Visto así, la reacción de “si es por seguridad, que miren un poco” empieza a parecer sorprendentemente burda.

La pregunta de fondo, por tanto, no es “¿vale todo si sirve para frenar una estafa?”, sino esta otra: cuando las empresas pueden acceder a un espacio semiprivado donde el pensamiento se está externalizando, ¿hasta qué punto deben ser estrictas las condiciones que regulan ese acceso? Y a medida que la IA generativa se vuelve cada vez más cotidiana, esa pregunta ya no puede despacharse como una simple cláusula en unos términos de uso. Se convierte en una cuestión de diseño civilizatorio sobre dónde traza la sociedad los límites de lo privado.

La supervisión humana ya no es una “excepción”, sino parte del núcleo operativo de la seguridad

La información pública deja algo bastante claro: las grandes empresas de IA generativa no han abandonado la supervisión humana. OpenAI describe expresamente sistemas de vigilancia y aplicación que combinan tecnologías automáticas con revisión humana, y explica que Temporary Chat, aunque no se use para entrenamiento y se elimine a los 30 días, puede seguir siendo revisado con fines de supervisión frente al abuso. En el plano de la API, estructura un sistema en el que los registros de supervisión pueden incluir prompts y respuestas, se conservan durante 30 días por defecto y pueden someterse a regímenes más restrictivos, como ZDR o Modified Abuse Monitoring, mediante excepciones aprobadas. Lo que esto revela es que el uso de datos para entrenamiento y la observación con fines de seguridad están diseñados como capas distintas. Rechazar lo primero no implica escapar automáticamente de lo segundo.

Anthropic, en su entorno de consumo para Claude, adopta una postura relativamente fuerte al afirmar que sus empleados no acceden por defecto a las conversaciones. Pero inmediatamente aparecen las excepciones. Si el usuario comparte feedback de forma explícita, o si el acceso resulta necesario para aplicar las Usage Policies, Trust & Safety puede acceder sobre una base need-to-know. Los periodos de conservación también varían según haya permiso para model improvement, existan flags de infracción o la cuenta se mantenga en situación ordinaria. Lo que aparece aquí no es un modelo puro de “no miramos”, sino un intento de acotar las condiciones bajo las cuales mirar sigue siendo posible.

Google Gemini destaca especialmente por la forma en que redacta su transparencia. Los revisores humanos pueden examinar parte de los chats con fines de calidad y seguridad, y esos chats revisados pueden conservarse hasta tres años. Incluso con Keep Activity desactivado, puede seguir existiendo apoyo de revisión humana con fines de protección. Los chats en modo Temporary o con Keep Activity desactivado pueden conservarse durante 72 horas. No son afirmaciones particularmente agradables de leer para el usuario, pero precisamente ahí está el punto: se está nombrando el residuo como residuo, en lugar de fingir que no existe.

Microsoft, por su parte, señala la existencia de revisión humana en el ámbito de Copilot para consumo general, pero se vuelve mucho más específico en Azure. La revisión automática no implica conservación prolongada, mientras que el contenido escalado para revisión humana se aísla en almacenamiento segmentado por recurso de cliente. El acceso queda limitado a personal autorizado y mediado por flujos de aprobación controlados como SAW y JIT, con requisitos geográficos incluidos. En ese marco, la pregunta ya no es el binomio abstracto de si los humanos miran o no miran. La pregunta pasa a ser quién puede acceder, en qué condiciones, con qué nivel de granularidad y con qué rastro de auditoría.

Meta también describe modelos operativos que incluyen revisión humana en los contextos de audio y AI glasses. El análisis de interacciones de voz, la mejora del reconocimiento, la resolución de problemas y el entrenamiento pueden implicar revisores entrenados y compartición con terceros proveedores. Dado que la voz está más cerca de la vida cotidiana y de la corporeidad que el texto, el peso de la supervisión humana aquí es todavía mayor. Ya no estamos solo ante una cuestión genérica de seguridad en IA, sino ante una cuestión de acceso al espacio vivido mismo.

Puestas unas al lado de otras, estas prácticas conducen a una conclusión bastante clara. Las estructuras operativas en las que seres humanos pueden acceder a conversaciones o a datos relacionados no son desviaciones marginales. Siguen formando parte del centro de gravedad de la seguridad práctica en la IA generativa actual. Lo que cambia entre empresas es la precisión de las condiciones y la claridad con la que se explican. Y precisamente por eso, la pregunta que se abre a continuación ya no es qué empresa parece un poco mejor desde el punto de vista del consumidor, sino cómo piensa la sociedad gobernar la estructura misma de la supervisión humana y hasta qué punto está dispuesta a empujarla hacia su reducción.

El marco normativo no está exigiendo la abolición de la supervisión humana

Lo que muestran el EU AI Act, el NIST AI RMF, los principios de la OCDE y también el GDPR es que, al menos por ahora, la dirección no es “saquen por completo a los seres humanos del proceso”. Más bien sucede lo contrario. En el caso de la IA de alto riesgo, lo que se exige es registro de logs, trazabilidad, supervisión humana, documentación y rendición de cuentas. El EU AI Act sitúa en el centro la conservación de registros y la supervisión humana. El NIST AI RMF sostiene que la documentación mejora la transparencia, fortalece la revisión humana y refuerza la responsabilidad. Los principios de la OCDE, por su parte, insisten igualmente en la trazabilidad y en la asignación clara de responsabilidades según el papel de cada actor.

Además, el artículo 22 del GDPR apunta en una dirección muy relevante: frente a decisiones que produzcan efectos jurídicos o consecuencias de gravedad comparable, debe evitarse la toma de decisiones basada exclusivamente en procesos automatizados. Si la suspensión de cuentas o las restricciones graves de acceso pueden llegar a producir efectos de ese nivel, entonces no se puede afirmar sin más que una prohibición totalmente automatizada constituya un “avance ético” solo porque haya desaparecido la intervención humana. En otras palabras, el marco institucional, en este momento, no está diciendo “eliminen la supervisión humana”, sino más bien “si existe supervisión humana, háganla auditable”.

Pero aquí no conviene sentirse tranquilo demasiado pronto. Que el marco regulatorio actual no exija todavía la abolición de la supervisión humana y que las empresas puedan seguir tratándola como una base natural e indiscutible para siempre son dos cosas completamente distintas. De hecho, precisamente porque el marco normativo sigue siendo transitorio, a las empresas se les debería exigir una idea clara de hacia dónde quieren dirigirse. ¿Van a instalarse cómodamente en el presente, usando la permisividad actual como justificación? ¿O van a empujar la supervisión humana hacia su mínima expresión y a hacer visible un esfuerzo serio por acercarse, a largo plazo, a un modelo de seguridad que no dependa de personas leyendo conversaciones? Ahí es donde realmente se separan unas de otras.

La cuestión no es si puede llegarse a cero de inmediato

Hay una forma muy eficaz de volver estéril esta conversación en cuestión de segundos. Basta con repetir: “si no miran personas, no se podrán frenar las estafas ni las operaciones estatales”, “si todo se automatiza, aumentarán los falsos positivos”, “al final alguien tiene que asumir la responsabilidad”. Todo eso contiene una parte de verdad. Pero que exista esa parte de verdad no autoriza a concluir perezosamente que, por tanto, lo actual ya está bien. Como postura civilizatoria, eso sería una renuncia demasiado cómoda.

Lo verdaderamente importante aquí no es si la automatización completa resulta técnicamente posible en este preciso instante. Lo importante es si el esfuerzo por hacerla posible se está mostrando de manera visible como una cuestión de diseño institucional. Si las empresas están reduciendo al mínimo las situaciones que activan revisión humana, estrechando la superficie de acceso, invirtiendo en alternativas que disminuyan la necesidad de leer conversaciones reales y publicando avances concretos en esa dirección, entonces al menos la sociedad puede comprender el estado actual como algo provisional. Pero si ese horizonte no existe, la supervisión humana corre el riesgo de quedarse para siempre, amparada en una frase tan útil como peligrosa: “es necesaria por motivos de seguridad”.

La historia, por desgracia, ya nos ha enseñado muchas veces cómo funciona esto. Las medidas temporales se vuelven permanentes. Las respuestas de emergencia se normalizan. Las excepciones terminan transformándose en regla cotidiana. Una de las lecciones que dejó PRISM era precisamente esa: una vez que la vigilancia logra legitimarse como necesaria, hacerla retroceder se vuelve extremadamente difícil. Y, sin embargo, en la era de la IA generativa, el pensamiento se detiene con una facilidad inquietante en una fórmula como “si sirve para frenar abusos, entonces no hay más remedio”. Eso es peligroso. La tecnología avanza sin parar, pero si en ese avance no se incluye una reducción deliberada de la vigilancia humana y del acceso humano a conversaciones vivas, entonces lo único que evoluciona es la maquinaria, mientras la filosofía de fondo se queda congelada en el pasado.

Dicho con precisión: la viabilidad inmediata de una automatización completa y la voluntad institucional de convertir esa automatización en objetivo son dos preguntas distintas. Las dificultades de la primera no son una excusa legítima para posponer la segunda. De hecho, sin la segunda, la primera no llega nunca. La historia tecnológica está llena de ese tipo de retrasos, un poco absurdos y un poco tristes.

Un modelo de seguridad que no necesite ojos humanos no es una fantasía

Ya existen varias direcciones técnicas que podrían reducir el peso de la supervisión humana. La cuestión no es si esas direcciones son perfectas. La cuestión es si las empresas las están tratando como objetivos estratégicos centrales dentro de su arquitectura de seguridad.

Constitutional AI apunta hacia una mejora de la seguridad menos dependiente del etiquetado humano intensivo. Estructuras como RLAIF no obligan a que una persona etiquete uno por uno todos los ejemplos problemáticos. Lo que intentan es formalizar principios y utilizar esos principios como base para un proceso iterativo de auto-mejora. Eso abre la posibilidad de desplazar el papel humano desde “la persona que lee conversaciones vivas” hacia “la persona que diseña y audita los principios que gobiernan el sistema”.

La automatización del red teaming también es importante por una razón similar. En lugar de depender solo de que personas imaginen manualmente preguntas peligrosas y las prueben una a una, el red teaming automatizado amplía el espacio de búsqueda generando y evaluando grandes volúmenes de casos adversarios. Eso reduce la carga sobre quienes revisan y amplía la escala en la que pueden descubrirse debilidades. En ese marco, la naturaleza de la supervisión cambia: se desplaza de leer a poner a prueba.

El diseño de tipo Clio en Anthropic es todavía más simbólico. Permite comprender patrones de uso y áreas potenciales de mejora a partir de clústeres anonimizados y agregados, sin que personas tengan que leer las conversaciones en bruto. Es un ejemplo muy concreto de una dirección en la que la mejora de la seguridad puede avanzar sin depender de la lectura humana del intercambio original. Desde luego, no es una respuesta universal. Seguirá habiendo casos —daños individuales, recursos, cooperación con autoridades— en los que serán necesarios datos concretos. Pero el hecho de que no sea una solución total no la vuelve irrelevante. Al contrario: la vuelve estratégicamente valiosa.

Federated Learning también importa porque busca evitar la centralización de datos brutos desde el principio, permitiendo que parte del aprendizaje o de la detección se realice manteniendo los datos del lado del dispositivo. Differential Privacy añade garantías matemáticas que hacen más difícil reconstruir información individual a partir de datos agregados o resultados de aprendizaje. ZKML se sitúa todavía más adelante, pero apunta hacia algo aún más profundo: la posibilidad de demostrar que un cálculo o una decisión se han realizado correctamente sin revelar el contenido subyacente. Eso alteraría la propia estructura de la auditoría. Sería pasar de “sabemos que se comprobó porque alguien lo vio” a “sabemos que se comprobó aunque nadie tuviera que verlo”.

Ninguna de estas tecnologías, en 2026, ofrece todavía una respuesta completa. Pero eso no invalida su importancia. Lo decisivo no es que hoy mismo todo sea plenamente viable. Lo decisivo es que el camino hacia esas posibilidades quede incorporado de forma explícita a la hoja de ruta de la seguridad. La postura que importa no es “como aún no se puede hacer, no hace falta pensar en ello”. La postura que importa es “vamos a volverlo posible mediante diseño, ingeniería y presión institucional”. Ahí es donde se mide la seriedad.

Lo que debe exigirse a las empresas no es solo un informe de éxitos en seguridad

El informe de amenazas de OpenAI es, desde un cierto punto de vista, una pieza racional de comunicación corporativa. Muestra que la empresa ha detectado y desarticulado abusos. Pero eso, por sí solo, no basta. Si ese informe depende de una estructura en la que conversaciones o comportamientos pueden ser observados, entonces la empresa tiene que responder también a otro conjunto de preguntas. ¿Cómo piensa reducir, exactamente, la cantidad de acceso humano a las conversaciones? ¿Qué funciones se pretende automatizar? ¿Qué capas se pueden anonimizar? ¿Qué partes pueden pasar a retenciones de corto plazo? ¿Qué segmentos de la revisión de conversaciones en vivo deberían volverse innecesarios con el tiempo? En otras palabras, no hace falta solo un informe sobre resultados de seguridad. Hace falta también un informe sobre el progreso en la reducción de la vigilancia.

Como mínimo, deberían exigirse tres cosas. En primer lugar, que las condiciones de la supervisión humana se publiquen en un formato estandarizado y realmente comparable. ¿Qué activa la revisión? ¿Cuánto tiempo se conserva la información? ¿Intervienen terceros? ¿Qué se puede ver exactamente? ¿Qué ocurre cuando un usuario apela? ¿Cómo se relaciona la eliminación con la posibilidad de revisión? ¿Existe un rastro de auditoría que muestre quién accedió y a qué? Esa información no debería quedar enterrada en menús de configuración o dispersa por páginas de soporte. Debería estar visible junto a las funciones principales del producto. En segundo lugar, las empresas deberían hacer pública una hoja de ruta de inversión y despliegue orientada específicamente a reducir la necesidad de acceso humano a conversaciones vivas. En tercer lugar, deberían informar periódicamente sobre el avance de esa reducción. Hablar solo de logros en seguridad y guardar silencio sobre la retracción de la vigilancia es una forma de transparencia incompleta y demasiado conveniente.

A corto plazo, el grado de concreción que ya aparece en algunos apartados de Google Gemini y Microsoft Azure debería convertirse en el suelo mínimo para toda la industria. A medio plazo, habría que combinar agregación anonimizada de tipo Clio, telemetría con Differential Privacy, retenciones breves y procedimientos estrictos de acceso para reducir institucionalmente las situaciones en las que seres humanos leen conversaciones vivas. A largo plazo, ZKML y otras formas más robustas de auditoría preservadora de privacidad deberían empezar a salir del laboratorio para entrar, aunque sea de forma acotada, en implementaciones reales.

Solo entonces la frase “lo hacemos porque es necesario para la seguridad” podría empezar a funcionar como una explicación provisional socialmente sostenible. Sin esa estructura adicional, esa frase corre el riesgo de convertirse en mera inercia disfrazada de responsabilidad.

Qué habría que preguntarse realmente ante la noticia sobre el informe de amenazas de OpenAI

Leer la cobertura del informe de amenazas de OpenAI y quedarse únicamente con la idea de que “si existe abuso, entonces no hay alternativa” es una reacción demasiado pobre. Por supuesto que hay que detener las estafas. Por supuesto que hay que detener las suplantaciones. Por supuesto que hay que detener las operaciones de influencia respaldadas por Estados. Nada de eso está en discusión. Pero reconocer esa necesidad no es lo mismo que rebajar nuestra sensibilidad ante la privacidad conversacional. En realidad, cuanto más se acerque la IA conversacional a convertirse en un espacio semiprivado del pensamiento, más aguda debería volverse nuestra preocupación por la privacidad.

El problema de fondo no es que OpenAI haya mostrado ejemplos de abuso. El problema de fondo es que la sociedad que recibe esos ejemplos parece ya no formular —al menos no con la misma intensidad— las preguntas que deberían surgir inmediatamente: cuánto se está viendo, por qué puede verse y cómo va a reducirse esa superficie con el tiempo. En la época de PRISM, la sociedad reaccionó con enorme sensibilidad ante la expansión invisible de la vigilancia. Ahora, como el lenguaje de la seguridad ocupa el primer plano, esa vigilancia parece menos alarmante. Y ahí es justamente donde reside el peligro.

Por eso, lo que hace falta ahora no es una postura binaria y simple. Lo que hace falta es una exigencia clara dirigida a las empresas de IA: reduzcan la supervisión humana al margen más estrecho posible, avancen hacia arquitecturas que no necesiten personas leyendo conversaciones reales y conviertan esa transición en algo visible a nivel de gobernanza, tecnología y hoja de ruta. Si por razones de seguridad hay personas que deben mirar, entonces que se expliquen las condiciones. Que el acceso mismo sea auditable. Que se invierta en tecnologías que reduzcan la necesidad de mirar. Que se publique el progreso en esa retirada. Solo entonces una empresa podrá afirmar con credibilidad que está tomando en serio, al mismo tiempo, la seguridad y la privacidad.

Lo que está en juego en la era de la IA generativa no es solo el rendimiento del modelo. Lo que está en juego es la madurez de un orden social y técnico capaz de proteger las formas más interiores del lenguaje humano sin exponerlas constantemente a ojos humanos. Tal vez lo más inquietante del informe de OpenAI no sea que los estafadores hayan utilizado IA. Tal vez lo verdaderamente inquietante sea que la sociedad haya sabido eso y, aun así, haya reaccionado con menos alarma de la que debería ante el retroceso de la privacidad conversacional. Mientras sigamos insensibilizados ante eso, la vigilancia seguirá haciendo lo que siempre hace: instalarse cómodamente bajo el rostro de la seguridad.

このブログを購読(RSS)
1st Project Anniversary 🎉
Shōhei KIMURA|Facebook
Yōhaku KIMURA|𝕏
コーヒーブレイクを提供してくださいますか?

【開発に興味のある方】
bitBuyerコミュニティ規約
LINEオープンチャット
Dicordサポートラウンジ

bitBuyer Projectをもっと見る

今すぐ購読し、続きを読んで、すべてのアーカイブにアクセスしましょう。

続きを読む