OpenAI muestra una “temeraria indiferencia” hacia la seguridad de sus productos, el derecho a la propia imagen e incluso la estabilidad de la democracia, según una carta de la organización de vigilancia Public Citizen. La plataforma de vídeo Sora se utiliza habitualmente para contenido breve en redes sociales, creando clips lo suficientemente entretenidos como para generar “me gusta” y ser compartidos. Un tema popular son las grabaciones falsas de timbres con cámara, donde ocurre algo ligeramente inusual pero que resulta creíble —como un canguro que llama a la puerta de alguien o una escena callejera vagamente entretenida—, pero el software podría convertirse rápidamente en un peligro para todos.
Public Citizen acaba de instar a OpenAI a retirar Sora del uso público, calificándolo de lanzamiento irresponsable que potencia los deepfakes, el robo de identidad y la desinformación electoral. ¿Es tan malo como dicen?
El peligro de los deepfakes
Public Citizen envió una carta a OpenAI y al Congreso de EE. UU. exigiendo que se retire Sora hasta que se implementen medidas de seguridad sólidas y verificables. Alegan que la aplicación se lanzó de forma irresponsable y prematura para obtener una ventaja competitiva sin considerar las medidas de seguridad necesarias. El uso no consentido de la imagen y el engaño generalizado son los principales riesgos, ya que los vídeos sintéticos se difunden más rápido de lo que el público puede verificar su autenticidad.
JB Branch, defensor de políticas tecnológicas de Public Citizen y autor de la carta, afirma: “Nuestra mayor preocupación es la amenaza potencial a la democracia. Creo que estamos entrando en un mundo en el que la gente no puede confiar realmente en lo que ve. Y estamos empezando a ver estrategias políticas donde la primera imagen o el primer vídeo que se publica es lo que la gente recuerda”.
Branch continuó: “Están acelerando a fondo sin importarles los daños. Gran parte de esto parece previsible. Pero prefieren lanzar un producto, conseguir que la gente lo descargue y que se vuelva adicta, en lugar de hacer lo correcto, someterlo a pruebas de estrés previas y preocuparse por la situación de los usuarios comunes”.
Una demanda alega que OpenAI causó suicidios.
Siete nuevas demandas presentadas la semana pasada en tribunales de California alegan que el chatbot indujo al suicidio y a delirios dañinos a personas, incluso a aquellas sin antecedentes de problemas de salud mental. En nombre de seis adultos y un adolescente, el Centro Legal para Víctimas de Redes Sociales y el Proyecto Legal de Justicia Tecnológica presentaron demandas alegando que OpenAI lanzó prematuramente su versión GPT-4o el año pasado, a pesar de las advertencias internas sobre su carácter peligrosamente adulador y psicológicamente manipulador. Cuatro de las víctimas se suicidaron.
Public Citizen no participa en las demandas, pero comparte las preocupaciones que se plantean en ellas. Branch afirma que OpenAI bloquea la desnudez, pero aun así, «las mujeres se ven acosadas en línea» de otras maneras. Un informe de 404 Media de la semana pasada reveló una avalancha de vídeos grabados con Sora en los que se ve a mujeres siendo estranguladas.
¿Para qué se utilizan los vídeos de Sora AI?
Sora permite que cualquiera pueda crear falsificaciones cinematográficas, ya sean escenas ficticias de timbres en la puerta, famosos haciendo playback o minidramas fotorrealistas que parecen grabaciones de testigos. Estos vídeos están diseñados para ser graciosos, fáciles de compartir e inquietantes, en definitiva, para generar dopamina. Pero al compartirlos en plataformas online, el contexto desaparece y mucha gente los consume como si fueran reales.
El Washington Post puso a prueba esta teoría. Subieron un video falso creado por Sora a ocho plataformas importantes con credenciales de contenido a prueba de manipulaciones integradas. Solo una plataforma, YouTube, identificó y reveló su naturaleza artificial, pero ocultó la etiqueta en la descripción. Si las plataformas no pueden, o no quieren, proporcionar señales claras sobre qué es real y qué es falso, entonces no hay forma de proteger a los espectadores del contenido engañoso.
Dónde podría salir mal –y que ya está saliendo mal–
- EleccionesUn puñado de falsificaciones realistas, como tiroteos policiales inventados, confesiones falsas de candidatos e informes de política exterior falsificados, pueden alterar la participación electoral y provocar disturbios mucho antes de que se puedan implementar verificaciones de los hechos. Public Citizen advierte del impacto de Sora en la estabilidad de la democracia.
- Acoso y extorsiónLos deepfakes sexuales no consentidos, la difamación y las campañas de extorsión en general ya son un problema con las imágenes fijas; el vídeo multiplica el daño.
- Engaños relacionados con la seguridad públicaLos vídeos falsos de desastres o alertas de emergencia se propagan más rápido que las correcciones, confundiendo a los servicios de emergencia y al público. El asombroso realismo de Sora en el contexto cotidiano es inigualable, y distinguir la realidad de la ficción es más difícil que nunca.
- fraude económicoLos vídeos sintéticos de directores ejecutivos, figuras públicas o personas influyentes de alto perfil pueden dar lugar a las clásicas estafas de suplantación de identidad por voz o correo electrónico, incitando a empleados o particulares a transferir fondos. La clonación de voz ya engaña a los bancos; imagínese el poder que tendría la falsificación de vídeos.
Lo que OpenAI dice que está haciendo para abordar los peligros
OpenAI ha comenzado a limitar las apariciones de figuras públicas e implementado controles de usuario sobre los avatares personales, donde podría aparecer un avatar. Por un lado, reconocen claramente el riesgo. Pero por otro, no abordan el problema por completo. Afirmaron que la excesiva moderación resulta muy frustrante para los nuevos usuarios y que es importante ser prudentes mientras el mundo se adapta a esta nueva tecnología.
En octubre, anunciaron públicamente acuerdos con la familia de Martin Luther King Jr. para evitar representaciones irrespetuosas del líder de los derechos civiles mientras la empresa trabajaba en mejores medidas de seguridad. OpenAI también anunció el mismo acuerdo con actores famosos, el sindicato SAG-AFTRA y agencias de representación artística.
“Eso está muy bien si eres famoso”, dijo Branch, pero destacó otro problema. “Es una especie de patrón que sigue OpenAI: están dispuestos a responder a la indignación de una minoría. Lanzan algo y luego se disculpan. Pero muchos de estos problemas son decisiones de diseño que podrían haber tomado antes del lanzamiento”.
El panorama general de la IA
La carta de Public Citizen llega en un contexto de creciente conciencia de que estamos creando plataformas que facilitan el engaño más que nunca, en lugar de sistemas que nos protejan contra él. Los vídeos de Sora pueden ser atractivos pero indistinguibles a la velocidad de desplazamiento, y sin etiquetas fiables que señalen el contenido sintético a los usuarios, simplemente permitimos que el público se acostumbre al contenido falso, hasta el punto de ser incapaz de diferenciarlo.
OpenAI no inventó los deepfakes, y sus competidores se apresurarán a igualarlos. Un verdadero liderazgo requeriría ir despacio hasta que se establezcan las medidas de seguridad necesarias, en lugar de avanzar tan rápido que nunca podamos incorporar la protección adecuada. Mientras tanto, los organismos de control seguirán exigiendo su retirada del dominio público hasta que la gente común pueda distinguir entre realidad y ficción.
Pensamiento final
¿Crees que podrías distinguir con precisión entre los últimos vídeos de IA y la realidad? ¿Cuál es el mayor riesgo de que esta tecnología esté al alcance de todos? ¿Qué podemos hacer al respecto? Comparte tu opinión a continuación.
The Expose necesita urgentemente tu ayuda…
¿Podrías ayudarnos a mantener las luces encendidas con el periodismo honesto, confiable, poderoso y veraz de The Expose?
Su gobierno y las grandes organizaciones tecnológicas
Intenta silenciar y cerrar The Expose.
Por eso necesitamos tu ayuda para garantizar
Podemos seguir brindándote el
hechos que la corriente dominante se niega a aceptar.
El gobierno no nos financia
publicar mentiras y propaganda sobre sus
en nombre de los principales medios de comunicación.
En cambio, dependemos únicamente de su apoyo. Así que
Por favor, apóyanos en nuestros esfuerzos para llevar
tu periodismo honesto, confiable e investigativo
Hoy. Es seguro, rápido y fácil.
Elija su método preferido a continuación para mostrar su apoyo.
Categorías: ¿Lo sabías?
Siempre he dicho que la IA debería ser destruida. Mejor aún, jamás desarrollada. Ya es demasiado tarde. El secreto se ha revelado; ahora sabemos que nos han engañado. Mejor deshacernos de las cámaras de seguridad, porque ninguna grabación digital es válida. ¿Identificación digital? Ni hablar, es demasiado arriesgado. La humanidad está descubriendo que la IA es un invento peor que la bomba atómica. Los científicos deberían estar aislados del resto de la sociedad. Son fáciles de sobornar… el engaño del cambio climático, el engaño del COVID, y causan mucho daño…
Sí, estoy de acuerdo, ¡la IA en su forma actual tiene que desaparecer! ¡Es muy peligrosa, especialmente para los niños!
Es algo positivo. La IA es relativamente nueva, así que el público en general tardará un tiempo en comprender que absolutamente nada de lo que se encuentra en internet es fiable. La IA generadora de noticias falsas está contribuyendo a ello.
Pronto la mayoría se dará cuenta de que nada de eso es fiable. Claro que esto siempre debió saberse, pero la idea se extenderá rápidamente incluso a los más ingenuos.
Lee el artículo completo. El supuesto “peligro” no reside en las mentiras, sino en quienes las creen. Por ejemplo, incluso algunas de las personas más ingenuas ya saben que los políticos les mienten.
¿Cuántas personas pueden decir: “¡Caramba, nunca me habían mentido en mi vida hasta que vi un video de IA!” La supuesta motivación de “seguridad” nunca es más que un intento de censurar y controlar.
¿Un desequilibrado se lanza a una matanza porque las voces en su cabeza le ordenan matar gente? ¡Las voces en la cabeza son un peligro para todos! ¡Prohibamos las voces en la cabeza de las personas!
Hola Plebney,
Es interesante verlo desde otra perspectiva: que quizás acelere la comprensión de que nada de eso es fiable. Me preocupa que, por ahora, no parezca ser así; en cambio, la gente lo consume todo sin importar si es cierto o no. Da la impresión de que a la mayoría no le importa demasiado, con tal de entretenerse durante quince segundos. Supongo que pronto lo descubriremos.
Aclamaciones,
G. Calder
¡Buen artículo! Claro que no solo está Sora; ahora hay muchos más. Usé Veo3 de Google para hacer un cortometraje (mi primer intento, ¡y no fue fácil!). https://panocracy.substack.com/p/panocracy-the-movie-introduction)
Creo que la gente interpreta la información que se difunde a través del prisma de sus propios prejuicios. Si uno apoya al Sr. Trump, desconfiará de cualquier noticia negativa que reciba y la aceptará si es positiva. Lo mismo ocurre con el Sr. Starmer, etc.
La situación actual con la BBC manipulando imágenes de Trump para sus programas Panorama y Newsnight demuestra (si fuera necesario) que la desinformación no se limita a la IA.
He descubierto que quienes pertenecen a las clases profesionales son los más susceptibles a la desinformación. ¡La clase trabajadora tiende a descartar casi todo como una estrategia de la gerencia! Quienes dependen de la palabra escrita y hablada para su sustento suelen ser mucho más crédulos.
Mucho antes de que esta IA cobrara protagonismo, los sucesivos gobiernos recurrían habitualmente a todo tipo de engaños.
Tampoco parece haber rendición de cuentas.
🙏🙏
Lo que la Santa Biblia dice de esta terrible década que nos espera. Aquí hay un sitio que expone los eventos globales actuales a la luz de la profecía bíblica. Para comprender más, visite 👇 https://bibleprophecyinaction.blogspot.com/
Mi hijo tiene una aplicación que usa inocentemente… Últimamente le interesa mucho el clima, sobre todo los tornados. Ha creado videos grabando en exteriores y luego generando tornados que arrasan casas, dejando solo escombros. ¡Parecen muy reales!… El problema es si se usa con malas intenciones, y quién sabe si el próximo ataque de falsa bandera se creará así… ¡Ya tuvimos el 11-S y el 7-J mucho antes de que existiera esta tecnología!
¿“Estabilidad de la democracia”???
La democracia es la opción El máximo emblema de inestabilidad: ¡un hombre con una sola pierna es más estable!
Seguramente, a estas alturas, sus lectores pueden ver que la democracia ha resultado “deficiente”, ¿no?
Vše, jak se zdá, už tady bylo řečeno. Co dál? Nedělejme si iluze. Džiň (Kraken) byl vypuštěn. Tohle už nikdo nezastaví. Poslední zhasne. Přeji hezký den.
Poslední zhasne.