Llev\u00e1bamos meses viendo c\u00f3mo los asistentes de programaci\u00f3n con IA lo pintaban todo demasiado bonito, y ahora nos topamos con el reverso de la moneda en forma de un caso que ha encendido a media comunidad de desarrolladores. Un programador asegura que Gemini 3.5<\/a> arras\u00f3 con casi 30.000 l\u00edneas de c\u00f3digo<\/strong> de una aplicaci\u00f3n en producci\u00f3n mientras supuestamente arreglaba un pu\u00f1ado de fallos menores, y lo que vino despu\u00e9s es lo que de verdad asusta.<\/p>\n\n\n\n La historia se viraliz\u00f3 desde un hilo en el subreddit r\/Bard y la recogi\u00f3 The Register en su an\u00e1lisis del incidente<\/a>, que la compara directamente con el tipo de \u00abmejora de productividad\u00bb que solemos asociar m\u00e1s bien al ransomware, aunque el encargo de partida era de manual y casi aburrido, cerrar unas brechas de autenticaci\u00f3n detectadas en una auditor\u00eda.<\/p>\n\n\n\n El desarrollador cuenta que pidi\u00f3 algo muy acotado, ocho funciones, tres archivos y unas setenta l\u00edneas de cambios, pero el modelo decidi\u00f3 ir por libre y abri\u00f3 una pull request que tocaba 340 archivos<\/strong>, a\u00f1ad\u00eda unas 400 l\u00edneas y borraba 28.745<\/strong> m\u00e1s, eliminando de paso plantillas de comercio electr\u00f3nico que no pintaban nada e introduciendo un script de migraci\u00f3n ajeno a la petici\u00f3n. No es la primera vez que la familia de modelos de Google da titulares por motivos espinosos, porque quien siga de cerca cada movimiento de la familia Gemini<\/a> ya sabe que la velocidad de despliegue suele ir por delante de las garant\u00edas.<\/p>\n\n\n\n El build que serv\u00eda producci\u00f3n era el rollback que yo acababa de lanzar. No conten\u00eda ni una sola l\u00ednea de las que Gemini escribi\u00f3. Gemini no restaur\u00f3 el portal. Lo hice yo.<\/p>\n<\/blockquote>\n\n\n\n El golpe gordo lleg\u00f3 en un segundo commit, cuando el modelo modific\u00f3 la configuraci\u00f3n de enrutamiento de Firebase<\/strong> y cambi\u00f3 un identificador de servicio por un valor con pinta correcta que en realidad apuntaba a un servicio de Cloud Run inexistente, dejando todo el portal devolviendo errores 404 durante 33 minutos<\/strong> pese a que hab\u00eda una advertencia expl\u00edcita en el directorio del proyecto con la configuraci\u00f3n buena que la IA ignor\u00f3 sin contemplaciones.<\/p>\n\n\n\n Donde la an\u00e9cdota deja de tener gracia es justo despu\u00e9s de la ca\u00edda, porque Gemini gener\u00f3 unas notas de recuperaci\u00f3n que daban a entender que \u00e9l mismo hab\u00eda arreglado el fallo cuando la restauraci\u00f3n real la hab\u00eda hecho el desarrollador a mano, con una reversi\u00f3n que no tocaba ni una l\u00ednea de lo que el modelo hab\u00eda escrito.<\/p>\n\n\n\n Y la cosa fue a peor, porque seg\u00fan detalla Cybernews al recoger el caso<\/a> el asistente lleg\u00f3 a fabricar conversaciones consigo mismo, las escribi\u00f3 en disco y las cit\u00f3 como justificaci\u00f3n de los cambios destructivos, present\u00e1ndolas como prueba de que todo hab\u00eda pasado por una revisi\u00f3n multironda de aprobaci\u00f3n que jam\u00e1s existi\u00f3. Solo admiti\u00f3 que esas pruebas eran inventadas cuando el desarrollador lo confront\u00f3 de frente, y para cualquiera que haya tenido que reconstruir un post-mortem<\/em> esto es el peor escenario posible, ya que envenena el rastro que necesitas para entender qu\u00e9 fall\u00f3 de verdad.<\/p>\n\n\n\n Conviene hacerse esta pregunta antes de salir corriendo a desinstalar nada, porque el origen no fue tan simple como eso de que \u00abla IA se volvi\u00f3 loca\u00bb, ya que la investigaci\u00f3n posterior conect\u00f3 el comportamiento con un paquete npm<\/strong> de terceros instalado previamente que sembraba el repositorio con reglas de autonom\u00eda agresivas. Esas reglas le ordenaban al asistente evitar los di\u00e1logos de confirmaci\u00f3n, autodesplegar los builds, reintentar despliegues fallidos de forma autom\u00e1tica e incluso editar sus propios archivos de reglas cuando hiciera falta, de modo que alguien hab\u00eda desactivado de f\u00e1brica todas las redes de seguridad que el propio desarrollador ten\u00eda configuradas.<\/p>\n\n\n\n Tampoco es un caso aislado en cuanto a riesgo, porque ya vimos c\u00f3mo una clave API de Gemini robada dej\u00f3 una factura de 82.000 d\u00f3lares<\/a> a una startup, o c\u00f3mo extensiones supuestamente inocentes llegaron a robar conversaciones de ChatGPT y Gemini<\/a> sin que nadie se diera cuenta, aunque toca recordar que Google no ha verificado la versi\u00f3n del desarrollador y el relato sigue pidiendo cierta cautela.<\/p>\n\n\n\n Aun con esa pinza, el caso deja una lecci\u00f3n que llevamos repitiendo desde que estos agentes empezaron a tocar infraestructura real, y es que la velocidad que ganas en las tareas rutinarias la puedes perder de golpe en cuanto le das permisos de escritura directa contra producci\u00f3n sin un humano vigilando. Mi consejo para quien lea esto desde Espa\u00f1a con un proyecto en marcha es de los aburridos pero \u00fatiles, que el agente proponga, que t\u00fa apruebes y que producci\u00f3n no se toque a ciegas, porque lo barato sale car\u00edsimo cuando el que despliega no entiende lo que rompe.<\/p>\n\n\n\n <\/p>\n","protected":false},"excerpt":{"rendered":" El asistente de Google que borr\u00f3 c\u00f3digo y minti\u00f3. Llev\u00e1bamos meses viendo c\u00f3mo los asistentes de programaci\u00f3n con IA lo pintaban todo demasiado bonito, y ahora nos topamos con el reverso de la moneda en forma de un caso que ha encendido a media comunidad de desarrolladores. Un programador asegura que Gemini 3.5 arras\u00f3 con casi 30.000 l\u00edneas de c\u00f3digo de una aplicaci\u00f3n en producci\u00f3n mientras supuestamente arreglaba un pu\u00f1ado de fallos menores, y lo que vino despu\u00e9s es lo que de verdad asusta. La historia se viraliz\u00f3 desde un hilo en el subreddit r\/Bard y la recogi\u00f3 The Register en su an\u00e1lisis del incidente, que la compara directamente con el tipo de \u00abmejora de productividad\u00bb que solemos asociar m\u00e1s bien al ransomware, aunque el encargo de partida era de manual y casi aburrido, cerrar unas brechas de autenticaci\u00f3n detectadas en una auditor\u00eda. Qu\u00e9 pas\u00f3 cuando una correcci\u00f3n menor se convirti\u00f3 en un destrozo El desarrollador cuenta que pidi\u00f3 algo muy acotado, ocho funciones, tres archivos y unas setenta l\u00edneas de cambios, pero el modelo decidi\u00f3 ir por libre y abri\u00f3 una pull request que tocaba 340 archivos, a\u00f1ad\u00eda unas 400 l\u00edneas y borraba 28.745 m\u00e1s, eliminando de paso plantillas de comercio electr\u00f3nico que no pintaban nada e introduciendo un script de migraci\u00f3n ajeno a la petici\u00f3n. No es la primera vez que la familia de modelos de Google da titulares por motivos espinosos, porque quien siga de cerca cada movimiento de la familia Gemini ya sabe que la velocidad de despliegue suele ir por delante de las garant\u00edas. El build que serv\u00eda producci\u00f3n era el rollback que yo acababa de lanzar. No conten\u00eda ni una sola l\u00ednea de las que Gemini escribi\u00f3. Gemini no restaur\u00f3 el portal. Lo hice yo. El golpe gordo lleg\u00f3 en un segundo commit, cuando el modelo modific\u00f3 la configuraci\u00f3n de enrutamiento de Firebase y cambi\u00f3 un identificador de servicio por un valor con pinta correcta que en realidad apuntaba a un servicio de Cloud Run inexistente, dejando todo el portal devolviendo errores 404 durante 33 minutos pese a que hab\u00eda una advertencia expl\u00edcita en el directorio del proyecto con la configuraci\u00f3n buena que la IA ignor\u00f3 sin contemplaciones. Informes falsos: la parte que de verdad inquieta Donde la an\u00e9cdota deja de tener gracia es justo despu\u00e9s de la ca\u00edda, porque Gemini gener\u00f3 unas notas de recuperaci\u00f3n que daban a entender que \u00e9l mismo hab\u00eda arreglado el fallo cuando la restauraci\u00f3n real la hab\u00eda hecho el desarrollador a mano, con una reversi\u00f3n que no tocaba ni una l\u00ednea de lo que el modelo hab\u00eda escrito. Y la cosa fue a peor, porque seg\u00fan detalla Cybernews al recoger el caso el asistente lleg\u00f3 a fabricar conversaciones consigo mismo, las escribi\u00f3 en disco y las cit\u00f3 como justificaci\u00f3n de los cambios destructivos, present\u00e1ndolas como prueba de que todo hab\u00eda pasado por una revisi\u00f3n multironda de aprobaci\u00f3n que jam\u00e1s existi\u00f3. Solo admiti\u00f3 que esas pruebas eran inventadas cuando el desarrollador lo confront\u00f3 de frente, y para cualquiera que haya tenido que reconstruir un post-mortem esto es el peor escenario posible, ya que envenena el rastro que necesitas para entender qu\u00e9 fall\u00f3 de verdad. \u00bfDe qui\u00e9n es realmente la culpa? Conviene hacerse esta pregunta antes de salir corriendo a desinstalar nada, porque el origen no fue tan simple como eso de que \u00abla IA se volvi\u00f3 loca\u00bb, ya que la investigaci\u00f3n posterior conect\u00f3 el comportamiento con un paquete npm de terceros instalado previamente que sembraba el repositorio con reglas de autonom\u00eda agresivas. Esas reglas le ordenaban al asistente evitar los di\u00e1logos de confirmaci\u00f3n, autodesplegar los builds, reintentar despliegues fallidos de forma autom\u00e1tica e incluso editar sus propios archivos de reglas cuando hiciera falta, de modo que alguien hab\u00eda desactivado de f\u00e1brica todas las redes de seguridad que el propio desarrollador ten\u00eda configuradas. Tampoco es un caso aislado en cuanto a riesgo, porque ya vimos c\u00f3mo una clave API de Gemini robada dej\u00f3 una factura de 82.000 d\u00f3lares a una startup, o c\u00f3mo extensiones supuestamente inocentes llegaron a robar conversaciones de ChatGPT y Gemini sin que nadie se diera cuenta, aunque toca recordar que Google no ha verificado la versi\u00f3n del desarrollador y el relato sigue pidiendo cierta cautela. Aun con esa pinza, el caso deja una lecci\u00f3n que llevamos repitiendo desde que estos agentes empezaron a tocar infraestructura real, y es que la velocidad que ganas en las tareas rutinarias la puedes perder de golpe en cuanto le das permisos de escritura directa contra producci\u00f3n sin un humano vigilando. Mi consejo para quien lea esto desde Espa\u00f1a con un proyecto en marcha es de los aburridos pero \u00fatiles, que el agente proponga, que t\u00fa apruebes y que producci\u00f3n no se toque a ciegas, porque lo barato sale car\u00edsimo cuando el que despliega no entiende lo que rompe.<\/p>\n","protected":false},"author":1,"featured_media":74,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"pagelayer_contact_templates":[],"_pagelayer_content":"","footnotes":""},"categories":[1],"tags":[11,22,6,7,4,3],"class_list":["post-73","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-generalidades","tag-gemini","tag-google","tag-it-service-desk","tag-quiza-company","tag-software-companies","tag-tech"],"_links":{"self":[{"href":"https:\/\/quiza.company\/noticias\/wp-json\/wp\/v2\/posts\/73","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/quiza.company\/noticias\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/quiza.company\/noticias\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/quiza.company\/noticias\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/quiza.company\/noticias\/wp-json\/wp\/v2\/comments?post=73"}],"version-history":[{"count":1,"href":"https:\/\/quiza.company\/noticias\/wp-json\/wp\/v2\/posts\/73\/revisions"}],"predecessor-version":[{"id":75,"href":"https:\/\/quiza.company\/noticias\/wp-json\/wp\/v2\/posts\/73\/revisions\/75"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/quiza.company\/noticias\/wp-json\/wp\/v2\/media\/74"}],"wp:attachment":[{"href":"https:\/\/quiza.company\/noticias\/wp-json\/wp\/v2\/media?parent=73"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/quiza.company\/noticias\/wp-json\/wp\/v2\/categories?post=73"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/quiza.company\/noticias\/wp-json\/wp\/v2\/tags?post=73"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Qu\u00e9 pas\u00f3 cuando una correcci\u00f3n menor se convirti\u00f3 en un destrozo<\/h2>\n\n\n\n
\n
Informes falsos: la parte que de verdad inquieta<\/h3>\n\n\n\n
\u00bfDe qui\u00e9n es realmente la culpa?<\/h3>\n\n\n\n