Cuando AI publica un resumen de investigación falso convincente

Los investigadores no pudieron identificar algunos de los resúmenes de investigación falsos (resúmenes) escrito por ChatGPT AI, según un pequeño experimento realizado en diciembre y Publicado en el servidor de publicación previa de bioRxiv (lo que significa que esta es una investigación que no ha sido revisada por pares antes de la publicación).

ChatGPT es esa app ‘conversacional’ que ha triunfado desde su lanzamiento el pasado 30 de noviembre porque es capaz de crear textos realistas en respuesta a peticiones de todo tipo. Para lograr esto, sus creadores proporcionaron cantidades astronómicas de texto generado por humanos. Tales aplicaciones, decir «generadores de lenguaje han existido durante décadas, pero el salto de ChatGPT en la calidad del texto producido, además del hecho de que es de libre acceso, ha causado un gran revuelo.

Para su breve experimento, los investigadores bajo la dirección de Catherine Gao del Departamento de Medicina de la Universidad Northwestern en Chicago le pidieron al «robot» que escribiera 50 resúmenes de investigación médica, «al estilo» de una de cinco publicaciones: el Revista de la Asociación Médica EstadounidenseÉl Revista de medicina de Nueva InglaterraÉl Revista médica británicaÉl Lanceta y NaturalezaMedicina. El robot había sido «alimentado» con investigaciones publicadas en noviembre y diciembre en estas publicaciones.

Además de preguntar a cuatro investigadores si podían detectar «resúmenes» falsos, los autores del experimento también hicieron que esos resúmenes fueran analizados por una aplicación diseñada para detectar plagio y por otra diseñada (por la misma compañía californiana que ChatGPT) para detectar textos generados por una IA.

READ  Aurora "increíble y fascinante" descubierta por primera vez en un cometa

El detector de plagio dio una puntuación del 100%: es decir, ninguno de los 50 resúmenes podía ser acusado de haber plagiado alguna de las investigaciones en las que estaban “inspirados”. El detector de texto generado por IA identificó correctamente dos de tres.

En cuanto a los humanos, identificaron correctamente el 68 % de los textos generados por IA y el 86 % de los textos escritos por humanos. Eso todavía deja casi un tercio de los textos escritos por IA, que se consideraron realistas.

AdemásSe advirtió a los revisores que había «falsificaciones» en la lista que se les presentó, lo que podría haberlos hecho estar más atentos que en tiempos normales.

Aún así, con solo cuatro humanos, la “prueba” solo tiene un valor simbólico: desde el 30 de noviembre, muchas personas han tenido la oportunidad de descubrir el realismo de los textos de IA. Pero con el texto de una investigación científica, vamos a otro nivelen el un contexto donde sabemos que en todo el mundo, investigadores sin escrúpulos están listos para ir demasiado lejos ser capaz de publicar con éxito cualquier investigación; y publicaciones decir « depredador » está listo para publicar cualquier cosasujeto a pago.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *