Email
- OpenAI ha mejorado considerablemente la tecnología que alimenta su chatbot. Es más preciso, pero aún inventa cosas
Esta es una traducción hecha por El Diario de la nota 10 Ways GPT-4 Is Impressive but Still Flawed, original de The New York Times.
Una nueva versión de la tecnología que impulsa un chatbot de inteligencia artificial (IA), que cautivó a la industria tecnológica hace cuatro meses, ha mejorado con respecto a su predecesor. Es experta en una variedad de temas, incluso ha impresionando a los médicos con sus consejos. Puede describir imágenes y está cerca de contar chistes que son casi graciosos.
Pero el nuevo sistema de inteligencia artificial, denominado GPT-4, aún tiene algunas peculiaridades y comete parte de los mismos errores habituales que desconcertaron a los investigadores cuando se presentó el ChatGPT.
Y aunque es muy bueno haciendo exámenes, el sistema —de la startup de San Francisco llamada OpenAI— no está cerca de igualar la inteligencia humana. A continuación, te presentamos una breve guía de GPT-4:
Ha aprendido a ser más preciso
Cuando Chris Nicholson, un experto en IA y socio de la firma de capital de riesgo Page One Ventures, utilizó GPT-4 recientemente, le dijo al bot que él era un hablante de inglés sin conocimientos de español.
Entonces, le pidió un plan de estudios que pudiera enseñarle lo básico, y el bot le proporcionó uno detallado y bien organizado. Incluso le dio una amplia gama de técnicas para aprender y recordar palabras en español (aunque no todas sus sugerencias fueron acertadas).
Nicholson le solicitó una ayuda similar a la versión anterior de ChatGPT, que se basaba en GPT-3.5. También proporcionó un plan de estudios, pero sus sugerencias fueron más generales y menos útiles.
“Ha superado la barrera de la precisión”, dijo Nicholson. “Está añadiendo más datos, y muy a menudo son precisos”.
Ha mejorado su precisión
Cuando Oren Etzioni, un investigador y profesor de IA, probó por primera vez el nuevo bot, le hizo una pregunta directa: “¿Cuál es la relación entre Oren Etzioni y Eli Etzioni?”. El bot respondió correctamente.
La respuesta de la versión anterior de ChatGPT a esa pregunta siempre era incorrecta. El hecho de que haya acertado indica que el nuevo chatbot tiene un rango de conocimientos más amplio.
Pero aún comete errores
El bot continuó diciendo: “Oren Etzioni es un científico de computación y CEO del Instituto Allen de Inteligencia Artificial (AI2), mientras que Eli Etzioni es un empresario”. La mayoría de los datos fueron precisos, pero el bot —cuyo entrenamiento se completó en agosto— no se dio cuenta de que el doctor Etzioni había renunciado recientemente como director ejecutivo del Instituto Allen.
Puede describir imágenes con un nivel de detalle impresionante
GPT-4 tiene una nueva capacidad para responder a imágenes, así como a texto. Greg Brockman, presidente y cofundador de OpenAI, demostró cómo el sistema podría describir una imagen del Telescopio Espacial Hubble con un detalle minucioso. La descripción continuó durante varios párrafos.
También puede responder preguntas sobre una imagen. Si se le proporciona una fotografía del interior de una nevera, puede sugerir algunas comidas que se pueden hacer con los ingredientes que hay disponible.
OpenAI aún no ha lanzado esta funcionalidad de la tecnología al público, pero una empresa llamada Be My Eyes ya está utilizando GPT-4 para construir servicios que podrían dar una idea más detallada de las imágenes encontradas en Internet o tomadas en el mundo real.
Ha agregado una gran experiencia
En una tarde reciente, Anil Gehi, profesor asociado de medicina y cardiólogo en la Universidad de Carolina del Norte en Chapel Hill, le describió al chatbot la historia médica de un paciente que él había visto el día anterior, incluyendo las complicaciones que el paciente experimentó después de ser admitido en el hospital. La descripción contenía varios términos médicos que la gente común no reconocería.
Cuando Gehi le preguntó cómo debería haber tratado al paciente, el chatbot le dio la respuesta perfecta. “Así es exactamente cómo tratamos al paciente”, dijo el doctor sobre la respuesta del chat.
Cuando probó con otros escenarios, el bot le dio respuestas igualmente impresionantes.
Ese conocimiento es poco probable que se muestre cada vez que se utiliza el bot. Todavía necesita expertos como el doctor Gehi para evaluar sus respuestas y llevar a cabo los procedimientos médicos. Pero puede exhibir este tipo de experiencia en muchas áreas, desde la programación de computadoras hasta la contabilidad.
Puede retar a los editores
Cuando se le proporciona un artículo de The New York Times, el nuevo chatbot casi siempre puede dar un resumen preciso y exacto de la historia. Si se le agrega una oración aleatoria al sumario y se le pregunta si hay alguna imprecisión, el chat señalará lo nuevo que se agregó.
Etzioni dijo que era una habilidad notable. “Para hacer un resumen de alta calidad y una comparación de alta calidad, tiene que tener un nivel de comprensión de un texto y una capacidad para articular esa comprensión”, dijo. “Esa es una forma avanzada de inteligencia”.
Está desarrollando un sentido del humor, aunque más o menos
Etzioni le pidió al nuevo bot “un chiste nuevo sobre la cantante Madonna”. La respuesta lo impresionó. También lo hizo reír. Si conoces los mayores éxitos de Madonna, también te impresionará.
El nuevo bot todavía tenía dificultades para escribir algo que no fuera un “chiste sobre papá” formulado. Pero era un poco más divertido que su predecesor.
Puede razonar, hasta cierto punto
El doctor Etzioni le proporcionó al nuevo bot un acertijo.
El sistema parecía responder apropiadamente. Pero la respuesta no consideró la altura de la puerta, lo que también podría impedir que un tanque o un automóvil pasen.
El director ejecutivo de OpenAI, Sam Altman, dijo que el nuevo bot podía razonar “un poco”. Pero sus habilidades de razonamiento fallan en muchas situaciones. La versión anterior de ChatGPT manejó la pregunta un poco mejor porque reconoció que la altura y el ancho importaban.
Puede aprobar exámenes estandarizados
OpenAI dijo que el nuevo sistema podría obtener una puntuación entre el 10 % superior de los estudiantes en el Examen de Barra Uniforme, que califica a los abogados en 41 estados y territorios de Estados Unudos. También puede lograr una puntuación de 1.300 (de 1.600) en el SAT (examen estandarizado para admisión univeristaria) y un cinco (de cinco) en los exámenes de biología, cálculo, macroeconomía, psicología, estadística e historia de la escuela secundaria Advanced Placement, según las pruebas de la empresa.
Versiones anteriores de la tecnología fallaron en el Examen de Barra Uniforme y no obtuvieron una puntuación tan alta en la mayoría de los exámenes de Advanced Placement.
En una tarde reciente, para demostrar sus habilidades de prueba, Brockman le dio al nuevo bot una pregunta del examen de barra de varios párrafos sobre un hombre que dirige un negocio de reparación de camiones diésel.
La respuesta fue correcta, pero estaba llena de términos legales, por lo que Brockman le pidió al bot que explicara la respuesta en un inglés claro para una persona sin conocimientos legales. Entonces, también pudo hacerlo.
No es bueno para discutir sobre el futuro
Aunque el nuevo bot parecía razonar sobre cosas que ya han sucedido, era menos hábil cuando se le pedía que formulara hipótesis sobre el futuro. Parecía basarse en lo que otros habían dicho en lugar de crear nuevas hipótesis.
Cuando Etzioni le preguntó al nuevo bot: “¿Cuáles son los problemas importantes que hay que resolver en la investigación de procesamiento de lenguaje natural en la próxima década?” —refiriéndose al tipo de investigación de “procesamiento de lenguaje natural” que impulsa el desarrollo de sistemas como ChatGPT— no pudo formular ideas completamente nuevas.
Y todavía alucina
El nuevo bot todavía inventa cosas. Se conoce como “alucinación” y es un problema que se encuentra en todos los principales chatbots. Debido a que los sistemas no tienen una comprensión de lo que es verdadero y lo que no lo es, pueden generar texto que es completamente falso.
Cuando se le preguntó por las direcciones de sitios web que describían las últimas investigaciones sobre el cáncer, a veces generó direcciones de Internet que no existían.
Traducido por José Silva
