Un estudio dirigido por un grupo de investigadores de la Universidad Politécnica de Madrid, Universidad Carlos III de Madrid y la Universidad de Valladolid comprobó qué tan bien conoce ChatGPT el idioma español.
Para ello, los científicos desarrollaron una aplicación especial llamada “ChatWords”, que fue una herramienta clave para este estudio pues, se encargó de poner a prueba el chatbot de OpenAI con una serie de más de 90.000 palabras extraídas del diccionario de la Real Academia Española.
Los resultados mostraron que, aunque un hispanohablante promedio reconoce alrededor de 30.000 palabras, ChatGPT presentó errores de comprensión en una fracción considerable de términos en español. Según el análisis hecho por los investigadores, el algoritmo de la plataforma no es tan eficaz como se piensa y que, en realidad, este modelo de inteligencia artificial desconoce aproximadamente el 20% de palabras en español que fueron probadas.
El profesor Javier Conde de la Escuela Técnica Superior de Ingenieros de Telecomunicación (ETSIT) de la Universidad Politécnica de Madrid, uno de los investigadores involucrados, subrayó las deficiencias que se observaron en la revisión: “Vemos que hay un porcentaje no despreciable en que el sentido que señala es incorrecto y que quizás ChatGPT no sea hoy en día tan sabio como aparenta”.
De igual forma, Conde indicó que aunque ChatGPT tenga acceso a grandes bases de datos disponibles en internet, aun tiene capacidades limitadas cuando se trata de expresarse en otro idioma que no sea el inglés (su idioma nativo).