El pasado 8 de septiembre dos noticias capturaron con fuerza mi atención: OpenAI anunció que probablemente GPT ya resolvió por primera vez un problema matemático “gordo” (las ecuaciones de Navier-Stokes); y la Organización para la Cooperación y el Desarrollo Económico, OECD por sus siglas en inglés, reportó que la puntuación de la sección de matemáticas de la prueba internacional PISA cayó de 419 a 388 puntos entre 2009 y 2025 para México (como referencia, 20 puntos suelen interpretarse como 1 año de escolaridad). Por la fama tanto de GPT como de PISA, no tuvimos que esperar mucho para escuchar lamentaciones públicas. Por ejemplo, Deng Yu, un matemático que apenas en julio recibió una Medalla Fields, el “Nobel de Matemáticas”, el 11 de septiembre hizo la siguiente broma: “si la IA resuelve todos los problemas matemáticos, me retiraré y me dedicaré a escribir novelas románticas”. Ese mismo día, la Presidenta Claudia Sheinbaum anunció un “libro especial de matemáticas para 2027”. Dediqué mi último artículo de esta columna a GPT y Navier-Stokes. Ahora comentaré sobre la regresión de México en PISA-matemáticas. Este artículo está dividido en 3 partes: primero pondremos el retroceso de México en contexto; después abordaremos la efectividad de PISA como medida de conocimientos; y cerraremos con indicios recientes de una posible relación negativa entre capacidades cognitivas y el uso de GPT. Pero primero una declaración importante: además de que no soy experto en educación básica, tampoco sé mucho de PISA más allá de su existencia.
Los cambios de México en PISA-matemáticas han estado alineados con los del resto de la OECD tanto absoluta como relativamente. La OECD como bloque subió de 490 a 496 puntos entre 2006 y 2009, cuando alcanzó su máximo, y no ha dejado de caer desde entonces: 494, 490, 489, 472, y 463 en 2012, 2015, 2018, 2022, y 2025, respectivamente. México subió de 406 a 419 entre 2006 y 2009, y los puntajes para 2012, 2015, 2018, 2022, y 2025 fueron 413, 408, 419, 395, y 388. Tanto la OECD como México alcanzaron máximos en 2009, y entre 2009 y 2025 la OECD cayó 33 puntos en términos absolutos y 7% en términos relativos, y México 29 puntos y 7%. Notemos, en particular, que entre 2015 y 2018 la OECD retrocedió 1 punto y México avanzó 11 puntos, y entre 2018 y 2022 la OECD retrocedió 17 y México 24. Yo creo que los efectos de la educación típicamente son de mediano y largo plazo, no de corto plazo. Así, ¿No deberíamos preguntarnos sobre nuestro avance de 11 puntos entre 2015 y 2018, seguido por un retroceso de 24 puntos? Los números para la OECD fueron -1 y -17, respectivamente. En 2016 el economista John List sometió las pruebas PISA a una prueba.
En 2015 Shanghai, China, ocupó el lugar 1 en PISA-matemáticas, y EUA el 36. Al siguiente año, List aplicó exámenes de matemáticas basados en PISA en 3 preparatorias de Shanghai y en 2 de EUA. Al inicio dieron a los estudiantes 25 dólares, y se les descontó 1 por cada error. Aunque el experimento fue relativamente informal, los hallazgos me parecen interesantes. En Shanghai los resultados no cambiaron, se mantuvieron igual de altos; en EUA mejoraron. List no hace ninguna defensa del desempeño más bien pobre de EUA, y se limita a cuestionar los alcances de PISA: ¿Y si sin premios en EUA simplemente no les importan mucho las pruebas, debilitando así su poder informativo sobre los conocimientos de los muchachos? Similarmente, ¿Cómo explicar la aparente indiferencia de los chinos a los premios? Reitero, List no cuestiona la validez de PISA: simplemente invita a no exentarla de la crítica. Curiosamente, se considera que la IA moderna nació en 2012, y esto nos lleva de regreso al inicio este artículo, los nuevos logros de GPT y la regresión global en PISA: ¿Podría haber alguna relación?
Apenas a mediados de agosto el Instituto Tecnológico de Massachusetts, MIT por sus siglas en inglés y una de las mejores escuelas de computación del mundo, compartió su reporte interno “Uso de IA en Docencia, Aprendizaje, e Investigación” (“AI Use in Teaching, Learning, and Research Training”). El MIT reportó que hay indicios de que la IA (1) está afectando los resultados de los exámenes para resolver en casa, la distancia entre estudiantes y profesores, y el trabajo en equipo de los primeros; (2) la comunidad del MIT se está volviendo cada vez más solitaria; (3) el desempeño y la confianza de los estudiantes se está deteriorando; (4) también se está deteriorando el “contrato social” entre profesores y estudiantes; (5) cada vez es más difícil medir el aprendizaje de los estudiantes; y (6) está poniendo a prueba un modelo de aprendizaje basado en trabajo en equipo e integridad personal que tan bien había funcionado por décadas.
No soy apologista de las políticas públicas de México y no oculto que me entristecieron los últimos resultados de PISA internacionales, los de México incluidos. Todo lo que quiero expresar con este artículo es que hay que pensar críticamente los reportes de la OECD antes de (1) condenar enérgicamente nuestras políticas educativas y, más importante, de (2) derivar implicaciones de política. Personalmente creo que las computadoras están trastocando todo, y la solución de los problemas, en un buen sentido de la palabra, empieza por tratar de entenderlos bien.
