Así se construyen los ítems de PISA: el proceso detrás de cada pregunta

El desarrollo de un ítem de PISA comienza mucho antes de que los estudiantes respondan una pregunta, con la cuidadosa selección de un texto que sirva como estímulo para evaluar la comprensión lectora. Este enfoque fue uno de los aprendizajes clave del PISA 2029 Reading Item Development Workshop, celebrado recientemente en Santiago de Chile, donde especialistas de países iberoamericanos analizaron en profundidad el proceso de creación de materiales para el dominio de Lectura.

Durante el taller, los participantes revisaron el nuevo marco de evaluación de Lectura de PISA, estudiaron los criterios para seleccionar estímulos y elaboraron tanto preguntas de respuesta seleccionada como de respuesta construida. Un aspecto central fue comprender que el punto de partida nunca es la pregunta, sino el estímulo: un texto auténtico, pertinente y conceptualmente rico, capaz de movilizar distintos procesos de comprensión, interpretación, integración, reflexión y evaluación.

Los estímulos pueden incluir diversos formatos como ensayos, noticias, artículos de divulgación científica, fragmentos literarios o infografías, siempre que permitan evaluar cómo los estudiantes procesan la información leída. Solo después de definir el texto se procede a redactar las preguntas asociadas, garantizando que estas midan la competencia lectora y no el grado de familiaridad con un contexto cultural específico.

Una de las discusiones más relevantes giró en torno a la comparabilidad lingüística, dado que el español presenta variantes léxicas, expresiones y referentes culturales que pueden afectar la comprensión entre países. Cada palabra, imagen y referencia fue analizada meticulosamente para asegurar que el instrumento evalúe la habilidad lectora sin sesgos por familiaridad con una realidad determinada.

El trabajo colaborativo fue otro pilar del taller: ningún ítem se considera terminado tras su primera versión. Todas las proposals pasan por procesos de revisión técnica en paneles multidisciplinarios, donde expertos evalúan la calidad del estímulo, la pertinencia de las preguntas y la claridad de las guías de codificación. Este enfoque iterativo garantiza rigor metodológico y evidencia detrás de cada elemento del instrumento.

Como destacó uno de los participantes, detrás de una evaluación internacional como PISA hay investigación, metodología, revisión entre pares y un trabajo técnico riguroso que raramente se conoce fuera de los equipos especializados. Fortalecer las capacidades nacionales en este tipo de procesos no solo mejora la calidad técnica de las evaluaciones, sino que también fomenta el intercambio de conocimientos entre países con desafíos educativos comunes.

El taller recordó que, aunque se habla de PISA principalmente cuando se publican los resultados, es esencial reconocer el trabajo silencioso y meticuloso que ocurre mucho antes de la prueba: la selección cuidadosa de qué vale la pena leer, para construir instrumentos más pertinentes, rigurosos y representativos de la diversidad de contextos en los que serán aplicados.