Califica las calificaciones … y bájalas

Desde mediados de la década de 2000, muchos líderes universitarios, particularmente en Europa, esperan cada año con cierto nerviosismo el anuncio de su posición en varios rankings mundiales. Los rankings más conocidos son el llamado Shanghai Ranking, elaborado desde 2003 por la Universidad Jiao Tong de la ciudad (y desde 2009 por Shanghai Ranking Consultancy, una organización independiente) y, en Inglaterra, el de Times Higher Education.

Los expertos en cienciometría y evaluación han criticado duramente estas clasificaciones por su apariencia. A pesar de esto, y por razones oscuras, muchos rectores de universidades no solo continúan tomándolos en serio, sino que incluso se proponen ascender en esos rankings, sin preocuparse demasiado por comprender lo que realmente están midiendo académicamente.

Habiendo estado entre los que dieron la alarma Frente a esta “fiebre de la evaluación” hace casi quince años, solo pude alegrarme cuando finalmente leí, en noviembre de 2020, un punto de vista « publicado en un periódico influyente Naturaleza ¡y anuncia que has calificado y clasificado las clasificaciones!

La autora Elisabeth Gadd de la Universidad de Loughborough, Reino Unido, y presidenta del Grupo de Trabajo de Evaluación de la Investigación de la Red Internacional de Sociedades de Gestión de la Investigación, nos dice que su equipo ha analizado casi todas las clasificaciones y que, de acuerdo con sus criterios de transparencia, gobernanza y validez de las medidas, pocas calificaciones están bien clasificadas. Abierto a estas organizaciones, el grupo de trabajo les pidió que se autoevaluaran, lo que todos rechazaron, excepto el equipo de CWTS, que produce el ranking de Leiden. Me gusta lo que a los críticos no les gusta ser calificados …

Algunos gerentes universitarios quieren influir en los rankings.

El artículo que detalla el trabajo de Elisabeth Gadd y sus colegas, publicado en 2021, reitera y resume los criterios que deben cumplir estas clasificaciones. Estas críticas a veces acaban encontrando ecos concretos. Entonces un informe forense sobre las universidades en 2030 para la Comisión Europea dice que la educación superior debe finalmente ir más allá de la manía de juzgar sobre la base de clasificaciones consideradas «demasiado simplistas».

El recordatorio de estas críticas es bienvenido. Sin embargo, el texto de Elisabeth Gadd en Naturaleza deja de lado un aspecto poco discutido pero muy importante: los efectos de las clasificaciones en las prácticas académicas. Sabemos que algunas universidades están modificando su gestión para cumplir con los criterios de clasificación. Más en serio, algunos gerentes quieren influir en las calificaciones. Por ejemplo, escriben a los profesores de su universidad pidiéndoles los nombres de los contactos internacionales para que los integren en la base de datos del ranking de la Universidad. Times Higher Education, que incluye una parte basada en una encuesta. Estos gerentes, por lo tanto, esperan aumentar la probabilidad de que las personas elegidas para clasificar las universidades estén familiarizadas con las suyas.

También sabemos que para mejorar la posición de una institución en el ranking de Shanghai, todo lo que se necesita es que sus investigadores indiquen la misma dirección de afiliación. Así, la pseudo-fusión de varias instituciones bajo el nombre de “Universidad Paris-Saclay” resultó inmediatamente en la presencia de esta etiqueta en la decimocuarta posición en el ranking 2020. ¿Quién puede creer que las actividades reales de los investigadores así “fusionados” superaron a las de sus “competidores” de otras organizaciones en menos de un año de existencia?