Modificado: febrero 16, 2012
16feb2012

El valor de los rankings universitarios (primera parte)

Como hemos comentado en algunos de nuestros artículos, los rankings universitarios están de moda. En los últimos años se ha publicado un gran número de rankings (en nuestros artículos sobre los rankings Shanghai y THE y el ranking de la Universidad de Leiden recogemos los resultados y la metodología utilizada en tres de ellos). Los resultados de los rankings  están generando una importante presión en las universidades de todo el mundo y en los ministerios competentes para aparecer en estos rankings o para escalar posiciones. Así y tal y como hemos comentado en nuestro artículo sobre fusiones en las universidades, diferentes países se están planteando la fusión de universidades como una vía para poder aparecer en los puestos más altos de los rankings.

De este modo, las Universidades que aparecen en estos rankings dan publicidad a su presencia y las que no aparecen ignoran su ausencia, en unos casos, o cuestionan el valor del ranking en otros.  Un ejemplo reciente es el titular que podíamos ver hace unos días en la prensa:

La UPC y la UB, las únicas universidades catalanas en un ‘ranking’ internacional. (Europa Press, 2/02/2012), donde se destaca, entre otras afirmaciones, que “ La Universitat Politécnica de Cataluña (UPC) se ha convertido en la primera universidad catalana, la tercera española y la número 30 del ‘ranking’ que elabora el 4 International Colleges and Universities (4ICU), en que también figura la Universitat de Barcelona (UB) en la posición 36.”. Si estáis interesados en leer todo el artículo, se puede consultar, por ejemplo en El Economista.

 Partiendo de la importancia que los rankings están teniendo para las universidades, los grupos de interés y la sociedad en general, en este primer artículo analizaremos aspectos generales de los rankings. En una próxima segunda parte estudiaremos y publicaremos en nuestro blog las características de los principales rankings.

 Creemos que los rankings tienen o pueden tener valor para las universidades y las políticas universitarias, pero nos planteamos algunos interrogantes:

  • ¿qué miden realmente los rankings (docencia, investigación, transferencia, gestión)?
  • ¿cuál es su rigor tanto en los datos e indicadores manejados como en la obtención de resultados?
  • ¿qué tipo de datos e indicadores utiliza (objetivos, subjetivos)?
  • ¿qué valor real aportan a las universidades y a las políticas universitarias de los distintos países?

En los rankings orientados a establecer un orden, no todas las universidades pueden estar en el número uno. Sin embargo podrían servir para resaltar puntos fuertes y puntos débiles de las universidades, contribuyendo a la mejora tanto de las propias universidades como de los sistemas de educación superior. En cualquier caso, no hay que olvidar que la misión de las universidades tiene que estar relacionada con impartir la mejor docencia, realizar la mejor investigación y la transferencia del conocimiento y, por qué no decirlo, con una gestión eficaz y eficiente más que ser la universidad número uno del mundo.

 Principales rankings internacionales existentes

La European University Association (EUA) ha realizado en 2011 un análisis de los principales rankings universitarios existentes y ha publicado los resultados en el documento Global University Ranks and Their impacts.  El objetivo de dicho documento es aportar información a las universidades sobre la metodología utilizada en los rankings más populares, así como su impacto potencial. El documento se centra en los principales rankings internacionales que puedan tener un impacto en las universidades europeas, sin tener en cuenta los rankings nacionales. Para cumplir este objetivo analiza las metodologías utilizadas por los rankings de modo que esta información sea pública y transparente, confirmando que se mide lo que se dice y que el proceso de medición y los cálculos se realizan de forma adecuada.

 La EUA analiza de forma detallada diferentes rankings, agrupándolos en los siguientes tipos:

Rankings académicos cuyo objetivo es generar listados de universidades ordenadas, las llamadas “university league tables”.

  • Shanghai Academic Ranking of World Universities (ARWU) – Shanghai Ranking Consultancy, China
  • Times Higher Education World University Ranking.
  • World’s Best Universities Ranking – US News & World Report.
  • Global Universities Ranking – Reitor (Рейтор), Russia.

Rankings centrados exclusivamente en productividad investigadora (generando listados ordenados de universidades o no)

  • EU University-Based Research Assessment – AUBR Working Group, European Commission
  • Leiden Ranking – Leiden University, The Netherlands
  • Performance Rankings of Scientific Papers for World Universities – Higher Education Accreditation and Evaluation Council, Taiwan

Multirankings – rankings universitarios y clasificaciones utilizando un número de indicadores  sin la intención de generar listados ordenados de universidades o university league tables.

  • CHE Excellence Ranking – Centre for Higher Education Development/die Zeit, Germany
  • U-Map classification – CHEPS
  • European Multidimensional University Ranking System (U-Multirank) – proyecto financiado por la Unión Europea.

Web rankings

  • Webometrics Ranking of World Universities – Cybermetrics lab, Centro de Ciencias Humanas y Sociales, Spain.

 Benchmarking basado en resultados del aprendizaje (learning outcomes)

  • Assessment of Higher Education Learning Outcomes (AHELO) – Organization for Economic Cooperation and Development (OECD)

Los aspectos más importantes analizados en cada ranking han sido los que se recogen a continuación:

  • Indicadores utilizados y obtención de los resultados agregados.
  • Qué se mide realmente y cómo se consigue la información.
  • Cambios en la metodología a lo largo del tiempo así como su impacto.
  • Puntos fuertes, puntos  débiles y particularidades de cada ranking
  • Otros resultados ofrecidos por cada ranking: análisis generados de forma adicional (por material, comparaciones entre países, información para estudiantes, etc.)
  • Elementos específicos de cada ranking.

Algunos rankings como U-Map, U-Multirank and AHELO, estaban todavía en fase de desarrollo en el momento de la elaboración del informe, por lo que se tendrán que analizar con más detalle en el informe que la EUA elabore en 2012.

 Principales conclusiones del documento

Se tiende a pensar que los rankings universitarios globales son una herramienta que permite la transparencia de las universidades. Sin embargo sería difícil afirmar lo contrario: sin rankings las universidades no serían transparentes.

Previsiblemente, la tendencia de los rankings será a crecer en número, a la vez que se especialicen; en la situación actual existe una tipología heterogénea de rankings: rankings cuyo principal objetivo es clasificar las principales universidades (university league tables); rankings centrados en la productividad investigadora; rankings y clasificaciones utilizando una serie de indicadores sin intención de generar puntuaciones o listados ordenados de universidades; rankings orientados a comparar universidades teniendo en cuenta los resultados en el aprendizaje de los alumnos; rankings de universidades teniendo en cuenta la presencia en la web.

Los listados clasificados de universidades (“university league tables”) más populares: ARWU, THE-QS y THE-Thomson Reuters, US News and World Report Ranking (USNWR), HEEACT, Reitor, entre otros) hacen referencia a las principales universidades del mundo. Los listados incluyen aproximadamente entre el 1% y 3% de las universidades (200-500 de entre las 17,000 universidades que existen en el mundo) y, además, estos rankings utilizan metodologías que no generan resultados estables para más de 700-1200 universidades y solamente para unas 300 en rankings por área. Este enfoque elitista dejará fuera a unas 16.000 universidades que nunca aparecerán en los rankings.

Como consecuencia del apartado anterior, las universidades y los ministerios competentes de los diferentes gobiernos pueden pensar que las políticas universitarias deben orientarse a que éstas aparezcan en los rankings. De hecho, algunas universidades y gobiernos tienen como objetivo estar en estas “university league tables” y el descenso en el ranking de algunas supone casi una vergüenza nacional.

Cuando se analizan los resultados, no siempre se tiene en cuenta si los indicadores y resultados son absolutos (número de publicaciones, estudiantes, personal, etc.) o relativos (publicación por cada profesor a tiempo completo, financiación por estudiante, etc.) o cómo se han procesado. Por ello es importante analizar con detalle la metodología utilizada en la elaboración de los rankings antes de extraer conclusiones. Más aún, todos los rankings contienen un componente subjetivo o “sujeto a manipulación” (priorización de indicadores, encuestas de reputación, salarios, tiempo en finalizar los grados, tasa de graduados, ratio profesor/alumno) o cuestionable (medir la calidad de la docencia utilizando el número de alumnos que han obtenido el premio Nobel). Más aún la utilización de indicadores absolutos (ARWU) prioriza a las universidades más grandes; la utilización de valores relativos (THE) prioriza a las universidades más eficientes  y no necesariamente más grandes, que puntuarán ligeramente más alto; otros rankings como Leiden aportan indicadores dependientes e independientes del tamaño de la universidad. En cuanto a los indicadores bibliométricos utilizados para medir la productividad investigadora, favorecen a las ciencias naturales o la medicina, mientras que se ven penalizadas las ciencias sociales y las humanidades. Mediante la normalización se trata de compensar estos sesgos, aunque la propia normalización puede introducir sesgos  (priorización de publicaciones más antiguas por ejemplo).

En los rankings se pueden introducir sesgos debido a la revisión por pares o “peer review” en algunos indicadores. En realidad está haciendo relación a encuestas de reputación, en las cuales los niveles de respuesta son bajos y la selección de encuestados puede estar sesgada y su opinión influida por la reputación previa de la universidad.  Además existe un sesgo en función del idioma y de la ubicación de la universidad. Así los rankings favorecen en general a los países de habla inglesa, dado que los trabajos en otros idiomas se publican y se citan menos.

Internacional Ranking Expert Group

Sería lógico que nos preguntásemos quién evalúa al evaluador, es decir, ¿quién valida que los rankings hacen lo que dicen y se elaboran con el rigor y la calidad necesarios?. En este contexto,  se crea el International Ranking Expert Group (IREG) en 2004 por  el UNESCO European Centre for Higher Education (UNESCO-CEPES) radicado en Bucarest y por el Institute for Higher Education Policy ubicado en Washington, DC.  El IREG parte del principio de que los rankings universitarios son un fenómeno arraigado en el mundo universitario como fuente de información y transparencia y como un método de evaluación de la calidad, además de influir en la elaboración de las políticas universitarias. Por ello es importante que los rankings se elaboren bajo un criterio deontológico utilizando metodologías contrastadas y que no estén sujetos a errores de análisis o interpretación.

En esta línea el International Ranking Expert Group (IREG) publicó en Mayo de 2006, una serie de principios sobre la calidad y las buenas prácticas sobre los rankings orientados a las Universidades: “the Berlin Principles on Ranking of Higher Education Institutions” o, de forma más breve, “Berlin Principles”, es decir, los Principios de Berlín para los Rankings de la Educación Universitaria.

IREG Observatory

En Octubre de 2009, se creó el IREG Observatory on Academic Ranking and Excellence o “IREG Observatory”, cuya misión es la evaluación de la calidad de los rankings universitarios, dentro de la iniciativa IREG Ranking Audit, que tiene como objetivos:

  • mejorar la transparencia sobre los rankings;
  • aportar a los usuarios de los rankings herramientas que les permita identificar los rankings fiables;
  • mejorar la calidad de los rankings.

El IREG ha elaborado un manual en el que desarrolla un marco común de entendimiento del proceso de auditoría de los rankings. En este manual se describen los criterios utilizados en la realización de la auditoría y su forma de evaluación, así como los pasos que se seguirán para la realización de la auditoría y la documentación y evidencias que la organización que elabora el ranking tiene que presentar; todo ello dentro de los Principios de Berlín: propósito de los rankings, grupos objetivo y aproximación básica;  metodología (indicadores, obtención de datos, tratamiento de los indicadores);  publicación y presentación de los resultados; transparencia y capacidad de respuesta de la organización que elabora el ranking; garantía de calidad durante todo el proceso de elaboración del ranking.

 Se ha abierto una primera ronda en este proceso de auditoría para que las organizaciones que elaboran los rankings muestren su interés en ser auditadas que finalizaba el 31 de enero de 2012.

 CONCLUSIONES

Los rankings nos pueden gustar más o menos pero, al igual que la EUA, creemos que seguirán publicándose y se utilizarán como referencia en el mundo universitario. Evidentemente las universidades que estén más arriba los defenderán y utilizarán como venta de las bondades de su universidad y las que estén más abajo o no aparezcan buscarán motivos que justifiquen su ausencia o medios para aparecer en puestos más altos.  Por ello es importante conocer los rankings en detalle y qué criterios utilizan para evaluar a las universidades.

Además es importante ampliar la utilidad de los rankings: evaluación de las universidades y de los sistemas universitarios (puntos fuertes, puntos débiles, aspectos de mejora);  orientación para los estudiantes a la hora de elegir una universidad; ampliación a las universidades que quedan fuera del ámbito de análisis del ranking y que pueden estar haciendo un trabajo eficiente, impartiendo una buena docencia o realizando una investigación especializada, pero no se preocupan por los rankings o, sencillamente, quedan fuera de sus posibilidades o ámbito.

Por otra parte es conveniente relativizar los rankings, teniendo en cuenta su componente subjetivo. Por ejemplo, se están publicando clasificaciones de países, pudiéndose utilizar diferentes criterios: desde el número total de universidades (Estados Unidos, Reino Unido, Alemania o Francia), hasta la normalización teniendo en cuenta los habitantes del país (Suiza, Suecia, Finlandia y Dinamarca).

Creemos que la auditoría de los rankings puede contribuir a su propia mejora y a un mayor conocimiento de la metodología utilizada, así como a la clarificación de aquellos aspectos subjetivos sobre los que sea posible intervenir.

MÁS INFORMACIÓN

European University Association

Documento Global Rankings and their impact

Observatory on Academic Ranking and Excellence

IREG Ranking audit

Manual de auditoria del IREG group

Documento Berlin Principles on Ranking of Higher Education Institutions

Gestión Pública Responsible ¿también en las Universidades?

Ranking Shanghai y THE.

Ranking de la Universidad de Leiden

Fusiones de Universidades ¿mejor futuro para las universidades españolas?

¿Próxima revolución en la universidad española?

Esta entrada fue publicada en Docencia, Educación, Fusiones, Gestión universitaria, Investigación, Leiden, Rankings, Shanghai, Times Higher Education y clasificada en , , , , , , . Guarda el enlace permanente. Publica un comentario o deja un trackback: URL del Trackback.

2 Comentarios

  1. Publicado: febrero 21, 2012 a las 4:20 pm | Permalink

    Estimados lectores del blog, os animo a que os conectéis en LinkEdin, grupo Universia. Se está produciendo un interesante debate sobre los Rankings.

  2. Publicado: febrero 26, 2012 a las 7:53 pm | Permalink

    Copio en este comentario las entradas que se han producido en el grupo Universia de la red social LinkEdin:

    [Nombre omitido] Me parece que los rankings universitarios han permitido a las unidades directivas de las universidades trazarse planes estratégicos de mejoramiento y medir su eficiencia. Algunas veces más como administradores de la educación superior, que como agentes de cambio social a través de los programas que imparten. Aunque muchas de las condiciones que promueven estos rankings son pertinentes para mejorar la calidad de las universidades, me parece que los criterios entre las diferentes medidas que existes son variados y a veces el lugar en el que queda determinada universidad no necesariamente refleja la calidad de los programas y el impacto social que tienen.

    También es cierto que el puesto que ocupa una Universidad antes que un impacto inmediato en la formación de sus estudiantes, tiene un impacto en el reconocimiento de determinada universidad para que los nuevos estudiantes se interesen por ingresar a ella. Algo parecido sucede con los rankings de revistas científicas que no necesariamente reflejan la calidad de sus contenidos en términos científicos y académicos.

    Tomás Gómez • Pienso que las universidades deben avanzar en mejorar su docencia, su investigación y su gestión a pesar de los rankings. El estar mirando todo el día por el retrovisor o el tomar tomar como referencia a Hardvard no conduce a nada a las miles de Universidades que deben tener otras referencias. Es verdad que una buena posición en un ranking puede contribuir a tener más alumnos, pero creo que no necesariamente una docencia de mejor calidad.

    [Nombre Omitido] Pues entre otras cosas para provocar envidias

    Tomás Gómez • Puede ser. Evidentemente cuando ves los recursos que tienen algunas Universidades produce envidia. Pero ¿tenemos que jugar todos en la misma liga y con los mismos objetivos? ¿tenemos que ser todos Hardvard? Si fusionásemos por ejemplo todas las universidades catalanas o las madrileñas en una gran universidad, seguro que mejoraríamos la posición en los rankings internacionales, pero ¿mejoraría la universidad española y sería mejor la docencia y la investigación en esas macro-universidades?

    [Nombre Omitido] Estoy de acuerdo contigo Tomás. Lo que los dichosos rankings y certificaciones manejan es una evaluación (cuyas metodologías a veces dejan mucho que desear) que quiere ser “pareja” para todos, todavía manejando el asunto de que la equitatividad es tratar a “todos por igual.” Cuando lo que justamente nos ha enseñando la globalización, es que nadie es igual. Viva la diferencia. Hay muchas variables en todas las universidades que marcan las diferencia, desde su ideario y filosofía, hasta el contexto en donde insertan, no se digan los estudiantes. Hay evaluaciones cualitativas muy valiosas que los “rankings” no consideran. Un saludo.

    [Nombre omitido]• Las universidades deben mejorar en innovación, docencia e investigación, todo esto a pesar de los rankings. Sin embargo los rankings reflejan la calidad de las universidades en algunos aspectos, no en todos…

    [Nombre omitido]. Cuando se evalua, se trata de usar el misma, norma o patron para todas, aun cuando las realidades de las universidades, ubicadas en su contexto regional, no son ni por asomo las mismas, Harvard ubicada en su contexto, madrid o barcelona en el suyo y que de las universidades chinas o japonesas???, Quizas sea hora de crear nuevos indicadores de calidad que sirvan para ubicarse mejor en el contexto mundial,

    [Nombre omitido]. De acuerdo con el comentario anterior; si es importante marcar indicadores de calidad, que promueve entre la planta universitaria mejorar los proceso de enseñanza-aprendizaje asi como establecer lineas de trabajo de mayor nivle de competencias; con respecto a las certificaciones, estas si marccan la diferencia entre las universidades y sus programas educativos, de ahi que hay una invitación a los sistemas acertiifcar sus progrmas educatuvos y sus proceos de trabajo, lo cual llevara a estandares de trabajo con calidad.

    [Nombre omitido]. Para empezar, existen universidades investigadoras, universidades emprendedoras, universidades cuyas carreras son mas que todo profesionalizantes, algunas mas son politecnicas otras tantas mas muy volcadas a las humanisticas otras inclusive universidades virtuales o como la oberta de C. en fin, es dificil y muy poco objetivo evaluar a todas con la misma medida o patron…..

    [Nombre omitido]• En mi opinión, un ranking universitario, tanto a nivel nacional como internacional, es una herramienta fundamental para quienes quieren elegir una universidad que garantice un perfil de salida acorde a las exigencias del mercado laboral, permite que cuando una persona decide “ahorrar” en su formación, debe asumir el riesgo del mismo. Exigir Excelencia, involucra el compromiso de aceptar pagar por la misma

    [Nombre omitido] • con todo respeto a tu opinión, las universidades no deberían formar para que los estudiantes egresen y cumplan las “exigencias” del mercado. En las universidades se deben formar profesionistas capaces,actualizados, críticos, propositivos. Ciudadanos conscientes que promuevan el bienestar de la comunidad, ejerciendo su profesión de manera ética y responsable, idealmente, aun en contra de las exigencias del mercado. Estas exigencias han dado sobradas muestras que no necesariamente son las que benefician a las personas y a la comunidad ¿de qué sirven los rankins tal y como están ahora?

    [Nombre omitido] • Cuando hablamos del mercado, incluimos a la sociedad en general, y los profesionales egresados de las universidades por supuesto que debe ser capaces, actualizados, críticos, propositivos y Ciudadanos conscientes que promuevan el bienestar de la comunidad, ejerciendo su profesión de manera ética y responsable. El mercado, o para que no entremos en confusiones, determina los profesionales que requieren. Los rankings actuales tal vez no sean adecuados, sin embargo es un avance hacía la medición, si es medible puede evaluarse y utilizarse para tomar decisiones la respecto.

    [Nombre omitido]• Lo que pasa es que las universidades se han dedicado a antener al cliente satisfecho aunque éste no aprenda, se copie, plagie los examenes, etc. ¿Dónde quedó la mano dura de las universidades? Es terrible ver que en una universidad se permita el ingreso de licores!! o de Marihuana. Déjen las ” actividades extracurricuares” en la casa y vayan a hacer algo positivo por sus vidas!

    [Nombre omitido] • Estoy de acuerdo con el comentario anterior, la mayoria de las personas no se toma en serio el hecho de que debe ser honesta consigo misma y comprometida, a la mayoria de la gente lamentablemente le gusta lo fácil, no le gusta esforzarse, no leen peor investigan da mucha pena, estoy completamente de acuerdo que a las universidades publicas deben solo entrar los mejores los más aprovechados y los más humanos, deberían también reforzar las virtudes como el trabajo, el ahorro, la honestidad y la humanidad y solidaridad con los demás y con la naturaleza.

    Tomás Gómez • Gracias a todos por las reflexiones. En la segunda parte de este artículo sobre rankings que podéis encontratr en http://finanzasuniversitarias.edunomia.es/2012/02/26/el-valor-de-los-rankings-universitarios-segunda-parte/ analizo alguno de los rankings más populares. He abierto un nuevo debate..

3 Trackbacks

  1. Por El valor de los rankings universitarios el abril 22, 2012 a las 9:50 am

    […] valor a las universidades y, por tanto, a la sociedad. En la primera parte de este artículo “el valor de los rankings universitarios”  comenté cuál puede ser el valor de los rankings y su importancia, así como la iniciativa […]

  2. […] El valor de los rankings universitarios (primera parte) […]

  3. […] este respecto no puedo más que recomendar la lectura de la excelente serie de artículos El valor de los rankings universitarios (primera parte) y (segunda parte). Como yo nunca podría decir las cosas mejor que en esa serie, os remito a que la […]

Deja un comentario