Modificado: febrero 26, 2012
26feb2012

El valor de los rankings universitarios (segunda parte)

Parece elemental, pero los rankings son importantes si sirven para algo, si aportan valor a las universidades y, por tanto, a la sociedad. En la primera parte de este artículo “el valor de los rankings universitarios”  comenté cuál puede ser el valor de los rankings y su importancia, así como la iniciativa IREG Observatory on Academic Ranking and Excellence o “IREG Observatory”, cuya misión es la evaluación de la calidad de los rankings universitarios, dentro de la iniciativa IREG Ranking Audit para auditar que estos rankings siguen una metodología rigurosa. También indicaba que algunos indicadores se pueden manipular y que otros favorecen a las universidades más grandes. Esto último ha llevado a los gobiernos y ministerios competentes a pensar en fusiones, tal y como se apuntaba en otros artículos publicados en este blog. Está claro que los rankings nos pueden gustar más o menos pero se seguirán publicando y se utilizarán como referencia en el mundo universitario. En esta segunda parte vamos a conocer un poco más los principales rankings universitarios y qué indicadores utilizan, así com qué valor pueden aportar a las universidades.

En un comentario sobre este primer artículo recogido en el grupo de trabajo Universia en la red social Linkedin referente al primer artículo de esta serie, se decía que los rankings “producen envidia”. Es cierto que muchas universidades se miran en Hardvard, el MIT, Oxford, Cambridge o Stanford, pero está claro que solamente hay una universidad que se llame así. Una segunda reflexión, aunque pueda parecer una herejía para algunos, es si estas universidades deben ser el modelo de referencia para el resto. Quizás sea más razonable que cada país (o área, léase por ejemplo Europa Occidental) tenga un modelo de universidad que se ajuste a sus objetivos y a su ámbito de influencia. Así, desde mi punto de vista, la Universidad debería realizar una reflexión profunda sobre sus problemas estructurales, sobre su misión, valores y objetivos, así como su organización y su papel en la sociedad tanto en la docencia como en la investigación y la transferencia del conocimiento. Y no debería olvidarse, de su financiación, de sus gastos y sus ingresos y de sus inversiones.

Entremos en el análisis de los principales rankings universitarios. Tal y como vimos en la primera parte y de acuerdo con la EUA, podemos clasificar los rankings en los siguientes tipos:

Rankings académicos cuyo objetivo es generar listados de universidades ordenadas, las llamadas “university league tables”.

  • Shanghai Academic Ranking of World Universities (ARWU) – Shanghai Ranking Consultancy, China
  • Times Higher Education World University Ranking.
  • World’s Best Universities Ranking – US News & World Report.
  • Global Universities Ranking – Reitor (Рейтор), Russia.

Rankings centrados exclusivamente en productividad investigadora (generando listados ordenados de universidades o no)

  • EU University-Based Research Assessment – AUBR Working Group, European Commission
  • Leiden Ranking – Leiden University, The Netherlands
  • Performance Rankings of Scientific Papers for World Universities – Higher Education Accreditation and Evaluation Council, Taiwan

Multirankings – rankings universitarios y clasificaciones utilizando un número de indicadores  sin la intención de generar listados ordenados de universidades o university league tables.

  • CHE Excellence Ranking – Centre for Higher Education Development/die Zeit, Germany
  • U-Map classification – CHEPS
  • European Multidimensional University Ranking System (U-Multirank) – proyecto financiado por la Unión Europea.

Web rankings

  • Webometrics Ranking of World Universities – Cybermetrics lab, Centro de Ciencias Humanas y Sociales, Spain.

Benchmarking basado en resultados del aprendizaje (learning outcomes)

  • Assessment of Higher Education Learning Outcomes (AHELO) – Organization for Economic Cooperation and Development (OECD)

Voy a analizar los principales rankings y los más  “populares”, de los recogidos en esta clasificación. Para más información se puede revisar el documento de la EUA de 2011 (actualmente está en fase de elaboración la versión 2012) o las páginas web de los diferentes rankings que publico en el apartado “Más información y referencias”.

Shanghai Academic Ranking of World Universities (ARWU) – Shanghai Ranking Consultancy, China

Este ranking se publicó por primera vez en 2003 y tuvo como origen el interés del gobierno chino en colocar un número determinado de universidades entre las primeras del mundo, para lo cual seleccionó a la Shanghai Jiao Tong University (SJTU) para formar parte de un grupo de 9 universidades punteras. Entre 1999 y 2001, un grupo de la Universidad de Shanghai elaboró un proyecto para comparar las principales universidades chinas con universidades de Estados Unidos con el objetivo de reducir la diferencia entre estas universidades. Como consecuencia de este proyecto surgió el ARWU.

Este ranking no tiene en cuenta a todas las universidades del mundo, de hecho valora 1.000 de las 17.000 universidades existentes y solamente 500 se recogen en su ranking de universidades. Tiene en cuenta exclusivamente a las universidades más importantes en investigación: universidades con premios nobel, con investigadores importantes y altamente citados, o artículos publicados en Nature o Science, además de universidades con un número significativo de artículos incluidos en el Science Citation Index-Expanded (SCIE) y Social Science Citation Index (SSCI)

El ranking se publica anualmente desde 2003. En agosto de 2011 se publicó la última edición.

Los criterios e indicadores utilizados por el ranking de Shanghai y su “peso” son los siguientes:

Criterio Indicador Código Peso
Calidad de la Docencia Antiguos alumnos con premios Nobel y Fields Medals (Medallas internacionales en Matemáticas) Alumni

10%

Calidad del profesorado Profesorado que haya obtenido premios Nobel y Fields Medals (Medallas internacionales en Matemáticas) Award

20%

Investigadores con altos índices de citación en 21 materias HiCi

20%

Producción investigadora Artículos publicados en Nature y Science N&S

20%

Artículos indexados en Science Citation Index-expanded y Social Science Citation Index PUB

20%

Rendimiento Per Capita Producción per capita de la institución PCP

10%

Total

100%

 

 

 

Este ranking, por lo tanto, tiene en cuenta principalmente parámetros relacionados con la investigación. Como podemos comprobar, la calidad en la docencia se mide de forma indirecta y, desde mi punto de vista, discutible. Se tiene en cuenta los alumnos que han recibido un premio Nobel y Field Medals (Medallas internacionales en Matemáticas?, utilizando un factor de corrección, de modo que los más antiguos puntúan menos que los más recientes.

La calidad del profesorado se valora teniendo en cuenta dos indicadores: premios Nobel y Medallas internacionales en matemáticas recibidos y, como segundo indicador, el número de investigadores de la institución, dentro de los más citados en una serie de 21 materias (1. Agricultural Sciences, Biology & Biochemistry, Chemistry, Clinical Medicine, Computer Science, Ecology/Environment, Economics & Business, Engineering, Geosciences, Immunology, Materials Science, Mathematics, Microbiology, Molecular Biology & Genetics, Neuroscience, Pharmacology, Physics, Plant & Animal Science, Psychology/Psychiatry, Social Sciences, General, Space Sciences).

La productividad investigadora se mide, por una parte, utilizando el indicador Nature y Science  que recoge el número de artículos publicados en estas revistas en los últimos cinco años. Por otra parte, se tiene en cuenta el número de artículos publicados en el Science Citation Index-Expanded y el Social Science Citation Index durante el año anterior. Un artículo indexado en el Social Science Citation Index puntúa como dos.

El criterio relativo al rendimiento per cápita se obtiene a partir de los cinco indicadores anteriores combinados y dividiéndolos entre el número de profesores a tiempo completo (full-time equivalent academic staff).

Hay que decir que de todos los indicadores, el único que tiene en cuenta el tamaño de la institución es el de rendimiento per cápita. Todos los demás miden productividad absoluta, de modo que se puede afirmar que, en general, las universidades grandes tendrán valores más altos. Por otra parte, aquellas universidades que destaquen en ciencia y medicina, tendrán valores más altos para los indicadores relativos a la calidad del profesorado y a la productividad científica.

Más información sobre el ranking: Shanghai academic ranking of World Universities

Times Higher Education World University Ranking.

Este ranking se publicó por primera vez en 2004 por la Fundación Times Higher Education en colaboración con Quacquarelli-Symonds (QS). A partir del ranking de 2010 se publicó en colaboración con Thomson Reuters, utilizando una nueva metodología. En este artículo comentaremos la nueva metodología. El último ranking se publicó el 6 de octubre de 2011 con las principales universidades para el 2011-2012.

Además de publicar los resultados generales para las universidades analizadas, elabora un listado con las principales universidades por continente: Europa, Asia, América (América del Norte y América del Sur),   Oceanía y África, además de las principales universidades por materia: Ingeniería y Tecnología, Arte y Humanidades, Salud, Ciencias de la Vida, Física y Ciencias sociales.

El Times Higher Education (THE) utiliza trece indicadores de rendimiento que incluyen todas las actividades de las universidades: docencia, investigación y transferencia del conocimiento. Estos trece indicadores se agrupan en cinco categorías, de acuerdo con el último ranking elaborado:

  • Docencia: el entorno de aprendizaje (30% de la puntuación total).
  • Investigación: cantidad, ingresos, reputación (30% de la puntuación total).
  • Referencias: impacto de la investigación (30% de la puntuación total).
  • Ingresos empresariales: innovación (2,5 por ciento del total).
  • Aspectos internacionales:  personal, estudiantes e investigación (7,5 por ciento del total).

El siguiente gráfico esquemático aclara qué se mide en cada categoría (Fuente: Times Higher Education)..

Categoría docencia: entorno de aprendizaje (30%). Incluye cinco indicadores de rendimiento.

  • Encuesta de reputación (15%): elaborada por Thomson Reuters y mide el prestigio de las instituciones en el ámbito de la docencia y la investigación.
  • Ratio profesor alumno (4,5%).
  • Ratio de doctores frente a graduados (2,25%).
  • Número de doctorados otorgados frente al tamaño del profesorado (6%).
  • Ingresos de la institución frente al número de profesores (2,25%).

Categoría investigación: cantidad, ingresos y reputación (30%). Incluye tres indicadores.

  • Reputación investigadora (18%) procedente de la encuesta de carácter anual Academic Reputation Survey.
  • Ingresos de investigación (6%) frente al número de profesores y normalizado teniendo en cuenta la capacidad de compra de cada país y el diferente valor de las ayudas y becas en función de la materias. Así las ayudas para investigación en ciencias suelen ser mayores que las de humanidades.
  • Productividad investigadora frente a número de profesores (6%), teniendo en cuenta el tamaño de la universidad.

Categoría Menciones/Citas: influencia investigadora (30%)

  • Número de veces que se citan en el mundo las publicaciones de una institución (30%)  en los últimos cinco años. Se eliminan de los rankings aquellas instituciones que publican menos de 200 trabajos al año.

Categoría perspectiva internacional: comunidad universitaria, investigación (7.5%)

  • Diversidad de estudiantes en el campus (2,5%), que mide la capacidad de una Universidad para competir por los estudiantes en un entorno global. Se mide mediante la ratio de estudiantes internacionales frente a nacionales
  • Diversidad de profesorado (2,5%): ratio de profesores internacionales frente a nacionales.
  • Proporción de todas las publicaciones de la Universidad con al menos un coautor internacional (2,5%) en los últimos cinco años.

Categoría ingresos procedentes de las empresas: inovación (2.5%). Tiene como objetivo medir la transferencia del conocimiento (tercera misión) mediante la innovación, la consultoría o la colaboración con empresas.

  • Utiliza como único indicador qué parte de los ingresos para investigación proceden de las empresas y se normaliza teniendo en cuenta el número de profesores.

De acuerdo con el análisis realizado, podemos comprobar que de forma general los indicadores utilizados por THE tienen en cuenta el tamaño de la universidad; además utiliza indicadores relacionados con la reputación de la institución, básicamente se encuesta a académicos de todo el mundo sobre la reputación de las universidades sobre la excelencia percibida, tanto en docencia como en investigación.

Más información: Times Higher Education’s list of the world’s top universities for 2011-2012

World’s Best Universities Ranking − US News & World Report in cooperation with Quacquarelli Symonds (QS)

En 2010 US News y World Report (USNRW) y QS comenzaron a colaborar en la publicación de un ranking de forma conjunta. QS era el antiguo colaborador de la Fundación Times Higher Education para elaborar el ranking que hemos analizado en el apartado anterior, por lo que tienen muchos aspectos en común.

El QS World University Rankings tiene en cuenta unas 2,000 universidades y evalúa 700 universidades en todo el mundo, incluyendo en su ranking las primeras 400. Según los autores del ranking su intención es ampliar el número de instituciones analizadas. Como hemos comentado, la metodología es, de forma general, similar a la de THE, aunque con distintos pesos para los diferentes indicadores y algunas variaciones.

Los criterios utilizados y su peso son los siguientes:

  • Reputación académica a partir de una encuesta global (40%)
  • Reputación del empleador a partir de una encuesta lgobal (10%)
  • Referencias a artículos de investigación por profesor, obtenido de science scopus (20%. Se tienen en cuenta las publicaciones de los últimos cinco años.
  • Ratio Profesor Alumno (20%)
  • Proporción de estudiantes internacionales (5%)
  • Proporción de profesorado internacional (5%)

Utiliza, por tanto, una serie de indicadores de reputación basados en encuestas, así como otros indicadores normalizados según el tamaño de la universidad (número de profesores y de alumnos) relativos a investigación, docencia e internacionalización: referencias a artículos por profesor, ratio profesor alumno y proporción de estudiantes y profesorado internacional.

Además,  ofrece los rankings específicos para universidades agrupadas en cinco áreas:  Artes y Humanidades, Tecnología, Medicina , Ciencias naturales y sociales y Gestión.

Una novedad del QS World University Rankings 2011/2012 es que también incluye los precios de matrícula de las distintas universidades.

Más información:

http://www.iu.qs.com/university-rankings/world-university-rankings/

http://www.topuniversities.com/university-rankings

http://www.usnews.com/education/worlds-best-universities-rankings

http://www.iu.qs.com/university-rankings/rankings-indicators/methodology-academic-reputation/

Global Universities Ranking – Reitor (Рейтор), Russia.

Este ranking se publicó en 2009 por primera vez y no me consta que se haya publicado nuevamente en el momento de elaborar este artículo. Su punto de partida era que consideraba que las universidades de la federación rusa no se encontraban representadas adecuadamente. Su interés radica en que, de acuerdo con la EUA, sus resultados son diferentes de los de otros rankings más populares. Además me ha parecido interesante que utilice algunos indicadores que no aparecen en los rankings más habituales (aspectos financieros) y, además combina aspectos presentes de forma separada en diferentes rankings (docencia, investigación, presencia en internet, competencia del profesorado, internacionalización).

Recogeré de forma reducida sus principales características. Analiza las universidades participantes en los cuatro rankings globales principales: Shanghai Jiao Tong University (ARWU-500), THE, Webometrics y National Taiwan University; además tiene en cuenta las principales universidades de la federación Rusa e instituciones pertenecientes a los países de la antigua Unión Soviética.

Utiliza los siguientes indicadores:

I Actividad docente (20%): 1. Número de estudiantes (grado, máster y doctorado); 2. Ratio estudiante profesor.

II Actividad investigadora (20%): 3. Número de patentes y descubrimientos asimilados desde 2001; 4. Rendimiento del centro de computación de la universidad; 5. Índice H de la Universidad

III Financiación (15%): 6.Presupuesto total por estudiante a tiempo completo.

IV Competencia del profesorado (20%): 7. Número de profesores con premios a nivel mundial (Nobel, Matemáticas, Descartes, Abel y otros premios del ámbito ruso; 8. Número de publicaciones del profesorado; 9. Citas y referencias a las publicaciones del profesorado.

V Actividad internacional (10%): 10. Comunidades académicas de ámbito internacional con las que la universidad se ha relacionado; 11. Proporción de estudiantes internacionales en el año anterior.

VI Presencia en internet (15): 12. Cantidad de productos en web; 13. Popularidad de la universidad; 14. Posición en Google de la página principal del sitio web de la universidad.

Algunos indicadores son autoexplicativos, aunque merece la pena aclarar, al menos, los dos siguientes:

  • El índice H se obtiene para todos los autores de la Universidad a partir de Scopus
  • La popularidad de la Universidad se mide de acuerdo con el número de búsquedas realizadas en el sitio web de la Universidad en 2008.

Leiden Ranking – Leiden University, The Netherlands

El Ranking de la Universidad de Leiden 2011/2012 mide la productividad científica de las 500 mayores universidades de todo el mundo, utilizando un conjunto de indicadores bibliométricos. Los indicadores biblliométricos permiten manejar, clasificar y analizar grandes volúmenes de publicaciones científicas y averiguar el impacto  causado por un trabajo científico cualquiera a partir de la literatura científica y tecnológica publicada.  El ranking se basa en la experiencia bibliométrica del Centre for Science and Technology Studies (CWTS) de la Universidad de Leiden. Sus promotores afirman que en comparación con otros rankings universitarios, este ranking ofrece mejores indicadores acerca del impacto y la colaboración científicas y utiliza una metodología mucho más transparente. Además, no confía solamente en datos subjetivos obtenidos a partir de encuestas o aportados por las propias universidades, como sucede en otros rankings.

El Ranking 2011/2012 toma como referencia las publicaciones recogidas en la base de datos de Thomson Reuters’ Web of Science  en el período 2005-2009. Solamente se consideran publicaciones en ciencia y ciencias sociales, excluyéndose las publicaciones en humanidades debido a que los indicadores bibliométricos utilizados no tienen la precisión suficiente en dicho ámbito. El estudio se ha centrado en aquellas universidades que, al menos, tienen 50 publicaciones en cada uno de los 5 años analizados. Solamente se tienen en cuenta las publicaciones de uno de los siguientes tipos: artículo (article), carta (letter), y revisión (review). Además se incluyen publicaciones de universidades, no de otros centros de investigación.

El Ranking utiliza indicadores de productividad científica, indicadores de impacto científico e indicadores de colaboración.

La productividad científica se mida utilizando el indicador Number of publications (P). Se calcula contando el número total de publicaciones de una universidad.

Los indicadores de impacto científico son los siguientes:

  • Mean citation score (MCS): número medio de citaciones de las publicaciones de una Universidad;
  • Mean normalized citation score (MNCS): número medio de citaciones de las publicaciones de una universidad normalizadas por campo, año de publicación y tipo de documento;
  • Proportion top 10% publications (PPtop 10%): proporción de publicaciones de una universidad que en comparación con otras publicaciones similares se encuentran en el top 10% de las citadas con más frecuencia.

Además utiliza los siguientes indicadores de colaboración:

  • Proportion collaborative publications (PPcollab): proporción de trabajos que una universidad ha publicado en colaboración con una o más organizaciones;
  • Proportion international collaborative publications (PPint collab): proporción de trabajos que una universidad ha publicado en colaboración con dos o más países;
  • Mean geographical collaboration distance (MGCD): distancia geográfica media de las organizaciones que han colaborado en una publicación  según las direcciones recogidas en el listado de direcciones de la publicación;
  • Proportion long distance collaborative publications (PP>1000 km): proporción de las publicaciones de una universidad en las que la distancia de colaboración es superior a 1000 km.

Según los autores, se han incluido una serie de mejoras en la versión 2011/2012: inclusión de un indicador de impacto basado en la proporción de publicaciones dentro del top 10%; indicadores de colaboración basados en distancias geográficas; utilización de valores no enteros para publicaciones en colaboración (reparto de la puntuación); posibilidad de excluir publicaciones que no estén en inglés e intervalos de estabilidad.

En el ranking se incluyen, por tanto, solamente las 500 universidades con mayor producción científica.

Más información: Ranking de la Universidad de Leiden 2011/2012

Performance Rankings of Scientific Papers for World Universities – Higher Education Accreditation and Evaluation Council, Taiwan

El ranking HEEACT evalúa y clasifica el rendimiento teniendo en cuenta la publicación de artículos científicos por parte de las 500 principales universidades, utilizando para ello información de SCI and SSCI. Este ranking, al igual que el de Leiden, se centra en rendimiento científico

Para elaborar su listado de 500 instituciones, selecciona inicialmente las 4 000 instituciones investigadoras a partir del Essential Science Indicators (ESI), eliminando las instituciones que no eran universidades; finalmente cruza las restantes con los rankings THE, ARWU y US News and World Report, analizándose las universidades resultantes.

Utiliza 8 indicadores agrupados en tres categorías con el siguiente peso en el ranking:

 Productividad investigadora (20%): Número de artículos en los últimos 11 años (por profesor FTE, 10%); Número de artículos en el año anterior (por profesor FTE, 10%).

Impacto investigador (30%): Número de referencias en los últimos 11 años (por profesor FTE, 10%), tomadas de SCI y SSCI; Número de referencias en los últimos dos años (por profesor FTE, 10%); Número medio de referencias (por publicación) en los últimos 11 años (10%).

Excelencia investigadora (50%): Índice  H de los últimos dos años (20%); Número de artículos altamente citados en los últimos 11 años (15%); Número de artículos en revistas científicas de alto impacto en el último año (15%).

Tal y como hemos comentado, este ranking se centra en los aspectos investigadores, e incluye tanto indicadores absolutos (que premiarían, en principio a las universidades más grandes) como indicadores relativos, que tiene en cuente el número de investigadores de la universidad.

El ranking HEEACT ofrece los resultados como un listado con las 500 universidades principales agrupadas dentro de los siguientes rangos: 1-100, 101-200, 201-300, 301-400 y 401-500. También publica sus resultados por áreas: agricultura y ciencias ambientales, tecnología e informática, ciencias de la vida, ciencias naturales y ciencias sociales.

Más información: Ranking HEEACT.

Webometrics Ranking of World Universities – Cybermetrics lab, Centro de Ciencias Humanas y Sociales, Spain.

Es el último ranking que analizaré de forma detallada. Apareció por primera vez en 2004 como iniciativa del Cybermetrics Lab, grupo de investigación del Centro de Ciencias Humanas y Sociales (CCHS), que forma parte del Consejo Superior de Investigaciones Científicas de España.

El objetivo del proyecto, según sus autores es destacar la importancia de la publicación en web como forma de distribuir conocimiento académico y también como forma de medir la actividad científica, el rendimiento y el impacto.

Se analizan todas las universidades que tengan un dominio propio. Si una Universidad tiene varios dominios se analizan todos y se agregan los resultados. En el ranking se han revisado 20.000 universidades, entrando en el ranking unas 12.000. Este ranking mide el volumen, visibilidad, impacto de las páginas web de la Universidad, centrándose en la producción científica. Para ello utiliza los cuatro indicadores siguientes:

  • Tamaño. Número de páginas recuperadas por Google (10%).
  • Visibilidad. Número de enlaces externos recuperados multiplicado por el número de dominios que hacen referencia a esos enlaces de acuerdo con los datos históricos de Majestic SEO (50%). Majestic SEO es una base de datos que recoge cómo los diferentes sitios web se enlazan unos con otros.
  • Rich Files. Ficheros publicados de los siguientes tipos: Adobe Acrobat (.pdf), Adobe PostScript (.ps & .eps), Microsoft Word (.doc & .docx) y Microsoft Powerpoint (.ppt & .pptx). Los datos se obtienen utilizando Google (10%).
  • Scholar. El resultado se obtiene combinando los items publicados entre 2007 and 2011 (para el ultimo ranking) en Google Scholar y la producción global (2003-2010) obtenida de Scimago SIR (30%). Scimago SIR es un ranking que tiene en cuenta la investigación de las universidades.

Más información: http://www.webometrics.info/

CONCLUSIONES

Los rankings más populares: ARWU, THE-QS y THE-Thomson Reuters, US News and World Report Ranking (USNWR), HEEACT, Reitor, entre otros) no analizan todas las universidades, sino que hacen referencia a las principales universidades del mundo. Los listados incluyen aproximadamente entre el 1% y 3% de las universidades.

A la hora de analizar los resultados es importante tener en cuenta qué indicadores se están utilizando en cada ranking: qué miden (por ejemplo la calidad de la docencia en el ARWU se miden utilizando el número de alumnos que han obtenido un premio Nobel), cómo se obtienen (por ejemplo si es un dato objetivo o resultado de una encuesta), si son absolutos (número total de artículos) o tienen en cuenta el tamaño de la universidad (artículos por profesorado a tiempo completo), etc. o cómo se han procesado. Así los indicadores absolutos (ARWU) premian a las universidades más grandes; los relativos (HEEACT y THE) premian a las más eficientes. Por otra parte, es preciso analizar los resultados de las encuestas: tamaño de la muestra, respuestas recibidas, perfil de las personas que responden, etc. Hay que tener en cuenta que no es lo mismo una encuesta de prestigio que una visita a la institución por consultores especializados.

Una sobrevaloración de los rankings puede conducir a que las universidades se centren en mejorar en aquellos aspectos que se valoran, sin realizar un análisis adecuado de sus puntos de mejora (por ejemplo si nos centramos en ARWU, la Universidad tendría poco interés en mejorar en la calidad de la docencia.

Creemos, al igual que la EUA, que las decisiones y las políticas en la Educación Superior se deben tomar y elaborar basándose no solamente en los resultado de los rankings o, incluso me atrevería a decir, a pesar de los resultados de los rankings.

De forma particular quiero recoger algunas conclusiones específicas para cada rankings analizados. Así, con respecto a ARWU:

  • de acuerdo con la EUA, es adecuada para su propósito original: comparar las universidades Chinas con las principales universidades investigadoras americanas, sin adaptarse necesariamente a los requisitos de un ranking global.
  • discrimina a las humanidades y areas interdisciplinares
  • puesto que solamente un indicador tiene en cuenta el tamaño de la universidad, la metodología de ARWU favorece a las universidades mayores. La fusión de universidades favorecería la posición de la nueva universidad en el ranking.
  • Favorece a las universidades que son fuertes en ciencias y que están en países en los que se utiliza el inglés.
  • El único indicador de docencia es el número de alumnos que han recibido premios Nobel.

Con respecto a QS:

  • Solamente se centra en las principales universidades
  • Utiliza encuestas de prestigio, frente a la realización de visitas a los centros que es la práctica más habitual a la hora de evaluar la calidad de una institución.
  • El único indicador de docencia es la ratio profesor/alumno.

Con respecto a THE:

  • Solamente se centra en las principales universidades
  • Utiliza encuestas de prestigio, frente a la realización de visitas a los centros que es la práctica más habitual a la hora de evaluar la calidad de una institución.
  • A diferencia de QS utiliza varios indicadores para medir la calidad de la docencia.
  • Sus indicadores tienen en cuenta el tamaño de la universidad.

Con respecto a Reitor:

  • Se centra en el papel de las universidades Rusas, tomando como punto de partida las principales universidades presentes en los rankings ARWU, THE y HEEACT, además de las universidades de la antigua Unión Soviética.
  • Los resultados son distintos en lo que se refiere especialmente a las universidades rusas.
  • De momento no se han publicado más ediciones, desde 2009.

Con respecto a Leiden:

  • Mide la productividad investigadora, utilizando para ello indicadores bibliométricos.
  • Las universidades se ordenan para cada indicador.
  • Utiliza indicadores de producción científica impacto científico y de colaboración.
  • Algunos indicadores como la producción científica son absolutos, favoreciendo a las universidades más grandes.

Con respecto a HEEC:

  • Clasifica las universidades en función del rendimiento investigador, utilizando para ello indicadores bibliométricos.
  • Tiene en cuenta solamente una mínima parte de las universidades, publicando los resultados para 500.
  • Excluye las humanidades.
  • A diferencia de Leiden tiene en cuenta la productividad exclusivamente de las universidades, no de otros centros de investigación.
  • A diferencia del otro ranking que mide la investigación, Leiden, tiene en cuenta el tamaño de la universidad (calcula los indicadores por profesor a tiempo completo).

Con respecto a Webometrics:

  • Tiene en cuenta todas las universidades que estén presentes en la web, no solamente las más importantes o las más grandes.
  • Se centra en aspectos relativos a la presencia de la universidad en la web: tamaño, visibilidad, publicación de documentos y enlaces a sus páginas.

Tomás Gómez 26/02/2012

MÁS INFORMACIÓN Y REFERENCIAS

Sobre rankings:

Otros artículos en este blog:

Páginas web de los rankings:

 Auditoría de rankings:

Otra documentación:

Esta entrada fue publicada en AHELO, Docencia, Documentos, Educación, Estudiantes, EUA, Finanzas universitarias, Fusiones, Gestión universitaria, HEEC, Investigación, Leiden, Opinión, Rankings, Shanghai, Times Higher Education, U-Map, U-Multirank, Webometrics y clasificada en , , , , , , , , , , , , , , . Guarda el enlace permanente. Publica un comentario o deja un trackback: URL del Trackback.

2 Comentarios

  1. Publicado: febrero 27, 2012 a las 2:06 am | Permalink

    Un trabajo de investigación muy valioso, que para el caso de México nos es de mucha utilidad, para la construcción y consolidación del sistema de evaluación, identificar indicadores y procesos, nos resulta importante establecer contacto y convenio con universidades extranjeras para realizar evaluación por pares y apoyarnos en nuestros cursos de capacitación y formar a los evaluadores externos y responsables de retroalimentación a las autoevaluaciones de las universidades mexicanas.

  2. Publicado: febrero 27, 2012 a las 5:26 pm | Permalink

    Gracias Enrique. Me alegro de que nuestro trabajo sea útil. Es importante saber qué se valora en cada ranking para tomar decisiones con la máxima información posible. Además, pienso que aporta más valor la evaluación por pares que en las encuestas de reputación.

Un Trackback

  1. […] de la excelente serie de artículos El valor de los rankings universitarios (primera parte) y (segunda parte). Como yo nunca podría decir las cosas mejor que en esa serie, os remito a que la leáis. Yo me voy […]

Deja un comentario