Manifiesto de Leinden sobre métricas de investigación

Leiden1Los datos se utilizan cada vez más para gestionar la ciencia. La evaluación de la investigaciones realizadas por pares ahora son rutina y dependen de las métricas. El problema es que la evaluación está dirigida por los datos en lugar de por el juicio. Las métricas se han multiplicado: aunque bien intencionadas, no siempre bien informadas y a menudo mal aplicadas. Con lo que se corre el riesgo de dañar el sistema con las mismas herramientas que en principio fueron diseñadas para mejorarlo, ya que la evaluación se lleva a cabo cada vez más por las organizaciones sin conocimiento de, o asesoramiento sobre buenas prácticas y de una adecuada interpretación.

Por ello se establecen 10 principios:

1. La evaluación cuantitativa de la investigación debe estar apoyada por la evaluación cualitativa y el juicio de pares. Este es quizás el aspecto que muchos teóricos han reconocido como importante aunque pocas veces son utilizados. La mezcla de estos indicadores permitirán tener un mejor panorama y tomar mejores decisiones.

2. La medición del rendimiento puede ir en contra de la misión de investigación de una institución, grupo o investigador. La elección de los indicadores y las formas en que se utilizan, deben tener en cuenta los contextos socio-económicos y culturales más amplios. Los científicos tienen diversas misiones de investigación. La investigación que avanza las fronteras del conocimiento académico difiere de la investigación que se centra en la entrega de soluciones a los problemas sociales. La revisión podrá basarse en méritos relevantes para la política, la industria o el público en lugar de en las ideas académicas de excelencia. Ningún modelo de evaluación se aplica a todos los contextos.

3. Proteger la excelencia de la investigación relevante local. En muchas partes del mundo, la excelencia en la investigación está asociada a la publicación en idioma Inglés. A esto se aúna que el factor de impacto se calcula para revistas indexadas en la Web of Science de Estados Unidos y basado en su mayor parte en idioma anglsdajón. Estos sesgos son particularmente problemáticas en las ciencias sociales y humanidades, en la que la investigación se dedica más a nivel regional como a nivel nacional. Las métricas basadas en la literatura en otro idioma servirán para identificar y recompensar la excelencia en la investigación relevante a nivel local.

4. Mantener colecciones de datos y realizar procesos analíticos abiertos, transparentes y simples: la gestión de datos es fundamental para el proceso de la investigación científica. La sencillez es una virtud en un indicador, ya que mejora la transparencia. No obstante, las métricas simplistas pueden distorsionar el registro (véase el principio 7). Las evaluaciones deben esforzarse para mantener el equilibrio – indicadores simples fieles a la complejidad del proceso de investigación.

5. Permitir que los investigadores comprueben los datos y análisis empleados en la investigación. Para garantizar la calidad de los datos, todos los investigadores que realicen estudios bibliométricos deben ser capacaces de comprobar que sus conclusiones sean identificadas correctamente. Todos los interesados pueden dirigir y gestionar los procesos de evaluación para asegurar la precisión de datos, a través de auto-verificación o auditoría de terceros.

6. La variación en el conteo de publicaciones y prácticas de citación. Lo recomendable es seleccionar un posible conjunto de indicadores y permitir a las disciplinas elegir entre ellos. Reforzando la idea: no debe existir un modelo general de evaluación para todos los campos.

7. La evaluación base de investigadores individuales debe sostenerse en un juicio cualitativo de su carrera. La lectura y el juicio del trabajo de un investigadores es mucho más apropiado que depender números. Incluso al comparar un gran número de investigadores, un enfoque que considera más información sobre conocimientos, experiencia, actividades y la influencia de un individuo es más relevante y eficiente.

8. Evitar la falta de precisión: Si la incertidumbre y el error se pueden cuantificar, por ejemplo usando mediciones de sesgo, esta información debe acompañar a los valores obtenidos de los indicadores. Si esto no es posible, los indicadores, al menos, deben evitar falsa precisión.

9. Reconocer los efectos sistémicos de los indicadores de evaluación. Los indicadores cambian el sistema a través de los incentivos que establecen. Estos efectos deben ser anticipados.

10. Hacer escrutinio de los indicadores periódicamente y actualizarlos. Las misiones de investigación y la evaluación de la investigación evolucionan en paralelo por los que deben ser actualizados frecuentemente.

Fuente: “Manifiesto de Leinden sobre métricas de investigación”. [En Línea]. Universo Abierto. Disponible en: http://www.universoabierto.com/19230/manifiesto-de-leinden-sobre-metricas-de-investigacion/. [Consulta: 29/04/2015]

Anuncios

, , , ,

  1. Deja un comentario

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: