Lunes en la Ciencia, 1 de mayo del 2000

Delimitando el tema

La evaluación por pares

Mauricio Schoijet

El tema incluye la evaluación de los proyectos de investigación dentro de las mismas instituciones; la de la docencia, y otras actividades, como por ejemplo difusión, en la promoción del personal académico; la evaluación de proyectos por instituciones externas, fundaciones privadas y organismos gubernamentales, como consejos nacionales de ciencia y tecnología, y el Sistema Nacional de Investigadores. Incluiría además los mecanismos de evaluación para la admisión en organismos como la Academia de Ciencias, que juega un papel importante en la política de la ciencia en el país. En el caso de otros países, como Estados Unidos, las discusiones han involucrado a instituciones como la National Science Foundation, National Institute of Health, etcétera, que proveen recursos para la investigación.

Una precisión muy importante es que, si bien han habido enconadas polémicas, aparentemente no hay o casi no hay estudios históricos. En efecto, aunque la labor de los historiadores de la ciencia se ha orientado en forma creciente a desplazarse de los casos de científicos individuales al de la ciencia institucionalizada, no es fácil encontrar datos sobre cómo surgió la evaluación por pares. Sí, pueden encontrarse sobre algún aspecto particular, por ejemplo el uso del índice de citas. Y existe también en un libro sobre historia de la ecología la narración de un caso muy significativo ocurrido en la década de 1940, el del rechazo de un artículo de Raymond Lindeman, cuya importancia fue después ampliamente reconocida, al que nos referiremos en otro artículo.

Los países sobre los que tenemos alguna información son Estados Unidos y Gran Bretaña, sobre todo del primero. Una somera investigación hemerográfica y bibliográfica muestra que en los últimos años se han publicado sobre este tema varias decenas de artículos cada año, y varios libros. Han habido también casos de investigadores que emprendieron acciones legales contra evaluaciones que consideraban injustas. Las controversias más enconadas se dieron en torno a las evaluaciones de organismos como la National Science Foundation, y se reflejaron en artículos publicados en varias revistas, tales como Science, Nature, Science, Technology and Human Values, Journal of the American Medical Association, etcétera.

Mi hipótesis es que la llamada evaluación por pares funciona con eficacia desigual para diversas ramas de la ciencia y en varios países. Lo hace mejor en las llamadas "ciencias duras" y bastante mal en las sociales, aunque tal vez esta caracterización sea incluso demasiado benévola; también que funciona mejor en los países de mayor tradición científica. Puede en muchos casos constituir un obstáculo para el avance de la ciencia y una forma de mistificación, que facilita la irresponsabilidad y la arbitrariedad; y que en el caso de México, que probablemente no es único sino representativo de muchos países de condiciones similares de desarrollo científico, estas características negativas son reforzadas por una cultura política autoritaria y simuladora, que contamina las instituciones de educación superior e investigación.

En Estados Unidos han habido dos casos de experimentos de evaluación de los evaluadores, llevados a cabo sin el consentimiento de éstos, y que tuvieron una considerable resonancia.

En México han habido repetidas denuncias de evaluaciones parciales o mal hechas por el Sistema Nacional de Investigadores. No se puede decir que haya habido una discusión pública real, porque en los pocos casos en que los evaluadores dieron alguna réplica ésta no pasó de argumentos puramente formales.

A nivel internacional existen algunos trabajos sobre la consistencia de las evaluaciones de algunas publicaciones. No conozco nada de esta índole para el caso de México, pero sí puedo dar algunos elementos fragmentarios provenientes de mi propia experiencia sobre evaluación por algunas revistas.

También vale la pena mencionar que casi no existen normas para las evaluaciones. Conozco una sola excepción, en una resolución sobre el proceso de dictaminación, aprobado por el Consejo Divisional de la División de Ciencias Sociales y Humanidades de la UAM-I para la revista Ixtapalapa en la sesión del 16-12-1992. Estas normas se refieren a aspectos externos, no a la evaluación misma. Decretan que los dictámenes serán inapelables, dando como argumento el alto número de artículos ofrecidos, y establecen una remuneración para los dictaminadores.

Hay muy pocos trabajos que discutan las cuestiones normativas. Uno de ellos, de N. J. Spencer et al (William M. Epstein en Science, Technology and Human Values, invierno de 1990, cita a N. J. Spencer et al en Journal of Social Behavior and Personality 1 (1986), propone lo siguiente: "Los árbitros deben comentar en forma sustantiva y específica acerca de la información contenida en el manuscrito y sus relaciones con los paradigmas y la investigación (scholarship) en dado campo de investigación"

Hay elementos para pensar que existen ramas del conocimiento en que los evaluadores están lejos de aplicar estas normas. En el caso de México, como ya lo mencioné, no ha habido ningún experimento ni estudio sistemático y por lo tanto, sólo puedo referirme a mi propia experiencia y comentarios de algunos colegas. Sin embargo, por más que se trate de información fragmentada, y aunque existe la posibilidad de que mi caso sea atípico, sugiere que la situación es peor que en Estados Unidos.

[email protected]

Inicio