Recientemente, a tenor de la Declaración de la RSME sobre la evaluación de las publicaciones en el área de Matemáticas y de las informaciones en la prensa sobre el comportamiento, éticamente cuestionable, de algunos científicos en centros de investigación nacionales, el equipo de dirección y la editora general de RSME han mantenido una entrevista con Francisco Martín, presidente del panel de Matemáticas de la Agencia Estatal de Investigación (AEI), que reproducimos a continuación.
Pregunta.- Como sabes, en el seno de la Real Sociedad Matemática Española hemos llevado a cabo un trabajo de reflexión y diálogo sobre la evaluación de las publicaciones en el área de Matemáticas, y la Junta de Gobierno de la RSME aprobó por unanimidad un documento sobre el tema en la reunión celebrada el pasado 29 de marzo. ¿Qué nos podrías indicar a este respecto?
Francisco Martín.- Como presidente del panel de Matemáticas (MTM) he tenido acceso a información sobre esta iniciativa desde el principio. Puedo decir que es una excelente noticia que se esté generando este debate tan necesario acerca de la evaluación de las publicaciones en el ámbito matemático.
El documento aprobado por la Junta de Gobierno de la RSME el pasado 29 de marzo abre el camino a una serie de reflexiones destinadas a mejorar la evaluación de las publicaciones en el área de Matemáticas. Esto es especialmente relevante dada la importancia que tienen las publicaciones científicas en nuestro ámbito (las patentes y los paquetes de software tienen un peso mucho más moderado en el área) y la necesidad de asegurar que el proceso de evaluación sea justo, riguroso y transparente.
En cualquier caso, coincido con el director de la AEI en que el hecho de que se esté discutiendo y trabajando en la mejora de la evaluación de las publicaciones en el área de Matemáticas es una excelente noticia para toda la comunidad. Sería muy interesante que, como en el caso del área TIC, hubiese una declaración conjunta de la confederación de sociedades, y sé positivamente que hay voluntad de que un documento semejante a la llamada “declaración de Málaga” para TIC salga adelante en el área MTM.
P.- El director de la AEI nos hizo llegar una carta en la que se destacaba “el esfuerzo en realizar propuestas que permitan avanzar en la dirección de implementar una evaluación responsable, basada ante todo en el impacto y calidad de las contribuciones de los investigadores”. ¿Cómo lleva a cabo el panel de Matemáticas estas evaluaciones “responsables”?
F. M.- Más que hablar en particular del área de Matemáticas, creo que sería interesante ofrecer información general sobre cómo se llevan a cabo las evaluaciones responsables en el marco de la AEI, pues los problemas de los que estamos hablando no son específicos de ninguna de las áreas científicas de la agencia.
Una evaluación responsable de una publicación debe tener en cuenta varios aspectos importantes. En primer lugar, es esencial que el proceso de evaluación se base en criterios claros y objetivos, que se apliquen de forma equitativa y consistente a todos los expedientes que se evalúan. Además, es importante que los evaluadores estén capacitados y sean expertos en el área de la publicación que se está evaluando, para que puedan realizar una evaluación rigurosa y precisa.
Otro aspecto importante es la revisión por pares, que es un proceso fundamental para garantizar la calidad y la integridad de las publicaciones científicas. En este proceso, se solicita a expertos en el área temática que revisen las propuestas y proporcionen comentarios detallados y constructivos sobre la calidad, la originalidad y la relevancia del trabajo. La revisión por pares debe ser un proceso ajustado y medido, y debe garantizar que se tengan en cuenta todas las opiniones y comentarios pertinentes.
Todo esto engarza plenamente con el compromiso adquirido por la AEI al adherirse a DORA. La declaración DORA (Declaración de San Francisco sobre la Evaluación de la Investigación) es un compromiso por parte de las instituciones científicas, los financiadores y los editores de publicaciones científicas para mejorar la forma en que se evalúa la investigación. La declaración DORA fue lanzada en 2012 en respuesta, precisamente, a la creciente preocupación por el uso inapropiado de indicadores bibliométricos, como el factor de impacto, en la evaluación de la investigación. Con estos instrumentos, el propósito del panel MTM (y el de todos los paneles de la AEI) es el de cambiar la cultura de la evaluación de la investigación y fomentar una evaluación basada en la calidad, la relevancia y la integridad de la investigación, en lugar de simplemente en el número de publicaciones o el factor de impacto de las revistas en las que se publica.
Además, es importante que los evaluadores y los revisores por pares sigan los estándares éticos y profesionales establecidos en la comunidad científica, incluyendo el respeto a los derechos de autor, la confidencialidad y la integridad científica. También es importante que se fomente la diversidad y la inclusión en el proceso de evaluación, para asegurar que se consideren todas las perspectivas y que se eviten posibles sesgos.
“Una evaluación responsable significa criterios claros y objetivos, revisión por pares rigurosa y fomento de la diversidad”
Me gustaría recalcar que, en nuestra evaluación, valoramos enormemente las contribuciones del propio investigador a la publicación. Por esta razón, el nuevo formato de CVA incluye una sección narrativa que deberá tener un peso significativo en la evaluación.
Asimismo, la evaluación responsable valora de forma importante las aportaciones de los investigadores que puedan tener un impacto en la economía y en la creación de empleo en diferentes áreas. La investigación y la innovación son fundamentales para el desarrollo económico y pueden llevar a nuevas empresas, productos y servicios que generen empleo y riqueza para las comunidades. Esto significa que estamos también valorando las aportaciones de los investigadores que pueden tener un impacto social significativo y que pueden ayudar a mejorar la calidad de vida de las personas y el desarrollo de la sociedad española en su conjunto.
Podríamos resumir todo lo dicho, afirmando que una evaluación responsable significa: criterios claros y objetivos, revisión por pares rigurosa y ética, donde los indicadores bibliométricos tengan un peso relativo, y fomento de la diversidad e inclusión.
P.- A este respecto, ¿cómo se proponen a los miembros de las comisiones? ¿Hay restricciones en las propuestas?
F. M.- Para proponer miembros de las comisiones de evaluación de las diversas convocatorias de la AEI, se sigue un proceso establecido por la misma.
Los pasos a seguir pueden variar según la convocatoria (proyectos, recursos humanos, infraestructuras) y el tipo de evaluación que se esté llevando a cabo. Así, una vez conocidos los expedientes de cada convocatoria, se identifican los requisitos para los miembros de la comisión de evaluación, tales como su área de especialización, la experiencia previa de evaluación, nivel profesional, entre otros. La propuesta para dicha comisión es después filtrada y aprobada por varias instancias superiores, garantizando un cierto equilibrio en la misma en cuanto a la distribución geográfica y de género, así como otras cuestiones de las que hablaremos después.
P.- En cuanto a las publicaciones en las denominadas revistas “depredadoras”, ¿cuáles son las directrices de la AEI y cómo se llevan a cabo en el panel de Matemáticas?
F. M.- Es importante tener en cuenta que las revistas depredadoras son publicaciones que no cumplen con los estándares éticos y de calidad que se requieren en la investigación científica. En este sentido, se recomienda que los investigadores que formen parte de los comités editoriales de estas revistas no participen en las comisiones de evaluación de las agencias que evalúan la calidad de la investigación, ya que esto podría poner en duda su capacidad de evaluación y su compromiso con la integridad de la investigación.
La participación de investigadores en comités editoriales de revistas depredadoras puede ser considerada una mala práctica científica, y puede poner en riesgo su reputación y credibilidad como investigadores. Además, esto puede generar conflictos de interés y afectar la equidad y la objetividad de la evaluación de la investigación.
Por otro lado, la publicación en revistas depredadoras no solo puede ser un demérito, sino que puede tener consecuencias graves para la carrera académica y la reputación de los investigadores. Como ya hemos indicado anteriormente, estas revistas no tienen a menudo un proceso de revisión por pares riguroso, lo que significa que los trabajos publicados en ellas pueden no haber sido evaluados adecuadamente por expertos en la materia. Esto puede resultar en la publicación de trabajos de baja calidad, mal fundamentados, poco originales o incluso fraudulentos, como ya hemos detectado desde el panel en varias ocasiones.
Además, la publicación en revistas depredadoras puede ser vista como una falta de ética y profesionalidad en la investigación y la publicación científica. Esto puede socavar la confianza en la investigación y la reputación de los investigadores, y puede ser considerado como un demérito en la evaluación de la carrera académica y en la financiación de la investigación. Es importante destacar que se han implementado medidas para abordar el abuso en publicaciones de revistas de este tipo, como se indica a los investigadores afectados en los informes de evaluación y seguimiento de las diferentes convocatorias.
Por lo tanto, es importante que los investigadores sean cuidadosos en la selección de las revistas en las que publican sus trabajos, y que se aseguren de que las revistas en las que publican sean legítimas, tengan un proceso de revisión por pares riguroso y estén reconocidas en su área de conocimiento. De esta manera, se puede garantizar la calidad y la integridad de la investigación y se puede contribuir de manera efectiva al progreso de la ciencia en su conjunto, y de las Matemáticas en particular.
P.- Existe hoy en día una gran fijación por los indicadores bibliográficos, ¿se usan en el panel de Matemáticas? En caso afirmativo, ¿qué influencia tienen en la evaluación de un proyecto? ¿Se dan directrices a los evaluadores? ¿Y en el caso de los contratos predoctorales, se aplican criterios similares?
F. M.- Como ya he dicho antes, tras la firma de DORA por parte de la AEI, los indicadores bibliométricos constituyen un elemento más en la ecuación, que nunca es decisivo. Me parece que ésta es una decisión acertada de la AEI y coherente con las recomendaciones actuales de buenas prácticas en la evaluación de la investigación. Los indicadores bibliométricos, como el índice h y el factor de impacto de las revistas, han sido ampliamente utilizados en la evaluación de la investigación, pero en los últimos años se ha cuestionado su validez como medidas únicas de calidad y productividad de la investigación.
El uso exclusivo de indicadores bibliométricos puede generar distorsiones en la evaluación de la investigación, ya que no consideran otros aspectos importantes como la originalidad, la relevancia social, la innovación, la calidad metodológica y la contribución al avance del conocimiento. Además, el uso de indicadores bibliométricos puede generar patrones anómalos de evaluación en los investigadores y las instituciones, que pueden priorizar la cantidad de publicaciones y el impacto de las revistas sobre la calidad y el rigor científico.
Por lo tanto, se está recomendando a los expertos de todas las comisiones (incluidas las convocatorias de RR.HH. predoctorales) utilizar una evaluación de la investigación más integral y cualitativa, que considere diferentes tipos de productos y resultados de la investigación, así como criterios de evaluación que valoren la calidad, la originalidad y la relevancia de la investigación en su contexto científico y social.
P.- En relación con los estudiantes de doctorado y jóvenes doctores que quieren tener un futuro académico, ¿qué mensaje hemos de trasladar a estos jóvenes?
F. M.- Estoy plenamente convencido de que el mensaje a trasladar a los jóvenes investigadores es que la calidad de la investigación es más importante que la cantidad de publicaciones. La investigación de calidad debe implicar un trabajo riguroso, innovador y relevante en su contexto científico-técnico y socioeconómico, que contribuya al avance del conocimiento y a la resolución de problemas relevantes para la sociedad.
Es cierto que los jóvenes investigadores a menudo enfrentan una gran presión para publicar en revistas de alto impacto y obtener una gran cantidad de publicaciones, lo que puede generar incentivos perversos y llevarlos a descuidar aspectos importantes de la investigación, que ya hemos descrito antes. Por lo tanto, es importante que se fomente una cultura de la investigación que prime la calidad sobre la cantidad, y que se proporciones a los jóvenes investigadores el apoyo y las herramientas necesarias para llevar a cabo una investigación rigurosa, relevante y digna.
Por último, me gustaría destacar que es importante que se fomente una cultura de la investigación ética y responsable, que promueva la integridad científica, el respeto a los derechos humanos y animales, y la transparencia y la apertura en la comunicación de los resultados de la investigación. La calidad de la investigación no solo se mide por la cantidad de publicaciones o el impacto de las revistas, sino también por la calidad ética y social de la investigación y su contribución al bienestar de la sociedad.
P.- Finalizas como presidente el próximo 30 de septiembre. ¿Cuál es tu balance sobre esta etapa?
F. M.- Cuando empecé mi tarea en el panel (2017), el tema de las revistas depredadoras era residual. En poco tiempo (2020) pasó a ser un problema desbordante; las revistas depredadoras se han convertido en una herida sangrante en la comunidad científica en los últimos años. Estas revistas, que se presentan como publicaciones científicas legítimas, han proliferado en gran medida debido a la presión por publicar en revistas de alto impacto y a la falta de regulación y supervisión por parte de las instituciones y las agencias de financiación.
Sin embargo, en los últimos 2 años ha habido un creciente reconocimiento y conciencia sobre este problema, y se han tomado medidas para abordarlo. Las agencias de financiación en toda Europa, las instituciones académicas y los investigadores están actuando para identificar y evitar las revistas depredadoras, y están promoviendo prácticas de publicación que priorizan la calidad y la integridad de la investigación.
Es importante continuar trabajando juntos para promover prácticas de publicación éticas y responsables. Esto incluye, como ya he dicho, fomentar una cultura de la investigación que promueva la integridad científica y ética en la investigación y la publicación, y apoyar la supervisión y regulación de las revistas científicas para garantizar su calidad y legitimidad. Sé que la persona que me suceda continuará en esa línea.
