Las revistas también son su foro de expresión, pues pueden exponer en ellas los más variados asuntos relacionados con su actividad (éticos, económicos, legales, docentes, políticos, etc.). Sin embargo, la publicación sólo adquiere sentido cuando se encuentra con su público, es decir, cuando es leída. En la moderna dinámica científica, el encuentro entre el autor y sus lectores se materializa mediante las citas que éstos hacen al trabajo previo, lo que supone una forma de reconocimiento a la labor de sus predecesores1-3.
Los análisis de citas permiten conocer hasta qué punto se ha cumplido el propósito de la comunicación, es decir, la transmisión y asimilación del conocimiento. Pero para cuantificar las citas es necesario analizar las referencias bibliográficas de todos los artículos publicados en las revistas científicas, o al menos en las principales, tarea para la que se requieren numerosos recursos, pues es muy laboriosa. En 1965, Garfield impulsó este tipo de análisis bibliográfico publicando en el Institute for Scientific Information (ISI) de Filadelfia el primer volumen del Science Citation Index (SCI). La particularidad más importante del SCI es que recoge, junto a los artículos fuente de más de 3.200 revistas seleccionadas de ciencia y tecnología, todas sus referencias bibliográficas4-5. Un producto derivado del SCI, el Journal Citation Reports (JCR), proporciona anualmente indicadores bibliométricos sobre el consumo de información de las revistas del Science Citation Index, entre ellos el número de citas que han recibido, la vida media, el índice de inmediatez y el factor de impacto (FI)4-5.

Utilidad del factor de impacto

Para describir la contribución científica de una investigación cabe distinguir su impacto científico (supuesta difusión o visibilidad a corto plazo de una investigación entre la comunidad científica), pero de forma preferente debe destacarse su calidad (indicativa del rigor científico, bien sea por el conocimiento que aporta, por su corrección metodológica o por la originalidad con el que se ha diseñado el estudio o se ha resuelto la pregunta de investigación) y su importancia o relevancia (indicativa de la influencia potencial que el estudio puede tener para el avance del conocimiento científico, así como los diversos problemas de salud en la práctica clínica)6.
El FI es un indicador bibliométrico basado en el recuento de citas del SCI que se calcula, para cada revista, estableciendo la relación entre las citas que en un año determinado han recibido los trabajos publicados durante los dos años anteriores, y el total de artículos publicados en ella durante esos dos años. Por ejemplo, para calcular el factor de impacto de una revista en 2004 se suman todas las citas que han recibido los artículos publicados en 2002 y 2003 de esa revista, y se dividen por el número total de artículos publicados por dicha revista en esos dos años. El motivo de coger dos años es que es el tiempo promedio a partir del cual se calcula que un trabajo circula plenamente en la comunidad científica y puede ser utilizado y citado. El número de citas se divide por el número de artículos publicados para corregir la ventaja potencial de los autores o las revistas que publican muchos trabajos, ya que éstos tienen mayor probabilidad de ser citados5,7-8.
El factor de impacto se utiliza como parámetro para la evaluación de la calidad y el prestigio de las revistas y de las actividades científicas, entre ellas la valoración individual de los aspirantes a concursos y oposiciones, la concesión de becas, la contratación de profesores y la promoción profesional y académica7-8. Sus defensores se apoyan en el supuesto de que los trabajos importantes son usualmente citados, mientras que los irrelevantes se ignoran y no se citan. El uso del FI como índice de la calidad de las publicaciones se fundamenta en la idea de que la frecuencia con que se cita una revista mide exactamente su importancia con respecto a sus usuarios finales. Mediante la citación de artículos de una revista concreta en sus propios manuscritos, los investigadores estarían dando votos de calidad para esta revista y el FI actuaría como parámetro de estos votos9-12.
En la actualidad, obtener el FI se ha convertido en una especie de garantía de calidad editorial, pues para ello los editores se ven obligados a cumplir y a mantener unos estándares cualitativos y, además, supone un excelente atractivo para lograr que los autores envíen sus mejores manuscritos a la revista, lo que a su vez redunda en incrementar su calidad e impacto.

Críticas al factor de impacto

El uso que se está haciendo del FI en algunos círculos académicos y científicos está produciendo malestar en una buena parte de los investigadores, debido a las importantes limitaciones y sesgos que tiene este indicador y a los abusos que se cometen cuando se aplica en la evaluación de sus actividades científicas y profesionales. Estas limitaciones son consecuencia, principalmente, de la metodología empleada en su elaboración13-18.
Una de las principales limitaciones del FI es que la selección de revistas del SCI, repertorio a partir del cual se calculan las citas, no es representativa de la producción científica internacional, ya que presenta un sesgo de cobertura exageradamente favorable a las revistas angloamericanas. Como resultado, la mayor parte de las citas en las que se sustenta el indicador corresponden a Estados Unidos y a Gran Bretaña y, en consecuencia, los artículos que no se han publicado en revistas de estos países obtienen menos citas. Por este motivo, los indicadores que se obtienen a partir del SCI, como el FI, no reflejan la actividad científica de los países no anglófonos, como España. Por ejemplo, en el Journal Citation Reports de 2003, última edición publicada, se incluyeron 2.267 revistas de los Estados Unidos y 1.219 de Gran Bretaña, mientras que las correspondientes a algunos países no anglófonos de incuestionable peso científico como Francia e Italia fueron 147 y 65, respectivamente, y de las 29 revistas españolas incluidas, únicamente 14 correspondían a las Ciencias de la Salud. A pesar de que el número de trabajos españoles en el SCI va aumentando y de que también han aumentado las revistas españolas en esa base de datos, esta presencia es todavía insuficiente y solamente están representadas algunas áreas de las Ciencias de la Salud: la que más revistas contiene es la Neurología, con tres revistas, seguida de las Ciencias morfológicas y la Medicina clínica, con dos revistas cada área. Un conjunto de siete áreas están representadas por una única revista: Psiquiatría, Aparato respiratorio, Cardiología, Aparato digestivo, Nefrología, Infeccioso y Farmacología clínica12,19,20.
Uno de los criterios que utiliza el SCI para la inclusión de las revistas candidatas en su base de datos es que éstas hayan recibido un número suficiente de citas, de manera que las revistas no citadas son excluidas de su cobertura. Sin embargo, estas revistas poco citadas no son necesariamente de poca calidad, sino que simplemente tienen algunas características (como idioma, temática, contenido o distribución limitada) que hacen que sean poco citadas por otras revistas19. También las revistas de campos poco desarrollados o incipientes, con escaso número de investigadores, reciben menos citas, simplemente por el hecho de que hay menos revistas y menos artículos publicados en los que elegir.
Otro defecto que se imputa al FI es la falta de correlación significativa entre el impacto de un artículo específico publicado en una revista y el FI de esa revista5,20. Recordemos que el FI es un valor promedio que relaciona las citas recibidas por una revista con los artículos que ha publicado, y que no todos los artículos de una revista tienen la misma calidad. Seguramente no tendrá la misma calidad un trabajo que presente los resultados de una investigación multicéntrica que una carta al director. Sin embargo, el FI de la revista se aplica a todos los trabajos que publica, independientemente de que sean de mayor o de menor calidad. El grado máximo de degeneración se produce cuando se presupone, por extensión, que la calidad de un trabajo e incluso la categoría profesional y científica de sus autores se corresponde con el factor de impacto de la revista en la que éstos han publicado el trabajo8,9,11-20-23. En definitiva, el FI sólo es aplicable a revistas, no a artículos concretos y menos aún a personas24-25.
Como se ha comentado, el uso del FI como índice de la calidad de las revistas se basa en el reconocimiento del valor de la publicación por la comunidad científica a través de las citas que ha recibido5,8,20,21. Sin embargo, esta teoría debería aceptarse únicamente para revistas cuyos usuarios son, principalmente, investigadores, la mayoría de los cuales escriben manuscritos para publicar. Para otros profesionales como los clínicos, los docentes y los gestores de la asistencia sanitaria, que también publican trabajos en revistas científicas sobre observaciones clínicas o sobre temas relacionados con los aspectos docentes, administrativos o legales de interés sanitario colectivo, la valoración de sus trabajos mediante el FI no es adecuada, pues el impacto de estas revistas está infravalorado. Se trata de revistas que son consultadas por numerosos profesionales para su formación continuada y como ayuda en su práctica clínica y, sin embargo, no las citan porque probablemente nunca escriben manuscritos para que sean publicados en ellas. Por otra parte, excelentes artículos que tratan sobre investigaciones y problemas en áreas como la salud pública o la Atención Primaria no son aceptados en las revistas extranjeras con factor de impacto, las mayoritarias en el SCI, porque consideran que estos trabajos tratan sobre problemas regionales o locales de escaso interés para los colegas estadounidenses. Por ello, estas investigaciones difícilmente pueden tener impacto fuera de su ámbito geográfico de aplicación.
La tendencia actual de los profesionales españoles es a publicar los mejores trabajos en revistas extranjeras con alto impacto, y sólo acuden a las revistas españolas cuando tras agotar todas las posibilidades de publicar en estas revistas extranjeras (por ejemplo, porque los revisores han estimado que el trabajo no reúne la suficiente calidad o no es de interés para la revista). Esta actitud se debe, en parte, al interés de los autores en lograr el máximo prestigio y reconocimiento de sus colegas extranjeros, así como en las favorables posibilidades que tienen las revistas angloamericanas para lograr una mayor difusión internacional. Pero también está motivada por las presiones que tienen, por parte de las agencias de evaluación de la actividad investigadora, para publicar en revistas extranjeras con alto impacto y así conseguir el reconocimiento de su mérito científico o académico en términos de promoción profesional y consecución de subvenciones, becas y ayudas a la investigación.
Todos estos problemas están creando un círculo vicioso muy difícil de romper en el que la gran mayoría de las revistas médicas españolas no están incluidas en el SCI porque no tienen impacto, y no tienen impacto porque los mejores artículos que realizan los profesionales españoles se publican en revistas extranjeras con impacto, empobreciendo cada vez más la calidad de nuestras revistas, cuyos contenidos declinan progresivamente, a costa de enriquecer la de las extranjeras. Esta fuga gratuita de publicaciones beneficia muy poco a la investigación española y contribuye a fomentar la quiebra científica y económica de numerosas revistas científicas de nuestro país.
Tras estas consideraciones, algunas preguntas que podemos plantearnos son: ¿Dónde publicar, entonces? ¿Debemos interrumpir las investigaciones que tratan sobre los problemas de interés regional porque no interesan en términos de factor de impacto? ¿Cómo aumentar el FI de nuestras revistas?
Una posibilidad es tratar de publicar en revistas nacionales que tengan FI en el JCR. Las ventajas de publicar en estas revistas son evidentes, pues al tiempo que se consigue que los trabajos circulen a nivel internacional, también se logra que se difundan en nuestro propio ámbito, es decir, en nuestro país y en nuestro idioma. Por otra parte, el hecho de que el mayor número de citas que emiten las revistas españolas hacia sus homólogas se reúna en unos pocos títulos incita a reflexionar sobre la posibilidad de concentrar el mayor número posible de trabajos relevantes en unas pocas publicaciones con objeto de aumentar su FI4.
Los objetivos del estudio “Factor de impacto potencial de las revistas médicas españolas”
El sesgo de cobertura del SCI a favor de las revistas norteamericanas y británicas limita de forma importante el uso del FI como instrumento para el estudio de la auténtica repercusión de los trabajos producidos fuera del ámbito anglosajón. Cabe plantearse: ¿Cómo un repertorio —SCI— que ignora la mayoría de las revistas que se publican en España puede proporcionar conclusiones válidas sobre la ciencia que se cultiva en nuestro país?24-25.La solución al problema, propugnada por el propio Garfield, fundador del SCI y por otros bibliométras, es elaborar estudios complementarios al SCI y JCR sobre análisis de citas en el propio país en que ésta se genera y consume2,4,5,10,11. De acuerdo con esta propuesta, se han realizado en España algunos análisis complementarios de citas, dedicados habitualmente a revistas o a áreas temáticas concretas26-43. Con una cobertura más amplia se publicaron en España en la década de los noventa dos repertorios de citas, uno de revistas, el Índice de Citas e Indicadores Bibliométricos de Revistas Españolas de Medicina Interna y sus especialidades44, y otro de autores, el volumen Citas de Autores Médicos Españoles del Índice Médico Español, que analizaron las citas realizadas a publicaciones españolas en una selección de revistas médicas de carácter científico35. Ninguno de estos dos repertorios tuvo la continuidad que hubiera sido deseable, si bien demostraron que era factible la elaboración de índices de citas españolas y la obtención de indicadores de impacto específicos de la comunidad española.
En 2003, el Ministerio de Educación, Cultura y Deporte (hoy Ministerio de Educación y Ciencia) subvencionó la realización del estudio “Factor de impacto potencial de las revistas médicas españolas”, con un doble objetivo. Por una parte, obtener el factor de impacto nacional (FIN) de las publicaciones médicas españolas, es decir, el que le correspondería si estuvieran incluidas en un índice de citas de revistas españolas. Por otra, obtener el factor de impacto internacional de las publicaciones médicas españolas y extranjeras, que es el que tendrían si las revistas médicas españolas fueran revistas fuente en el SCI.
Para este análisis se seleccionaron 87 revistas médicas españolas que en 2001 estaban incluidas en la base de datos nacional IME y, además, en alguna de las siguientes bases de datos internacionales: Medline, EMBASE, SCI o BIOSIS, consideradas como las más importantes en Ciencias de la Vida y de la Salud. Esta selección permitió descartar numerosas revistas cuyo objetivo primordial no era la difusión de la investigación, sino que más bien estaban relacionadas con los aspectos sociales, docentes (revistas de formación continuada), profesionales y de divulgación. En los artículos citables de 2001 (originales, revisiones y notas) de las 87 revistas seleccionadas se identificaron las referencias bibliográficas correspondientes a 1999, 2000 y 2001 y se introdujeron en una base de datos en Access 2000 de Microsoft. A estas citas se añadieron las que las revistas seleccionadas obtuvieron en el Science Citation Index de 2001, consultado por medio de la plataforma Web of Science del Institute for Scientific Information.
Los datos anteriores han permitido obtener los factores de impacto nacionales e internacionales y, por un procedimiento similar que computaba solamente las citas de 2001, se ha obtenido también el índice de inmediatez. Adicionalmente, se ha “recalculado” el FI de las revistas extranjeras, modificado por la adición de citas procedentes de las revistas españolas.

Resultados y discusión

En la página web Factor de impacto potencial de las revistas médicas españolas (URL: http://ime.uv.es/imecitas/impacto.shtml) pueden consultarse los indicadores de las revistas españolas y su clasificación por áreas temáticas y editoriales (figuras 1 a 3).
Las revistas que han obtenido un mayor factor de impacto nacional han sido Revista Española de Quimioterapia, Medicina Clínica, Archivos de Bronconeumología, Revista Española de Cardiología y Atención Primaria (tabla 1); mientras que el mayor impacto internacional corresponde a Histology and Histopathology, International Journal of Developmental Biology, Medicina Clínica y Revista Española de Quimioterapia (tabla 2).
El estudio ha permitido identificar numerosas revistas que no forman parte de la cobertura del SCI, pero que han obtenido un impacto importante. Son algunos ejemplos la Revista Española de Quimioterapia y Atención Primaria, revista que, por otra parte, ha obtenido un número considerable de citas. También debemos mencionar otras como Archivos de Bronconeumología y Enfermedades Infecciosas y Microbiología Clínica, de las que se ha publicado su FI en la edición del JCR de 2003, y lo mismo puede decirse de Neurología, revista que inicia inclusión en el JCR con un impacto superior al de otras revistas neurológicas.
A la vista de los resultados, una de las conclusiones más evidentes es que numerosas revistas españolas han obtenido unos FI de tal magnitud que les permitiría estar incluidas en la cobertura del SCI, incluso por encima de otras revistas extranjeras de su especialidad que sí que se indizan en la base de datos. Es evidente que la inclusión de un mayor número de revistas nacionales en la cobertura del Science Citation Index repercutiría en unos factores de impacto más altos para nuestras revistas, ya que éstas se beneficiarían de sus autocitas y de las citas procedentes de las otras revistas españolas, mucho más conocidas y accesibles por los españoles que las extranjeras.
Sin embargo, la citación de las revistas españolas ha sido baja en términos generales. La baja citación se debería, en parte, a que los autores españoles no suelen incluir referencias bibliográficas de trabajos publicados en revistas españolas. Resulta difícil saber por qué no se citan los trabajos españoles; para algunos autores la baja citación estaría relacionada con aspectos como el desconocimiento de lo propio, el complejo de inferioridad, el pragmatismo intelectual, e incluso la verdadera o falsa modestia45-46. El caso extremo de esta baja citación corresponde a las revistas españolas publicadas en inglés, que apenas reciben citas de sus homólogas españolas, debido quizá a su escasa difusión en las bibliotecas españolas y a las dificultades que tienen una buena parte de los profesionales españoles para consultar bibliografía en ese idioma12-19. Este fenómeno se produce en revistas como Methods and Findings in Experimental and Clinical Pharmacology, Allergologia et Immunopathologia, Histology and Histopathology e International Journal of Developmental Biology.
El bajo grado de citación de las revistas españolas ha llamado la atención de numerosos autores y editores de revistas, que han expresado en la prensa científica su notable preocupación. Así, Ortega Serrano47 denunciaba en la revista Cirugía Española la existencia de un “autoboicot científico” entre los autores españoles mientras que Porcel y Pérez48,49 expresaba en Psiquiatría Biológica el “sentimiento de frustración ante la aparente desproporción entre el valor de muchos trabajos y la repercusión alcanzada por los mismos”. Por su parte, Hernández Vaquero50 indicaba en la Revista de Ortopedia y Traumatología que había encontrado trabajos excelentes que no citaban ningún artículo anterior publicado en esa revista y que tenían el mismo objetivo, una metodología similar, conclusiones comparables e incluso idénticas referencias extranjeras. Estas manifestaciones, expresiones del ánimo de una buena parte de nuestros profesionales, son todavía más desalentadoras cuando debido a los bajos índices de citación de los trabajos españoles y al hecho de que la mayor parte de la bibliografía pertenezca a autores extranjeros se llega a la conclusión de que la actividad científica de los médicos españoles no existe, o no alcanza los niveles exigibles de calidad y, por lo tanto, no es útil a la hora de discutir los resultados de nuestras investigaciones47. En consonancia con esta línea argumental, otros se preguntan que si los artículos españoles ni se conocen, ni se leen y ni siquiera se citan para qué los hacemos49.
Con la intención de romper esta dinámica se suelen hacer llamamientos desde algunos foros para convencer a los autores a citar con mayor frecuencia a las revistas españolas, siempre que sea pertinente, y así tratar de conseguir aumentar su impacto51-52. Estas citas son especialmente importantes en los artículos que se vayan a publicar en revistas incluidas en la cobertura del SCI, y sobre todo si corresponden a los dos años anteriores al año de publicación del artículo citador, ya que se incorporan a la base de datos de citas del SCI y son recuperables en las búsquedas de citas45,46,51,52. Las revistas muy citadas son identificadas por los gestores de la base de datos, que pueden hacer estimaciones de su impacto y, si es el caso, tomar la decisión de incluir la revista en su cobertura.
Otro aspecto importante en el análisis del factor de impacto es la autocitación, considerada como el número de veces que una revista se cita a sí misma en las referencias bibliográficas de sus artículos53-54. Es evidente que, desde la inclusión de una revista en el repertorio JCR, la revista se beneficia de su autocitación55. El índice de autocitas contribuye a aumentar el FI de las revistas incluidas en el JCR, en contraposición a las no indizadas. Desde el punto de vista editorial, los intentos de forzar a los autores a aumentar el número de autocitas en sus manuscritos no están bien considerados56-58.
A pesar de todas las limitaciones, la competencia en la obtención de un buen FI está produciendo un efecto beneficioso, pues los editores de las revistas españolas están tomando decisiones editoriales estratégicas tendentes a mejorar la calidad de sus revistas y resultar así más atractivas para los profesionales, como dotarse de un prestigioso equipo editorial internacional, mejorar la rapidez en la publicación y difusión de los trabajos, procurar ediciones en inglés o bilingües y permitir el acceso electrónico, en muchos casos gratuito51,52,59-61. No obstante, estas políticas deben aplicarse siempre con la debida precaución, pues los editores no pueden caer en la tentación de querer implantar políticas editoriales que vayan en contra de los intereses de los lectores21,24,25,62. Deben plantearse, pues, qué tipo de impacto desean realmente para su revista, si el que proporciona el indicador bibliométrico o un impacto real sobre sus lectores, que posiblemente necesiten otro tipo de artículos, como los de formación continuada o las comunicaciones de casos clínicos, trabajos que son menos rentables en términos de impacto. Además, de esta manera contribuyen mejor a una de las misiones más importantes de la revista, que es la formación continuada de sus lectores21,62-64.
En definitiva, el estudio “Factor de impacto de las revistas médicas españolas” ha permitido obtener este indicador en una amplia muestra de revistas españolas y ampliará su número de revistas analizadas incluyendo las que resulten más citadas en los sucesivos estudios anuales. La información puede ser útil para los editores de las revistas pues, a la vista de los resultados, disponen de información de interés que les puede ayudar a adecuar sus políticas editoriales. Por su parte, los autores pueden elegir sus revistas utilizando criterios objetivos de impacto adaptados a la realidad científica española.
Por último, también sería deseable que estos datos contribuyeran a romper el círculo vicioso en el que se encuentra sumergida la publicación de la investigación europea en general y la española en particular. Como se ha comentado, con la actual política científica de incentivar la publicación en revistas con alto FI en el Journal Citation Reports se está generando un hecho negativo para las revistas europeas, ya que los mejores trabajos europeos se envían a revistas norteamericanas, que mantienen o mejoran su factor de impacto, y el resto de trabajos tienden a publicarse en revistas europeas, la mayor parte de ellas excluidas del SCI, lo que no ayuda a incrementar su factor de impacto y confirma la idea de “fuga de cerebros”. ]