martes, septiembre 09, 2008

Factor de impacto del International Journal of Clinical And Health Psychology

(Partiré de la base de que quien lee esto sabe qué es el factor de impacto y para qué se emplea).

International Journal of Clinical Health Psychology es una revista cuatrimestral editada por la Asociación Española de Psicología Conductual. Publica trabajos tanto en inglés como en español. Inició su andadura en el 2001 y, en estos años, ha conseguido entrar en las bases de datos del ISI con un factor de impacto, para el año 2007, de 2.95. Esto la sitúa en el primer cuartil de la categoría Psychology-Clinical. Vamos, que tiene un factor de impacto más que alto, al menos para lo que acostumbran a dar de sí las revistas españolas y las revistas multilingües.

Entramos en el Web of Science y hacemos una sencilla búsqueda: todos los artículos recogidos de esta revista. Salen 170, del 2005 en adelante. Pedimos que los ordene por número de citas y ya empezamos a encontrar resultados extraños. (Recojo los títulos en inglés, tal y como aparecen en la base de datos, aunque algunos artículos estén en castellano originalmente).
  1. 144 citas --> Montero, I., & Leon, O. G. (2005). A classification system for method within research reports in Psychology. International Journal of Clinical and Health Psychology, 5, 115-127.
  2. 64 citas --> Ramos-Alvarez, M. M., Valdes-Conroy B., & Catena, A. (2006). Criteria of the peer-review process for publication of experimental and quasi-experimental research in Psychology. International Journal of Clinical and Health Psychology, 6, 773-787.
  3. 23 citas --> Montero, I., & Leon, O. G. (2007). A guide for naming research studies in Psychology. International Journal of Clinical and Health Psychology, 7, 847-862.
  4. 20 citas --> Carretero-Dios, H., & Perez, C. (2005). Norms to development and to review instrumental studies. International Journal of Clinical and Health Psychology, 3, 521-551.
  5. 14 citas --> Gonzalez, M., Ibañez, I., & Cubas, R. (2006). Processes variables in the determination of the generalized anxiety and its generalization to other measurements of anxiety and depression. International Journal of Clinical and Health Psychology, 6, 23-39.
Varias son las cosas que llaman la atención:
  1. La anómala distribución de frecuencias de la citas. Pasamos de 144 citas en tres-cuatro años a 14 citas bajando únicamente del primer al quinto artículo más citados.
  2. Los cuatro primeros artículos con más citas son prescriptivos: cuentan cómo, por parte de la revista, han de hacerse los estudios y manuscritos. Para decir qué tipo de investigación ha hecho, use esta clasificación. Si lo suyo va de validar cuestionarios, remítase a este artículo. Si lo suyo es una meta-análisis, un estudios de casos... tienen un artículo de referencia para casi todo.
  3. Hay dos artículos de los mismos autores entre los cinco primeros. La idea de los mismos es idéntica: clasificación de métodos de investigación. ¿Que envías un manuscrito a esa revista? Tienes que decir que según la clasifición de Montero y León (2005, antes; 2007, ahora) lo tuyo es un estudio del tipo tal. Mientras que el primero es en castellano, el segundo está en inglés.
Cuando uno rasca, todavía salen más cosas:
  1. Tanto Montero y León como Carretero-Dios y Pérez tienen artículos previos en esa misma revista sentando cátedra sobre sus apartados. Montero y León publicaron uno en el 2002, otro en el 2005 y el último, por el momento, en el 2007. Carretero-Dios y Pérez los tienen en el 2005 y en el 2007 (éste ya es el octavo artículo más citado de la revista).
  2. Los artículos de "así se tendrían que hacer las cosas" sirven para inflarse a citar la propia revista. Por cada aspecto que se señala en el artículo, se busca un paper de la propia revista que lo ilustre y se cita.
  3. Los artículos de Montero y León, cuanto menos, son artículos de encargo por parte del editor, puesto que así lo señalan a pie de página.
Para quien conoce el campo de la investigación en Psicología y especialmente el campo de la metodología, también llama la atención que no todos los artículos canónicos están escritos por personas de especial relevancia o estatus en los campos sobre los que redactan.

En conclusión, ¿qué tenemos? Una revista que busca:
  1. Trucar el índice de impacto, a través de la cita semiforzada hacia la propia revista.
  2. Para ello, no dudan en publicar básicamente lo mismo cada pocos años, puesto que las citas a un artículo sólo cuentan para el índice de impacto durante dos años.
Llama la atención cómo algunos editores, autores y sociedades científicas se apuntan con alegría a este juego. Llama la atención cómo estas prácticas no son denunciadas por los investigadores españoles. Llama la atención cómo este modo de proceder no es detectado por la empresa que calcula el factor de impacto.

32 comentarios:

  1. A principios de año publiqué en dicha revista, y no recordaba haber tenido que meter ninguna referencia a algún artículo de dicha revista, como exigen otras (p.e. Psicothema). Así, que para comprobarlo he ido al artículo, y por despiste he abierto un draft con comentarios del editor al margen. Para mi sorpresa, veo que en un comentario al margen se hace referencia a las citas
    (Montero y León, 2007)y (Ramos-Alvarez, Valdés-Conroy y Catena2006), con este texto: "cita introducida por los editores siguiendo las normas a los autores de la revista". Por eso no lo recordaba haber metido ninguna cita, la metieron ellos.
    Ya me extrañaba ese 2.9 de impacto en el primer año de entrada en el ISI.

    ResponderEliminar
  2. ¿Esto lo hacen en otros países o es typical Spanish?

    ResponderEliminar
  3. Este comentario ha sido eliminado por el autor.

    ResponderEliminar
  4. A mi me han "invitado" alguna vez a leer otras cosas publicadas en la misma revista. Vía editor.

    Pero lo de meterme las citas en plan "es la política de la revista" no lo había visto antes.

    ResponderEliminar
  5. Un soneto de un gran matemático, Antonio Córdoba:

    INDICE DE IMPACTO

    Conviene publicar un disparate,
    Tan obsceno que ofenda de ipso facto.
    Te darán un gran índice de impacto,
    Los ingenuos que miren tu dislate.

    No importa si es con cuerdo o botarate,
    De citas mutuas sellarás un pacto.
    Aunque sean banales y sin tacto,
    Juntas harán lucir tu escaparate.

    No intentes un problema complicado,
    Si el ritmo frena en tus publicaciones.
    Pues debes mantenerlo acelerado.

    En alza tengas siempre tus opciones
    De rozar el poder en el poblado,
    Con índices y citas a montones.

    ***

    ... para incluir esta nueva práctica va a necesitar un terceto más (y ya no será soneto)

    ResponderEliminar
  6. Es vergonzoso y deberia ponerse en conocimiento del Consejo de Colegios Oficiales de Psicologos. Yo de momento mandaré un email con el link a este blog.

    ResponderEliminar
  7. Último comentarista: No sé si el COP tiene mano en esa revista. En otras sí que pinta y apoya prácticas igualmente fraudulentas. La 'satisfacción' de ver una revista española bien colocada en cuanto a factor de impacto creo que les hace tragar con estos procederes.

    ResponderEliminar
  8. wonka, de las revistas que conozco (en otro área de conocimiento en ciencias de la tierra) no te piden ese tipo de cosas. Y por ahora tampoco me han sugerido los editores que cite su propia revista. Por lo general (al menos que sea una revista nueva) un artículo se manda a una revista de la cual leas bastante y tengas citas relacionada a tu estudio. Es más, a mí las citas que me han pedido incluir nunca eran de la misma revista y venían sugeridas por los revisores.

    Aunque no dudo que se haga de una forma u otra está claro que eso es typical spanish. Vaya tela.

    ResponderEliminar
  9. Yo estuve en junio en una reunión abierta de FECYT con editores de revistas científicas, con asistencia de un representante del ISI, y se hicieron referencias a ese tipo de prácticas fraudulentas (en la forma de 'cita obligatoria de las instrucciones de publicación'). Parece que están detectadas, pero no castigadas; por ahora.

    ResponderEliminar
  10. Hay revistas, incluso dentro del primer 10% de su epígrafe, que piden al censor que se fije si los autores citan trabajos de esa revista, americana, para más datos.

    No obstante, yo siempre tuve la costumbre de buscar citas en las revistas a la que enviaba mis artículos, pero mi intención era simplemente "fundamentar" que mi trabajo entraba dentro del "scope" de la revista. Ahora tengo claro que es una práctica que gusta a los editores.

    El ISI debería ser más severo con estos temas.

    ResponderEliminar
  11. De otro tipo de trampas estaba enterado, pero de estas no!

    Si eso es cierto y podéis demostrarlo (especificando más casos y siendo más concretos)os invito a escribir un artículo y publicarlo en Intangible Capital:

    www.intangiblecapital.org

    firmado: un co-editor de la revista

    ResponderEliminar
  12. Supongo que lo ideal es informar a Thomson de este fraude. ¡2.9 de impacto! Quien tenga papers en esa revista en 2007 ha conseguido un CV inflado que no se merecía. Luego, en un concurso público, ponte a explicar que ese impacto de esa publicación de ese señor/a no es de verdad, que es trampa.

    ResponderEliminar
  13. dluque:
    Muy interesante la idea sobre la repercusión de estos chanchullos en los procedimientos públicos. Mi experiencia en concursos de la universidad pública es que todo depende de lo honesta que sea la comisión de selección. Comento un caso que he tratado no hace mucho, el de la REVISTA DE NEUROLOGIA, que también está en el ISI. Esta revista publica 24 números al año, que son los que están indexados, y por tanto incluyen artículos con revisores externos.
    Pero junto con estos número, la revista publica de forma excepcional "suplementos", que en realidad no son más que actas de congresos, e.g. "Congreso Anual de la Academia Iberoamericana de Neurología Pediátrica". Estos suplementos llevan el mismo nombre de la revista, por lo que no resulta fácil a primera vista diferenciarlos de un número "real". Pero en realidad no están sometidos a ningún proceso de revisión por pares, como se afirma en la contraportada de los mismos. El problema estriba en que autores sin escrúpulos incluyen en su currículum artículos en los suplementos como artículos "reales". La alteración que esto supone en los procesos de selección es enorme, ya que el peso de una contribución a congreso frente a un artículo científico en el ISI puede rondar el 5-10%.
    ¡Animo con este blog y con las denuncias de todos estos chanchullos!

    ResponderEliminar
  14. escacoix:

    Me temo que tengo más que perder que no que ganar sacando esto con mi nombre en una revista. Todo lo que cuento está basado en los datos públicos del ISI, así que cualquiera podría reproducir lo aquí anotado.

    dluque:

    Sí y no. No sé en cuántos procesos de valoración se toma, tal cual, el factor de impacto de las revistas. Creo que en casi cualquier proceso se vería mejor a un investigador sobre temas de anorexia que publica en el Internacional Journal of Eating Disorders que a uno que publique en el IJCHP. Eso, suponiendo que sea un proceso real de evaluación de méritos y no un paripé para colocar a una persona en concreto.

    Eso sí, la presión (razonable) por una universidad sin corruptelas y con una financiación según su productividad puede cambiar esto. Por ejemplo, una plaza sacada por un departamento de Clínica antes era valorada por gente de clínica, quienes probablemente sabían de qué revistas tenían mérito y cuáles no, sin dejarse engañar por el factor de impacto. Ahora, el primer filtro la ANECA, donde evalúan personas que no tienen por qué estar el corriento de todo esto y necesitan criterios objetivos y, al mismo, contaminados.

    Comisión de selección:

    Imagina un proceso de selección en el que el contratador también se jugara dinerito. A peor selección, menos ingresa. ¿Crees que se daría el problema que comentas? Publicar muchas contribuciones a congresos (sin artículo posterior) no da prestigio ni hace anticipar un desempeño especialmente bueno después.

    ResponderEliminar
  15. Esta información que figura en el blog en principio no es lo que a mí me preocupa, pues siempre habrá opiniones diversas y debe de haber foros para que la gente podamos expresarlas libremente. Aunque también tengo mis reservas, puesto que se está acusando de manera frontal a personas concretas (véanse los 4 artículos citados y los comentarios al respecto) de manera que atenta contra ellas de manera improcedente. ¿O hay alguien que permita que se conozca el nombre de sus pacientes cuando publica un artículo con resultados terapéuticos obtenidos a partir de dichos pacientes?. Por ejemplo, hubiera sido tan fácil como decir las 4 primeras entradas sin mencionar a nadie expresamente y argumentar sobre las estadísticas. A menos, claro está que se desee acusar a los autores como se hace un poco más abajo en el escrito.

    Lo que molesta es que el editor de una revista prestigiosa, en nombre además de una sociedad científica, difunda esta información sin más.

    Para empezar se pretende dañar deliberadamente la imagen de una entidad, la de la revista IJCHP, y además hay una acusación directa y frontal a 4 artículos. Todo ello a partir de chascarrillos y rumores. Parece ser que ahora la Ciencia se hará a golpe de insultos, descalificaciones y cartas anónimas colgadas en los blogs. Las argumentaciones, el rigor y el respeto los olvidaremos, pues, de momento. Y lo peor, es que no queda mucho tiempo para que alguno de estos firmantes del blog se plantee seriamente publicar en la revista a la que tanto ha criticado, si es que no lo ha hecho ya, eso sí de manera anónima por supuesto. Esta incoherencia la observo constantemente en mi carrera profesional.

    Creo francamente que los comentarios sobre la política de las revistas de investigación tiene que quedar en conversaciones de cafetería a menos que claramente se incumplan los dictámenes éticos, científicos y se denuncien a partir de pruebas claras y objetivas y según un proceso que todos deberíamos conocer –i.e, derecho a la réplica-.

    Si este es el diálogo además, que tire la piedra aquella revista que esté exenta de "estrategias" encubiertas y poco ortodoxas o de maniobras "sospechosas". Porque más deleznable que lo que se acusa aquí sobre IJCHP me parece el hecho de que una revista publique en un elevado porcentaje artículos del círculo cercano a los "dueños" de la revista (editor, revisor y su camarilla de ayudantes), ya sea personal o geográficamente. Esto sí que se puede demostrar empíricamente. O que haya que pagar dinero para publicar, o que se cierre claramente el círculo a la publicación de determinados materiales para cortocircuitarlos o que se permita la publicación de artículos plagados de faltas de ortografía, otras veces artículos llenos de incoherencias e incluso desaliñados porque les faltan "trozos". ¿Dónde estaban los supuestos revisores del proceso peer-review en tal caso? O que el editor sea capaz de anteponerse a los revisores y ejercer el papel de juez y señor, rechazando de pleno un artículo cuando los revisores se inclinaban a aceptarlo. Y ¿dónde está la calidad científica de revistas que publican con gran frecuencia artículos provenientes de asociaciones o entidades del tipo que sean, que no cumplen ni de lejos las exigencias de publicación ampliamente aceptadas. Por ejemplo, yo trabajo en una asociación, he conseguido unos cuantos datos con mi terapia sobre algún tema de actualidad y les calculo la media y ya está, a publicar. Sin planteamiento teórico alguno, sin consideraciones éticas con respecto a los pacientes -a pesar de firmar bajo el auspicio de una entidad reguladora de estas cuestiones-, sin resultados -ni sólidos ni poco sólidos porque ni los hay-, sin análisis estadístico de los resultados, sin discusión crítica y sin referencias más allá que fuentes secundarias que nadie puede localizar. En fin que se intuye que el colegeo funciona bien en algunas de las revistas “científicas”.
    Y para terminar con estas cuestiones, ¡me opongo frontalmente al intento de algunos por fiscalizar las temáticas a partir de criterios de autoridad!. CUALQUIER INVESTIGADOR TIENE DERECHO A ESCRIBIR SOBRE LA TEMÁTICA QUE LE APETEZCA SI SE SIENTE SEGURO EN ESE ÁMBITO. Nadie es quién para decidir si “unos individuos” concretos tienen o no “permiso” para escribir sobre una temática. La Ciencia es la que contiene los criterios precisamente para decidir si un material, el que sea, y escrito por quien sea, es relevante y aporta algo a una temática especializada. Y no puede ser otro que la calidad del artículo que se está valorando, enjuiciado siempre en el seno de la temática, ni más ni menos.

    Me sorprende que en todo lo que figura en el blog, ni el escrito original ni las opiniones, aparezca ni un solo argumento que se base en la calidad de los materiales y/o de la revista que se critican ¿Por qué no entramos a valorar la calidad de una revista de investigación, la que sea, a partir de criterios inherentes al proceso de investigación? Por ejemplo, si los artículos parecen de calidad, si están bien revisados –a juzgar por el producto final-, entre otros…
    A lo mejor resulta que la política editorial de incluir directrices explícitas sobre cómo optimizar los artículos de investigación en sus diferentes ámbitos, atendiendo además a la diversidad metodológica, mediante la recomendación de materiales elaborados y sopesados, es una opción encomiable más que reprochable.

    ResponderEliminar
  16. Con respecto al último comentario: en IJCHP hay que pagar para publicar (eso sí, una vez aceptado). Y además, aunque se escriba en castellano, te obligan a enviarlo también en inglés (eso si que es difundir y pelear por la ciencia en español). También tengo constancia personal de que obligan a citar los artículos que se mencionan en el primer comentario. No se sugiere: se obliga directamente. Y en Psicothema (financiada por el COP) exactamente igual: hay que pagar y hay que citar. Una cosa es sugerir y otra obligar a algo, o intervenir directamente en un manuscrito sin conocimiento ni consentimiento previo del autor. Qué pena.

    ResponderEliminar
  17. Todas las contribuciones anteriores son muy ilustrativas y ponen de manifiesto que, en general, los investigadores tienden a actuar de buena fe. Lo cierto es que, como en casi todas las cosas humanas, los indices métricos en la ciencia son susceptibles de ser corrompidos o manipulados, lo que no los convierte inmediatamente en inútiles. Por los comentarios precedentes, parece que ha habido un intento -y quizás un logro- de manipulación de uno de estos índices en es caso. Lo positivo es que, de ser cierta, la manipulación no ha pasado desapercibida ni unos pocos meses. Dado que el último informe sobre el factor de impacto ha sido publicado en junio y la alarma ha sido publicada en septiembre, esto habla de una cierta fortaleza del sistema métrico y de la comunidad investigadora en general. Como tiendo a no creerme la "maldad intrínseca" sin más, he ido a examinar el tema de las autocitas en las revistas en cuestión y las he comparado con otras que podrían servir de referencia. He calculado el porcentaje de autocitas correspondientes a los años 2006 y 2007 en relación con los articulos publicados en dichos años. Todos estos datos aparecen recogidos en el Journal Citation Reports. Esto es lo que he obtenido:

    Revista %Autocita Factor Imp
    J. Abn Psy 4.08%; 4.684
    J Cons Clin Ps 10.89%; 4.214
    Health Psy 8.4%; 2.966
    IJCH Psyc 71.55%; 2.946

    Brit J. Psy 3.5%; 1.604
    Span J. Psy 11.76%; 0.589
    Psicologica 14.28%; 0.361
    Scan J. Psych 17.24%; 0.609
    PSICOTHEMA 61.11%; 0.965

    Los porcentajes correspondientes a
    Psicotehma e IJCHP ascienden a 68.25% y 81.65% si se añaden las autocitas cruzadas entre las dos revistas.

    Me parecen unas cifras escalofriantes! y no tienen comparación con otras revistas nacionales o con las revistas de referencia en las respectivas áreas.

    Aviso a navegantes.: Durante el ejercicio anterior me he encontrado que en el año 2007, el European Psychologist supera
    en autocitas a los dos anteriores casos. ¿Quien esta detrás del EP?

    No obstante lo anterior, ya me pitan los oidos escuchando a determinados "ágrafos" de nuestra comunidad local diciendo que que los indices no sirven para nada y tratando de seguir con los "sistemas" tradicionales que tantos réditos les han dado. Hay que estar a la expectativa de lo que esta haciendo y hará la ANECA. No son precisamente, en general, los investigadores más brillantes los que están en los comités, si no más bien muchos que contribuyeron al estado de cosas actual.

    ResponderEliminar
  18. En una carta a Nature (6/10/2008), Jame Testa, responsable del Journal Citation Reports, escribe los siguiente:

    "The role of a journal’s impact factor as an objective and integral measure becomes questionable at this level of self-citation."

    NO HAY QUE DECIR MAS.

    ResponderEliminar
  19. Este es uno de los debates más interesantes que puede haber en nuestro sistema universitario. Revela viejos hábitos transmutados en nuevas prácticas. Corruptelas de tipos con pocos escrúpulos y bien conocidos por su consistente indecencia.

    En la famosa IJCHP figura como coeditor un hombre de gran prestigio en el ámbito de la PSiclogía Clínica (Alan Kazdin) a quien seguramente le repugnaría saber las malas prácticas que reflejan este chanchulleo continuado.

    Creo que hacen falta dos cosas: 1) Denunciar la situación de revistas como Psicothema y la citada IJCHP y 2) que los directores de revistas serias en España creen un código ético que permita desmarcarse de estos nuevos caciques y situar límites que marquen adecuadamente el territorio para sanear la situación en el futuro.

    ResponderEliminar
  20. Anónimo sáb oct 25, 09:36:00

    >>> Aunque también tengo mis reservas, puesto que se está acusando de manera frontal a personas concretas (véanse los 4 artículos citados y los comentarios al respecto) de manera que atenta contra ellas de manera improcedente.

    ¿De manera improcedente? Será improcedente si falto a la verdad, pero es fácilmente comprobable que no es así. No he tenido que hacer alta investigación para escribir lo que aquí señalo. Simplemente, he ido al Web of Science y he hecho un par de búsquedas sencillas. Después he mirado los artículos del IJCHP. Me encantará que me haga saber por qué son improcedentes mis comentarios, para aprender o rectificar.

    >>> ¿O hay alguien que permita que se conozca el nombre de sus pacientes cuando publica un artículo con resultados terapéuticos obtenidos a partir de dichos pacientes?

    Esto son ganas de retorcer argumentos. La ley y la moral obligan a la confidencialidad de los datos de los clientes. Sin embargo, los datos de autores que publican en revistas son claramente públicos.

    >>> Lo que molesta es que el editor de una revista prestigiosa, en nombre además de una sociedad científica, difunda esta información sin más.

    Aquí, como usted comprenderá, yo ni entro ni salgo. De hecho, no sé bien ni a qué se refiere.

    >>> Para empezar se pretende dañar deliberadamente la imagen de una entidad, la de la revista IJCHP, y además hay una acusación directa y frontal a 4 artículos.

    El problema es que contar las prácticas del IJCHP lleva a dañar la imagen de la revista. No matemos al mensajero...

    >>> Todo ello a partir de chascarrillos y rumores.

    Claro, porque todos sabemos que el Journal of Citation Reports entra claramente en la categoría 'chascarrillos'.

    >>> Las argumentaciones, el rigor y el respeto los olvidaremos.

    Argumentar, reconozco que no he argumentado demasiado. Los datos son tan claros que no hace falta argumentar en exceso, por lo evidentes que resultan. Le sigo invitando a que, pataletas aparte, demuestre que estoy equivocado.

    >>> No queda mucho tiempo para que alguno de estos firmantes del blog se plantee seriamente publicar en la revista a la que tanto ha criticado.

    De momento, me pilla bastante lejos de mi especialidad. Eso sí, he publicado y sigo enviando a otras que he criticado.

    >>> Creo francamente que los comentarios sobre la política de las revistas de investigación tiene que quedar en conversaciones de cafetería a menos que claramente se incumplan los dictámenes éticos, científicos y se denuncien a partir de pruebas claras y objetivas y según un proceso que todos deberíamos conocer –i.e, derecho a la réplica-.

    Se incumplen los criterios éticos y científicos y se denuncia a partir de pruebas claras. Entiendo que paso el criterio de filtro que usted solicita. Tiene todo el derecho a réplica del mundo. Lo está ejerciendo.

    >>> Si este es el diálogo además, que tire la piedra aquella revista que esté exenta de "estrategias" encubiertas y poco ortodoxas o de maniobras "sospechosas".

    El 'y ellos más' no sirve de nada. Hay chancullos en más revistas, desde luego, y todos y cada uno de ellos son criticables. Y no todos han de ser criticados a la vez y por la misma persona.

    Sinceramente, creo que las maniobras del IJCHP no son "sospechosas", sino que yo las daría por ciertas.

    Menciona usted prácticas de colegeo entre editores y autores, publicaciones de artículos pobres, etc. Si nadie manipulara el factor de impacto, estas revistas obtendrían un volumen de citas ínfimo, por lo que ellas mismas se hundirían. El IJCHP, al manipular el factor de impacto, reduce su valor y hace más difícil distinguir entre las de calidad y las de baja calidad.

    >>> Nadie es quién para decidir si “unos individuos” concretos tienen o no “permiso” para escribir sobre una temática. La Ciencia es la que contiene los criterios precisamente para decidir si un material, el que sea, y escrito por quien sea, es relevante y aporta algo a una temática especializada.

    Estamos de acuerdo. Cada cual puede elegir escribir sobre lo que quiera. El tiempo pondrá a cada cual en su lugar. Un modo de evaluar lo será, entre otros, las citas recibidas.

    Ahora bien, cuando un editor de revista invita a autores a escribir artículos y fuerza el que sean citados, resulta bastante más costoso saber si esos artículos valían la pena o no.

    >>> Me sorprende que en todo lo que figura en el blog, ni el escrito original ni las opiniones, aparezca ni un solo argumento que se base en la calidad de los materiales y/o de la revista que se critican.

    No se mencionan temas de calidad de los artículos porque no es de lo que estamos hablando. Imagino que los artículos, si han pasado un proceso de revisión exigente, serán de calidad de media hacia alta. Y me alegro por ello.

    Jamás diré que un artículo, por el hecho de estar publicado en el IJCHP, es malo. Las prácticas de manipulación de factor de impacto de una revista no desacredita a todos los artículos ahí publicados. Lo dicho, son temas bien diferentes. Y ahora estamos con uno de los dos temas, no con el otro.

    >>> A lo mejor resulta que la política editorial de incluir directrices explícitas sobre cómo optimizar los artículos de investigación en sus diferentes ámbitos, atendiendo además a la diversidad metodológica, mediante la recomendación de materiales elaborados y sopesados, es una opción encomiable más que reprochable.

    Esto sí que es torcer la realidad. Si el interés del IJCHP fuese únicamente mejorar la calidad de los artículos publicados:
    a) no forzaría la citación de estos artículos canónicos;
    b) no iría publicando cada cierto tiempo lo mismo, tras invitación del editor.

    ---

    No hay que olvidar que el factor de impacto, tal y como llega a una revista, se puede ir. Se expulsan revistas. Este último año, nueve.

    http://www.lacoctelera.com/documentacion/post/2008/10/16/expulsadas-del-reino-del-factor-impacto

    Mejor cambiar una práctica contraria a los objetivos del ISI que tener que llorar después. Creo que a los psicólogos españoles nos va mejor tener revistas con un impacto reducido (como el que puedan tener el Spanish o Psicológica), que no un gran factor de impacto en revistas que no se sabe cuándo van a ser expulsadas.

    ResponderEliminar
  21. Anónimo sáb oct 25, 02:15:00 PM 2008

    >>> Durante el ejercicio anterior me he encontrado que en el año 2007, el European Psychologist supera
    en autocitas a los dos anteriores casos.

    Las citas a artículos del 2007 durante el 2007 no cuentan para el factor de impacto. Para el factor de impacto del año X se cuentan las citas durante ese año a artículos de los años X-1 y X-2.

    Luego, aunque se disparen las autocitas para el mismo año, no se infla el factor de impacto.

    Creo que la causa para este elevado número de autocitas en la revista que comenta se encuentran en la publicación de un volumen especial. Al ser artículos todos ellos referidos al mismo tema, suele ser común que crucen citas.

    ResponderEliminar
  22. Pero ¿alguno de ustedes se toma en serio el tema del factor de impacto? ¿Piensa usted que el negociete de Thomson es algo más que eso?
    Todo esto es una patraña desde que se decidió valorar el contenido (lo publicado) por el continente (la revista), y para ello se recurrió al más que dudoso criterio del "impacto" a través de citas. En todas partes se cita a los amigos, a los conocidos y a los grupos no competidores. Los norteamericanos se citan entre sí, y nunca (bueno puede haber una excepción) citan estudios publicados en revistas extranjeras y mucho menos por autores extranjeros. En todo caso pueden ser generosos y citarte si publicas en una de sus revistas... pero sólo si no tienen a nadie mejor (léase colega) que citar.
    Por otra parte, hagan una prueba. Busquen un autor conocido y respetado, y luego miren a quién cita y de que revistas. Y si buscan a un competidor que trabaja en el mismo tema y que no forma parte de su "círculo" verán que jamás se citan, porque citar es reconocer lo que hace el otro.
    Por otra parte, hay muchas revistas "serias" donde pagas por publicar (literalmente), y no precisamente españolas.
    En fin, que creo que todo esto son los efectos secundarios de la disparatada práctica del "factor de impacto", en manos de una empresa particular. Ya lo advertían nuestros colegas extranjeros, "hay que publicar para sobrevivir", y si sobrevivir depende del "factor de impacto" puestas las reglas llegan las trampas, que no son "typical Spanish". No que las hay en todos los sitios.

    ResponderEliminar
  23. >>> Pero ¿alguno de ustedes se toma en serio el tema del factor de impacto?

    La ANECA, por ejemplo.

    >>> Todo esto es una patraña desde que se decidió valorar el contenido (lo publicado) por el continente (la revista), y para ello se recurrió al más que dudoso criterio del "impacto" a través de citas.

    Hay otro modo de verlo. En una universidad española donde se contrata por criterios bien diferentes al mérito, ha acabado por ser necesario el guiarse por indicadores de validez dudosa, pero que rompen la dinámica perversa de las comisiones de selección.

    Estoy de acuerdo en que se usa el factor de impacto mal. Si uno quiere medir el impacto de una artículo publicado en el año 2000 en Science, no tiene sentido coger el factor de impacto de esa revista. ¿Para qué coger un promedio cuando uno tiene acceso a la información del número de citas de ese artículo en concreto?

    >>> En todo caso pueden ser generosos y citarte si publicas en una de sus revistas...

    Esto es como ser presentador de un programa en Tele_pueblo_perdido y quejarte de que nadie por la calle hable de él. Publicar fuera de las revistas de amplia distribución internacional en nuestras áreas (y todos sabemos cuáles son) es saber que el mensaje no va a llegar a sus destinatarios. O que va a costar mucho más. Salvo que nuestros destinatarios sean nacionales, lo cual habría de ser más bien la excepción.

    >>> Por otra parte, hay muchas revistas "serias" donde pagas por publicar (literalmente), y no precisamente españolas.

    Yo, al menos, no pongo pega alguna a que cobren por publicar. En la medida que pueda, intentaré evitar este tipo de revistas, pero cada cual puede decidir lo que quiera y le convenga. Eso sí, entiendo que estamos hablando de pagar una vez aceptado después de un proceso de revisión serio y exigente.

    >>> Ya lo advertían nuestros colegas extranjeros, "hay que publicar para sobrevivir".

    Sí, claro. Nos pagan por crear y hacer de acceso público el conocimiento. Esto implica publicar.

    ResponderEliminar
  24. ¿Qué le sucede al tal Topo Universitario, que se toma todo en plan de réplicas, hasta argumenta los puntos y las comas? Parece que le fuera la vida en esto de dejar claro lo de los Índices de Impacto. ¿Formará parte de la nómina de Thompson tal vez? Vaya, lo que hay que leer...

    ResponderEliminar
  25. Anónimo lun oct 27, 02:28:00 PM 2008

    >>> ¿Qué le sucede al tal Topo Universitario, que se toma todo en plan de réplicas, hasta argumenta los puntos y las comas?

    Con este comentario, parece que es la primera vez que asoma la nariz a un blog. Bienvenido a este mundo de intercambio y conversación.

    ResponderEliminar
  26. Más leña al fuego: Acabo de leer en EC3 noticias que han renovado y actualizado In-Recs. Entre las novedades se encuentra la posibilidad de obtener datos de autocitación y de instituciones y autores citantes, algo muy pertinente para la discusión en la que estais enfrascados por estos lares. Podeis revisar todas las revistas de Psicología. Os recomiendo que de cada revista mireis el apartado "Perfil bibliométrico".

    ResponderEliminar
  27. >>>> Alvaro Roldán dijo...
    Más leña al fuego: Acabo de leer en EC3 noticias que han renovado y actualizado In-Recs....



    Sin embargo, algo que llama la atención es que el grupo de Granada que comenzó la encomiable labor de crear el índice In-Recs no tuviese, ni parezca tener, los sistemas de control necesarios para alertar de índices de impacto que levantaban sospechas más que fundadas. Pero esto es algo que, sorprendentemente, reclamamos de Thomson. Somos sociedades pequeñas, donde todos nos conocemos, y seguramente esto hace más difícil prácticas de confrontación. (Por cierto, Granada es una ciudad no muy grande). Pero ¿no resulta llamativa esta dejación?

    Se puede aducir que esto no es tarea del grupo, pues se han empleado métodos bibliométricos asépticos. Pero, dejando de lado si esto es posible en la actividad científica, creo que sí es responsabilidad del grupo crear un sistema fiable y que ofrezca garantías de legitimidad. En Psicología, el caso que se cita en este blog puede hacer un gran daño porque da argumentos a aquellos que desconfían de estos indicadores y se amparan en su propia mediocridad para poner en cuestión cualquier indicador objetivo de productividad.

    No puede entenderse que estas revistas hispanas alcancen, algunas con una vida extraordinariamente corta, índice de impacto comparables o superiores a revistas con un notable prestigio y una larga trayectoria. ¿Nadie alerta a Thomson de estas prácticas? ¿No se ponen en marcha sistemas de autocorrección? Todo esto guarda relación con la cultura del pelotazo, tan nuestra, en la que la riqueza se obtiene del compadreo, el uso de información privilegiada, y valerse de resquicios legales. Nada que tenga que ver con el esfuerzo sostenido y tenaz.

    Y otra cosa, ya que estamos puestos. La propia página del In-Recs induce confusión. Se abre con el uso del logo institucional del Ministerio. No sé si esto es legal o rompe algún mandamiento escrito o no (¿puede utilizarse el nombre del MEC en vano?). Pero en cualquier caso, dado el tipo de información que se ofrece en la página, no creo que sea una práctica adecuada y aceptable. El infierno está empedrado de buenas intenciones. Es posible que simplemente el único fin sea agradecer al Ministerio la financiación de proyectos pero creo que genera confusiones innecesarias parapetarse detrás de logos institucionales. Quizás los responsables puedan pensar que se trata de "proyectos de investigación" financiados, pero el uso del logo bajo el título "Financiado", puede confundirse como una innecesaria táctica de camuflaje. Tiene financiación del MEC pero no son datos oficiales ni una página institucional. Todos sabemos a qué jugamos y dónde estamos, o deberíamos ser conscientes de ellos. Y si lo somos, y se insiste en esas prácticas, es una mala señal.

    Así están las cosas y así nos luce el pelo.

    Un exiliado interior.

    ResponderEliminar
  28. Tanto el comentario principal como el resto de los comentarios muestran a las claras que se ha producido un intento sistemático de manipulación, lo que constituye, sin duda alguna, un fraude cientifico. En este sentido son muy interesantes las declaraciones del editor del New England Journal of Medicine que aparecen hoy en El Pais. Dice que si un cientifico miente, simplemente arruinan su reputación. Os dejo el link por si estais interesados.

    http://www.elpais.com/articulo/sociedad/cientifico/nos/miente/arruinamos/carrera/elpepusoc/20081101elpepisoc_9/Tes

    ResponderEliminar
  29. Con respeto a la distribución de las citas, que es el primer argumento del autor de éste blog, lo que se observa en la revista IJCHP no es una anomalía sino la norma. Ésta distribución de ley de potencia es un fenómeno muy común no solo en la distribución de citas sino en muchas otras redes sociales, físicas o biológicas. Es además una de las razones porque no es válido utilizar el factor de impacto de las revistas para la evaluación de los individuos que publican en ellas, ya que aunque uno publique en una revista con alto factor de impacto, lo más probable es que su artículo se encuentre en la cola de la distribución con una o cero citas (es decir cero impacto según los índices bibliométricos). Eugene Garfield, el fundador de ISI, fue el primero que advirtió sobre este error pero parece que no le hemos mucho caso.

    Personalmente señalaría cómo una “anomalía” mayor el hecho de llamar “internacional” una revista que es claramente un asunto nacional por no decir local.

    En general y sin la intención de criticar o justificar las practicas llevadas acabo por los editores de IJCHP, creo que el problema fundamental, no solo en España sino en todo el mundo académico, es el sistema de evaluación de la calidad científica mediante el factor de impacto y otros índices bibliométricos. La utilización de éstos índices esta en gran parte responsable para la conversión del sistema de publicaciones académicas en un negocio de inmensas proporciones (sobre todo en el campo de biomedicina) que perjudica autores, lectores y el proceso científico en general. Para una discusión amplia sobre el problema lean:

    http://www.int-res.com/abstracts/esep/pp13/

    y los demás artículos en ese “theme section” de la revista.

    ResponderEliminar
  30. Muy interesante la idea de la repercusión. Que siga funcionando este blog, compartiendo más interesante material. Saludos!

    ResponderEliminar
  31. ¿Qué le sucede al tal Topo Universitario, que se toma todo en plan de réplicas, hasta argumenta los puntos y las comas? Parece que le fuera la vida en esto de dejar claro lo de los Índices de Impacto. ¿Formará parte de la nómina de Thompson tal vez? Vaya, lo que hay que leer...

    ResponderEliminar