Revisión por pares: proceso devaluado

La revisión por pares es un proceso pensado para garantizar la calidad de los artículos que aparecen en publicaciones científicas. Consiste básicamente en lo siguiente: cuando una revista recibe un manuscrito para su publicación, es revisado por diferentes expertos en esa materia. Para garantizar que el procso es imparcial, estos revisores - los pares - reciben el artículo sin identificar al autor. Esta revisión por varios expertos en el tema se supone que garantiza que sólo se acepten artículos de calidad, rechazando los que no cumplan ese requisito o recomendando cambios.

Se supone. Los científicos, los investigadores, son personas como las demás, con sus pasiones, rencores, envidias, etc. Este proceso de revisión ha sido criticado ampliamente, entre otras razones, por el hecho de que estos revisores no son imparciales, en el sentido de que si topan con un artículo que sigue una línea que es diferente a la que ellos mismos llevan, o que apoya ideas que no son convencionales, este sesgo se reflejará en su evaluación del artículo, llegando incluso a rechazarlo para su publicación. Esto no afecta sólo a los artículos sobre experimentos psi o ciencia de frontera, sino que temas "normales" también son susceptibles de verse favorecidos o no por revisores que están de acuerdo con las ideas presentadas o no lo están. Sobre este tema es genial leer la página de J. M. Campanario, de la Universidad de Alcalá de Henares, sobre temas como la resistencia al descubrimiento científico o los fallos del sistema de revisión por pares, entre otros.

Este tema fue tratado en un programa de radio de la BBC en 2008, que ahora vuelve a emitirse. Lo siguiente es una traducción de su presentación (extraído de esta página):

"Mark Whitaker investiga la devaluada imagen de un proceso dañado. La revisión por pares se supone que es la pieza clave del control de calidad para los proyectos de investigación y estudios académicos, aunque en los últimos 20 años se han ido acumulando pruebas de sus muchas deficiencias. Abogados americanos han comenzado a desafiar los testimonios de los expertos basándose en que la revisión por pares no garantiza la calidad. La adecuada revisión por pares en campos como la medicina puede ser cuestión de vida o muerte".

Participan en el programa:


- Prof. Drummond Rennie, editor del Journal of the American Medical Association
- Sir Iain Chalmers, director, James Lind Library
- Fiona Godlee, editora del British Medical Journal
- Doug Altman, Centre of Statistics in Medicine, Oxford.
- Stephen Lock, editor retirado del British Medical Journal
- Richard Smith, editor retirado del British Medical Journal
- Prof. David Rosner, City University New York
- Prof. Gerald Markowicz.

¿Podemos entonces fiarnos de los artículos que aparecen en las revistas científicas? La respuesta es sí. La cuestión es tener en mente que los contenidos de esas revistas no incluyen todo lo que hay o todo lo que se investiga, sino sólo aquello que es aceptado por los editores y revisores. Razón por la cual es habitual encontrar artículos de investigaciones que no son aceptadas por la "corriente principal de la ciencia" en revistas poco conocidas, que suelen recibir menos cantidad de solicitudes de publicación y están, tal vez, menos motivadas por intereses o mantener un status.

Percepción extrasensorial (ESP) en sueños (I)

Los experimentos sobre telepatía en sueños son de los experimentos más interesantes en la investigación en percepción extrasensorial (ESP), y en mi opinión, en la psicología en general. La idea es simple pero atrevida: ¿podemos influir el contenido de los sueños de otra persona?

La definición de telepatía que utilizo es la de Warcollier: “la comunicación de emociones, ideas, imágenes mentales, sensaciones o palabras, de un individuo a otro, sin la ayuda de los sentidos físicos”. Añadir a esta definición que la opción de obtener esa información por medio de inferencia o razonamiento debe quedar también descartada.

El origen de la investigación sobre ESP en sueños podemos resumirlo en: (1) en encuestas sobre experiencias espontáneas se observaba un gran porcentaje de experiencias psi durante los sueños (y otros estados alterados de consciencia); (2) el cansancio de los investigadores de los métodos cuantitativos (de elección forzada, como las cartas Zener) y el enfoque del interés en métodos cualitativos que ofrecieran mayor información sobre características de la experiencia y procesos subyacentes; (3) la aparición del EEG (electroencefalograma) que permitía identificar con precisión las diferentes fases del sueño.

Estos experimentos fueron realizados, principalmente, por Montague Ullman y Stanley Krippner. En 1962, el psiquiatra M. Ullman estableció un laboratorio del sueño en el Maimonides Medical Center (Brooklyn). Antes de que cerrara, en 1978, su equipo de investigación había realizado 13 estudios formales de ESP en sueños y 3 grupos de sesiones piloto. El diseño típico de los experimentos realizados en el Maimonides contaba con un emisor y un receptor. El procedimiento del Maimonides se desarrolló y mejoró a lo largo del tiempo, y se exploraron diferentes variaciones en el procedimiento.

Procedimiento

El procedimiento básico era el siguiente: receptor dormía en una sala en el laboratorio, a prueba de sonidos y de ondas electromagnéticas. Se registraba su actividad electroencefalográfica y sus movimientos oculares (EEG-EOG). Una vez que el receptor es situado en la habitación, no tenía más contacto con ningún experimentador hasta la mañana siguiente (el único contacto será a través de intercomunicador, y sólo del receptor hacia el experimentador). Cuando el receptor está durmiendo, se seleccionaba un objetivo aleatoriamente (normalmente imágenes de cuadros) de un fondo de varios posibles, seleccionados todos ellos a partir de su intensidad emocional, viveza, color y simplicidad. El objetivo era entregado en un sobre sellado al otro sujeto del experimento (el emisor), quien era encerrado en otra sala insonorizada en el edificio (en algunos estudios, en otro edificio). La actividad EEG-EOG del receptor era continuamente registrada, y cuando entraba en sueño REM, se le indicaba al emisor (a través de un zumbido). Entonces el emisor abría el sobre y trataba de transmitir el contenido de la imagen al sueño del receptor. A final del periodo REM el receptor era despertado (a través de un intercomunicador) y se le pedía que describiese el sueño que había tenido.

Esto se repetía tras cada periodo REM. Todas las respuestas del sujeto tras cada periodo REM, así como la respuesta que daba del recuerdo del sueño por la mañana, eran registradas. El emisor oía, a través de un altavoz, la descripción del sueño que hacía el emisor, a modo de feedback. Una vez que el recetor había contado su sueño, volvía a dormir, y el proceso se repetía tras cada periodo REM, siendo el objetivo utilizado durante toda la noche el mismo, es decir, la misma imagen. Por la mañana, al receptor se le mostraban normalmente entre 8 y 12 imágenes, siendo una de ellas la imagen objetivo, y en función de sus impresiones durante el sueño, seleccionaban la que creían más se correspondía. El receptor ofrecía un índice para cada imagen (en los primeros estudios la escala era de 1-5, pero en posteriores se llegó a usar una escala de 1-100), y las colocaba en orden de acuerdo con su correspondencia con su sueño. Las transcripciones completas de los sueños y el conjunto de imágenes que habían sido mostradas al sujeto eran enviadas a jueces independientes para que realizaran un juicio similar sobre la similitud de las imágenes y el contenido del sueño. Si, por ejemplo, hay 8 imágenes, los jueces puntuarán entre 1 y 8 en función del parecido que observen entre cada imagen y la transcripción del receptor. Se combinaban las evaluaciones de los diferentes jueces. Un ensayo era un “éxito” si la imagen objetivo había sido evaluada en la primera mitad del conjunto (entre 1-4), y un “fallo” si era situada en la segunda mitad (entre 4-8). Se evaluaban estos resultados para ver si eran significativamente mayores o menores que lo esperado por azar (MCE). El índice de acierto por azar es del 50%.

El procedimiento fue diferente en alguno de los experimentos, utilizando por ejemplo diferentes imágenes (objetivos) para cada periodo REM, o ensayos con varios emisores, o ensayos con ninguno, etc. En otros estudios el objetivo eran secuencias de diapositivas acompañadas de música. En el último estudio del Maimonides se utilizaron imágenes en vídeo como objetivo.

Resultados

Child publicó una revisión de los resultados de la primera serie de experimentos en la revista American Psychologist, en 1985. Concluyó que “el resultado está claro. Varios segmentos de los datos, considerados separadamente, arrojan evidencia significativa de que los sueños tienden a parecerse a la imagen elegida aleatoriamente como objetivo más que lo que se parecen a otras imágenes del total”.

Un meta-análisis de 450 ensayos basados en los datos provenientes de valoración de jueces muestra un índice de éxito general del 63% (MEC: 50%) La probabilidad de alcanzar este resultado por azar: 75 millones a 1 (Radin, 1997)

Las críticas principales se refieren a la falta de replicación (Hyman, 1986; Krippner, 1991; Parker, 1975) y el número de análisis estadísticos y por quienes fueron realizados (Child, 1985; Parker, 1975). Child (1985) encontró dos áreas principales de dificultad cuando evaluó los resultados de los estudios del Maimonides:

(1) los análisis habían sido pasados a varios consultantes y los datos en bruto no estaban ya disponibles; esto puede explicar alguna de la variación en el tratamiento de los datos y el análisis estadístico, y la inadecuada descripción de los análisis en algunos informes publicados.

(2) en algunos de los primeros estudios, los juicios de los jueces independientes pueden no haber sido completamente independientes, de modo que pueden haber derivado señales sobre la identidad del objetivo a partir de otras transcripciones (Clemmer, 1986). Esto no explicaría los resultados exitosos obtenidos a partir del juicio de los propios participantes (que elegían la imagen correcta) ni los de estudios posteriores, donde las transcripciones eran editadas y presentadas en orden aleatorio (Krippner, 1991). Alcock (1981) criticó los estudios por la falta de un grupo control, pero los controles en estos estudios son los otros estímulos que no son el objetivo con los que la transcripción del sujeto es comparada. También se ha sugerido el fraude como una posible explicación de los resultados (p.e., Clemmer, 1986) pero no se ha propuesto ningún mecanismo plausible para el fraude, lo que convierte a esta crítica en una crítica no válida.

UCTV: Televisión de la Universidad de California

El canal de televisión de la Universidad de California (UCTV) (http://www.uctv.tv/) ofrece varios programas y conferencias sobre temas diversos, tales como: arte y música, salud y medicina, ciencia, humanidades, etc. Hay unas interesantes conferencias sobre cerebro, mente y conducta (bajo el nombre de Grey Matters). Son en inglés, aunque algunas, como la conferencia de la serie Grey Matters sobre La mente y la música tiene la opción de subtítulos en español (aquí) En Youtube, el UCTV cuenta con un canal con sus programas

Mente y meditación

Os recomiendo este vídeo de Vicente Simón (Universidad de Valencia) hablando sobre la mente y la meditación. Es una breve entrevista en el programa REDES.

Podéis conocer algo más sobre el trabajo de Vicente Simón en su página: http://vicentesimon.com/, y también en ésta: http://www.mindfulnessvicentesimon.com/