Apuntes: Meta-análisis

Aprovechando el material teórico del curso "Psicología de la Experiencia Anómala y Parapsicología" que comentaba en la entrada anterior, voy a poner aquí fragmentos de ese material por si a alguien le interesa y sobre todo por si alguien quiere comentarlo y así mejorarlo de cara a futuras ediciones del curso.

Por ejemplo, uno de los temas del curso es el meta-análisis. Obviamente no hacemos una revisión exhaustiva (no estoy yo capacitado para eso), sino que dado que su uso en parapsicología es bastante frecuente recientemente, es necesario saber en qué consiste, con qué idea se hace y qué conclusiones ueden y no pueden extraerse de él. Recuerdo, sin embargo, que el meta-análisis no es algo exclusivo de la parapsicología, sino que su uso está bien difundido entre las ciencias "blandas", como la psicología, es decir, aquellas que tratan con elementos tan variables como seres humanos.

A continuación copio un resumen de lo incluido sobre el meta-análisis en el material del curso:

"Una de las principales cuestiones en el debate sobre la realidad de los fenómenos psíquicos es si los resultados obtenidos en laboratorio son replicables. Algunos críticos han insistido en que los resultados deben ser replicados a voluntad, pero este requerimiento no es una petición realista en la investigación en torno a procesos psicológicos. Recientemente, una técnica llamada meta-análisis ha sido ampliamente utilizada en psicología y otras ciencias para tratar esta cuestión de una manera relativamente objetiva.

El meta-análisis (MA) analiza datos de diferentes estudios, algo así como si cada estudio fuera un sujeto individual, y sirve para ver tendencias en los resultados a largo plazo, efectos globales o patrones en los datos; es decir, factores que no pueden ser observados en estudios individuales. Su uso no es exclusivo de la parapsicología. Sus dos funciones principales son la acumulación de resultados y la investigación de los diferentes factores que puedan explicar esos resultados. Si se realiza correctamente, teóricamente puede determinar si un efecto es genuino y qué variables influyen en él.

El primer paso es obtener estudios publicados que traten un efecto o hipótesis común. El núcleo del procedimiento es convertir los resultados a un valor p, convertir el valor p a una puntuación z, y sumar las puntuaciones z y dividir el resultado por la raíz cuadrada del número de estudios. Esto proporciona un estadístico llamado Z de Stouffer, y entonces se consulta el valor p asociado con la Z de Stouffer para determinar si el grupo de experimentos considerados como un todo es estadísticamente significativo. El meta-análisis también presta gran atención al tamaño del efecto, una medida estandarizada de la fuerza de la relación. La forma más simple y más aplicada para calcular el tamaño del efecto de un estudio es tomar la z derivada del valor p y dividirla por la raíz cuadrada del número de puntuaciones. El tamaño del efecto para la muestra como un todo es entonces simplemente la media de los tamaños de efectos de estudios individuales. Un estudio es considerado que ha sido exitosamente replicado si el tamaño del efecto del segundo estudio cae en el intervalo de confianza del 95% del tamaño del efecto del primer estudio. Algunas veces el meta-análisis considera la dispersión, o hetereogeneidad, de los resultados del estudio individual. Hetereogeneidad significativa es en ocasiones tomada como evidencia de falta de replicabilidad. A menudo el meta-análisis trata de evaluar si una muestra produce confirmación de una hipótesis dada a causa de artefactos metodológicos. El modo más común de tratar esta cuestión es codificar los estudios individuales por su calidad metodológica y correlacionar esos códigos de calidad con el tamaño del efecto o las puntuaciones z de los estudios. Una correlación positiva significativa significa que los artefactos metodológicos jugaron un papel importante en los resultados, y por tanto la conclusión de que la hipótesis es correcta es sospechosa.

El meta-análisis requiere al menos un grupo moderadamente grande de estudios que evalúen la misma hipótesis con metodologías comparables. Idealmente, deberían ser replicaciones conceptuales, cuando no directas. Los investigadores en parapsicología toman la cuestión de la replicación muy en serio. Esto ha dado lugar a un gran número de meta-análisis de varios paradigmas experimentales.

Sin embargo, el meta-análisis requiere una serie de decisiones subjetivas que son tomadas por quien lo realiza. Una es la decisión de qué estudios incluir. Otra cuestión es la de cómo derivar códigos de calidad: unos investigadores creen que deben incluirse todos los experimentos disponibles que traten la hipótesis en cuestión y otros opinan que deben incluirse sólo los que cumplan ciertos requisitos de calidad; con frecuencia esto ofrece resultados diferentes en meta-análisis hechos por diferentes autores, aunque lo hagan sobre un mismo tema".