Los peligros de malinterpretar y hacer un mal uso del “sesgo de publicación” en los metanálisis: una revisión educativa sobre los métodos basados ​​en gráficos en embudo

Resumen

El sesgo de publicación se refiere a una desviación sistemática de la verdad en los resultados de un metanálisis debido a la mayor probabilidad de que los estudios publicados se incluyan en los metanálisis que los estudios no publicados. El sesgo en la publicación puede dar lugar a recomendaciones engañosas para la toma de decisiones y la formulación de políticas. En esta revisión educativa, presentamos, explicamos y brindamos soluciones a los usos indebidos y malas interpretaciones generalizados del sesgo de publicación que afectan la síntesis de evidencia en la medicina del deporte y el ejercicio, con un enfoque en los métodos comúnmente utilizados basados ​​en gráficos en embudo. El sesgo de publicación se evalúa de forma más rutinaria mediante la inspección visual de la asimetría del gráfico en embudo, aunque constantemente se ha considerado poco confiable, lo que ha llevado al desarrollo de pruebas estadísticas para evaluar el sesgo de publicación. Sin embargo, la mayoría de las pruebas estadísticas de sesgo de publicación (i) no pueden descartar explicaciones alternativas para la asimetría del gráfico en embudo (p. ej., heterogeneidad entre estudios, elección de métrica, probabilidad) y (ii) carecen de poder estadístico suficiente, incluso cuando se utiliza un umbral mínimo arbitrario de diez o más estudios. Realizamos una investigación de metainvestigación transversal sobre cómo se evaluó el sesgo de publicación en revisiones sistemáticas con metanálisis publicados en las dos principales revistas de medicina deportiva y del ejercicio a lo largo de 2021. Este análisis destaca que el sesgo de publicación con frecuencia se utiliza y malinterpreta, incluso en revistas de primer nivel. Debido a problemas conceptuales y metodológicos al evaluar e interpretar el sesgo de publicación, las estrategias preventivas (p. ej., prerregistro, informes registrados, divulgación de desviaciones del protocolo e informe de todos los hallazgos del estudio independientemente de su dirección o magnitud) ofrecen la mejor y más eficiente solución para mitigar el sesgo de publicación. mal uso y mala interpretación del sesgo de publicación. Debido a que el verdadero sesgo de publicación es muy difícil de determinar, recomendamos que en futuras publicaciones se utilice el término “riesgo de sesgo de publicación”.

1 Introducción

Las revisiones sistemáticas que contienen metanálisis combinan descriptivamente y agregan cuantitativamente los resultados de varios estudios individuales (si son suficientemente homogéneos) para resumir conjuntos de evidencia de investigación (1,2,3,4,5,6,7,8,9,10,11). Sin embargo, los resultados de las revisiones sistemáticas pueden estar sesgados cuando hay informes selectivos de resultados o análisis estadísticos dentro de estudios de investigación individuales dependiendo de la dirección, magnitud y quizás más profundamente, la significancia estadística de sus resultados.2). El sesgo en el informe de resultados ocurre cuando los autores informan sólo un subconjunto, típicamente estadísticamente significativo, de todos los resultados medidos en el artículo publicado.4, 5, 12,13,14,15,dieciséis,17,18,19,20,21,22,23). El sesgo de información puede interpretarse alternativamente como un término general que abarca varios sesgos, incluido el sesgo de publicación (23,24,25,26,27,28).

Los estudios con resultados estadísticamente significativos tienen más probabilidades de publicarse en revistas revisadas por pares que los estudios con resultados estadísticamente no significativos (3, 4, 9, 13, 14, dieciséis, 17, 29,30,31,32,33,34,35,36,37,38). El sesgo de publicación se refiere a la elección diferencial de publicar estudios dependiendo de la naturaleza y direccionalidad de sus resultados (Recuadro 1) (3,4,5, 14, dieciséis,17,18, 21, 23, 25, 29, 34, 38,39,40,41,42). Los autores informan periódicamente los resultados de los estudios y los envían para su publicación en revistas revisadas por pares. solo cuando los hallazgos del estudio son intrigantes, impresionantes y superan el umbral de significación estadística. De manera similar, los editores de revistas aceptan regularmente manuscritos enviados para su publicación en revistas revisadas por pares cuando los resultados del estudio interesan a los lectores clínicos y científicos, atraen la atención de los medios de comunicación y mejoran el factor de impacto de una revista, todo lo cual está fuertemente influenciado por si los resultados del estudio son estadísticamente significativo (3,4,5, 14, dieciséis,17,18, 21, 23, 25, 29, 34, 38,39,40,41).

Esta publicación preferencial de estudios estadísticamente significativos tergiversa regularmente la verdadera distribución de los tamaños del efecto de los estudios individuales y puede generar recomendaciones engañosas para la toma de decisiones y la formulación de políticas (12, 39, 43). Los estudios publicados, que generalmente tienen tamaños de efecto mayores que los estudios no publicados del mismo tamaño de muestra, también se ubican más fácilmente en la literatura científica y, por lo tanto, es más probable que sean identificados e incluidos en los metanálisis (2). Aunque los sesgos de (no) informe analítico o de resultados pueden evaluarse si los estudios publicados tienen protocolos prerregistrados/publicados (4, 14,15,dieciséis,17, 19, 21, 26, 28, 43, 44), detectar el sesgo de publicación es más complicado (14).

Cuando la literatura está dominada por estudios pequeños, como es común en los campos del deporte y la medicina del ejercicio y las ciencias del deporte (45) (en adelante, ciencia del deporte y el ejercicio o SES), los resultados de los metanálisis a menudo se contradicen con estudios posteriores con tamaños de muestra más grandes (30, 43). Los estudios más pequeños tienden a seguir métodos menos rigurosos y exhiben tamaños de efecto más grandes (3, 5, 9, 27, 30, 43). Independientemente de la dirección de los efectos, el predominio de estudios pequeños, que experimentan mayores cambios en el tamaño del efecto en respuesta a errores sistemáticos (es decir, sesgos como técnicas analíticas flexibles) y errores aleatorios (como variaciones dramáticas de muestreo), puede sesgar la interpretación. de resultados metanalíticos (26, 46). Estudios más amplios, a pesar de no ser inmunes a sus propios sesgos que pueden influir negativamente en la precisión del tamaño del efecto (34, 42, 47, 48), identifican el tamaño del efecto del estudio con mayor precisión (es decir, con menor variabilidad).

La evaluación del posible sesgo de publicación en los metanálisis determina si el tamaño del efecto resumido podría estar sesgado. Existen muchos métodos para evaluar la posible presencia de sesgo de publicación en un metanálisis. Tanto los gráficos como las pruebas estadísticas existen para considerar (i) si hay alguna evidencia de sesgo de publicación, (ii) si el tamaño del efecto resumido en un metanálisis podría deberse al menos en parte al sesgo de publicación, y (iii) qué influencia tiene. El sesgo de publicación podría afectar el tamaño del efecto de resumen (49). Esta revisión educativa tiene como objetivo educar a las comunidades de investigación de SES sobre los métodos para evaluar el posible sesgo de publicación en los metanálisis, su uso y cómo la interpretación de los hallazgos de la evaluación puede influir en las conclusiones de la revisión. La atención se centra en las pruebas basadas en gráficos en embudo, debido a su prevalencia en revisiones sistemáticas (42).

Cuadro 1. ¿Qué es el sesgo de publicación?

Los estudios estadísticamente significativos tienen más probabilidades de publicarse, se identifican más fácilmente en la literatura científica y, por lo tanto, es más probable que aparezcan en metanálisis en comparación con los estudios estadísticamente no significativos. Debido a que los estudios con tamaños de efecto más grandes tienen más probabilidades de ser estadísticamente significativos que los estudios con tamaños de efecto más pequeños (dado el mismo tamaño de muestra), los estudios incluidos en los metanálisis tienden a tener tamaños de efecto sistemáticamente mayores que aquellos que no están identificados para su inclusión en el metanálisis. -análisis. Por lo tanto, el sesgo de publicación se refiere a una desviación sistemática de la verdad en los resultados de un metanálisis debido a la mayor probabilidad de que los estudios publicados se incluyan en los metanálisis que los estudios no publicados. La evaluación del sesgo de publicación mediante gráficos visuales o pruebas estadísticas asociadas no puede determinar de manera concluyente si los tamaños del efecto de los estudios incluidos y los posibles estudios “faltantes” sobreestiman el verdadero tamaño del efecto resumido en un metanálisis. Por lo tanto, lo que se evalúa es el “riesgo de sesgo de publicación” o el “sesgo de publicación potencial”, en lugar de simplemente el “sesgo de publicación”, para juzgar el riesgo de que exista sesgo de publicación.

2 ¿Existe posible evidencia de sesgo de publicación? ¿Qué significa realmente la asimetría del gráfico en embudo?

La presencia de un posible sesgo de publicación en un metanálisis generalmente se evalúa mediante el análisis de la asimetría del gráfico en embudo (1, 2, 4, 5, 8, 9, 12, 18, 27, 29, 30, 39, 40, 43, 50, 51). Los gráficos en embudo son diagramas de dispersión (5, 8, 12, 25, 27, 29, 52) que trazan alguna medida del tamaño del estudio (p. ej., tamaño de la muestra o error estándar) frente a una medida del tamaño del efecto del estudio (1, 4, 9, 29, 30, 40, 43, 53). Se pueden utilizar varias métricas para representar el tamaño del efecto del estudio, como métricas binarias estandarizadas del tamaño del efecto (p. ej., odds ratio o ratio de riesgo) (10, 12) o métricas continuas estandarizadas del tamaño del efecto (p. ej., Hedges’ gramo, eta-cuadrado parcial). La precisión estimada del tamaño del efecto de un estudio aumenta a medida que aumenta el tamaño de la muestra del estudio (29, 30, 43). Los gráficos en embudo pueden tener contornos mejorados y presentar una o más áreas de importancia estadística (p. ej., pag< 0,1, pag< 0,05, y/o pag< 0,01 con intervalos de confianza del 90%, 95% y/o 99%, respectivamente), y son particularmente útiles para identificar valores atípicos y guiar los análisis de sensibilidad (5, 17, 35, 40, 50, 53). Los gráficos de embudo también pueden mostrar una segunda línea vertical superpuesta que indica el tamaño del efecto nulo (por ejemplo, ln odds ratio = 1 o Hedges’ gramo= ~ 0) para identificar fácilmente estudios con un tamaño del efecto cercano al efecto nulo, que probablemente no sean significativos (27).

Los estudios más pequeños producen tamaños de efecto que varían ampliamente, tienen errores estándar más grandes y están dispersos cerca de la base del gráfico en embudo. Por el contrario, los estudios más grandes producen tamaños de efecto más consistentes y tienen una distribución más estrecha de tamaños de efecto cerca de la parte superior del gráfico en embudo. Esto da como resultado un error estándar más pequeño y una forma de embudo invertida (4, 5, 9, 12, 17, 24, 27, 29, 30, 39, 43, 50, 53). Se pueden crear gráficos en embudo con un análisis ponderado para reducir los efectos de los estudios pequeños (es decir, los estudios más pequeños tienen tamaños de efecto más extremos que los estudios más grandes) (31, 43). Sin embargo, los estudios más grandes con menos eventos de resultados serán menos potentes que los estudios pequeños con más eventos de resultados, por lo que los estudios con distintos tamaños de muestra pueden presentar errores estándar similares.10).

Inspeccionar visualmente la asimetría del gráfico en embudo (Fig. 1) es muy subjetivo y potencialmente engañoso (5, 17, 30, 39, 43, 46, 51, 52) y, en la práctica, basado en gráficos en embudo…

Traducido automáticamenteTruncado a 10000 caracteres
Publicación Original

0 comentarios

Enviar un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Próximas formaciones

Curso

Curso en Prevención de Lesiones del Sprint, Salto y Cambio de Dirección en el Deporte

El entrenamiento de habilidades motoras específicas en el deporte es esencial para la mejora del rendimiento deportivo. Por lo que los procesos de aprendizaje motor, desarrollo motor y control motor resultan clave en la progresión y la mejora de las habilidades específicas.En el contexto de los deportes abiertos o de decisión, como los deportes individuales y de equipo de dinámica intermitente, el entrenamiento de habilidades motoras específicas como el sprint, el salto y los cambios de dirección, es la base para la mejora de la técnica deportiva y la táctica (individual y colectiva), ya que las mismas se incluyen en los episodios de duelo y todas las variantes de juegos en espacio reducido y deporte formal.Por lo que se considera de importancia fundamental la progresión correcta en el desarrollo metodológico de las habilidades, el control en la ejecución, y los aspectos mecánicos y fisiológicos a tener en cuenta en la prevención de lesiones relacionadas a las mismas.El presente curso propone el abordaje de las principales habilidades motoras deportivas, como el sprint, el salto y los cambios de dirección, de manera de brindar herramientas para su comprensión, análisis, control de ejecución, y metodología de entrenamiento apuntado a la prevención de lesiones en diferentes contextos deportivos.
Primera Edición
Curso

Diseño de Programas de Ejercicio en Cáncer y Enfermedades Neurodegenerativas

El ejercicio físico, junto a la alimentación, puede considerarse la piedra angular para la prevención de muchas de las enfermedades no-transmisibles e hipocinéticas que acosan una sociedad cada vez más sedentaria. Además, una vez instaurada la enfermedad, la correcta prescripción de ejercicio constituirá una parte fundamental del propio tratamiento en el continuo de la enfermedad para paliar sus síntomas, frenar su desarrollo y devolver la calidad de vida al paciente.Concretamente, la actividad física de intensidad moderada realizada de manera regular ha demostrado en diversos estudios que disminuye el riesgo de padecer cáncer hasta en un 50% según el tipo de patología. Sus beneficios en pacientes oncológicos están siendo también evidenciados con numerosos estudios, tanto durante el tratamiento como una vez finalizado, obteniéndose mejores resultados, un aumento en la calidad de vida de los pacientes y una mayor tasa de supervivencia.
8 Revisiones
4,75
Taller

HIIT y Entrenamiento Concurrente

La Especialización surge por las necesidades de actualización y profundización que se presentan a los profesionales ligados al entrenamiento y el ejercicio físico en distintas poblaciones y espacios de desempeño laboral con diferentes objetivos.Así es que la selección de temáticas, contenidos y disertantes está en relación a las necesidades de los profesionales en ENTRENAMIENTO EN LAS NUEVAS TENDENCIAS EN EL FITNESS de aptitud física y rendimiento, abarcando contenidos y metodologías prácticas que tienen que ver con la mejora de la salud, la aptitud física, la composición corporal, el rendimiento físico en el deporte, como así también lo que hace a recursos que posibiliten mayor variabilidad de estímulos para el desarrollo de clases o sesiones novedosas, y posibilitar una mayor adherencia de las personas destinatarias a los programas de entrenamiento y ejercicio físico en el fitness.El presente Taller en HIIT Y ENTRENAMIENTO CONCURRENTE buscará actualizar distintas formas de control de carga de entrenamiento y metodología aplicable al entrenamiento concurrente de fuerza y resistencia en diferentes contextos; incorporar nuevas posibilidades metodológicas relacionadas con el HIIT con orientación neuromuscular en el contexto de las clases grupales; y conocer los objetivos fisiológicos y las formas metodológicas de aplicación de cargas de entrenamiento HIIT en el ámbito de los deportes de dinámica intermitente.
Primera Edición