HOJA DE RUTA PARA LA INVESTIGACIÓN RIGUROSA:
UNA GUÍA BÁSICA DE PROTOCOLOS EN REVISIONES SISTEMÁTICAS Y METAANÁLISIS
Autor:
Javier Hernán López-Zambrano1
María Auxiliadora
García Zambrano1
Luis Cristóbal
Cedeño-Valarezo1
1
Escuela Superior Politécnica Agropecuaria de
Manabí Manuel Félix
López, ESPAM MFL
*Correo:
jlopez.ec@outlook.com
Calceta, Ecuador
DOI: https://doi.org/10.56124/encriptar.v8i15.007
Resumen
Este
trabajo, tiene como objetivo trazar una guía básica sobre los distintos
protocolos de revisiones sistemáticas y metaanálisis; para ello, se empleó una
metodología que incluyó la formulación de cadenas de búsqueda, la selección de
estudios relevantes y su análisis para sintetizar la información. Se realizaron
búsquedas exhaustivas en bases de datos académicas y se seleccionaron los
estudios relevantes basándose en criterios predefinidos. En cuanto a los
resultados, se identificaron varios protocolos para la realización de
revisiones sistemáticas y metaanálisis, como COCHRANE, MOOSE, MARS, PRISMA, JBI
y REGEMA, y otros protocolos para evaluar la calidad de evidencias y/o estudios
como QUOROM, GRADE y AMSTAR. Cada protocolo se centra en diferentes áreas de
aplicación, proporcionando una guía detallada para la realización de revisiones
sistemáticas y metaanálisis, de acuerdo con la especificidad según el campo de
estudio y el tipo de intervención que se esté evaluando. En conclusión, la
elección del protocolo adecuado podría depender del tipo de estudio y del área
de investigación, sin embargo, PRISMA es uno de los protocolos más utilizados y
del cual existen algunas extensiones, que proporcionan una guía útil para que
los investigadores que deseen realizar revisiones sistemáticas y metaanálisis
en diferentes áreas de investigación puedan hacer adaptaciones.
Palabras
clave: revisión sistemática; metaanálisis;
protocolos y guía.
ROADMAP FOR RIGOROUS RESEARCH: A BASIC GUIDE TO PROTOCOLS IN SYSTEMATIC
REVIEWS AND META-ANALYSIS
ABSTRACT
This
work aims to outline a basic guide on the various protocols for systematic
reviews and meta-analyses; for this purpose, a methodology was employed that
included the formulation of search strings, the selection of relevant studies,
and their analysis to synthesize information. Exhaustive searches were conducted
in academic databases, and relevant studies were selected based on predefined
criteria. As for the results, several protocols for conducting systematic
reviews and meta-analyses were identified, such as COCHRANE, MOOSE, MARS,
PRISMA, JBI, and REGEMA, as well as other protocols for assessing the quality
of evidence and/or studies like QUOROM, GRADE, and AMSTAR. Each protocol
focuses on different areas of application, providing a detailed guide for
conducting systematic reviews and meta-analyses, according to the specificity
of the field of study and the type of intervention being evaluated. In
conclusion, the choice of the appropriate protocol could depend on the type of
study and the research area; however, PRISMA is one of the most widely used protocols,
and it has some extensions that provide a useful guide for researchers who wish
to conduct systematic reviews and meta-analyses in different research areas to
make adaptations.
Keywords:
systematic review; meta-analysis; protocols,
and guide.
1. Introducción
En el campo de la
investigación científica, un investigador se dedica a la exploración meticulosa
de datos y literaturas con la finalidad de aportar con nuevo conocimiento
sólido y confiable, para ello, se requiere de métodos / técnicas (revisión
sistemática, metaanálisis) que permitan sintetizar de manera estructurada los
resultados de múltiples estudios, aumentando la potencia estadística y la
generalización de las conclusiones.
La revisión sistemática
es un método riguroso y estructurado que permite identificar, evaluar y
sintetizar la evidencia científica disponible sobre un tema específico
(González et al., 2014). Existen diferentes tipos de revisiones sistemáticas,
como las revisiones cualitativas y cuantitativas; las revisiones cualitativas
presentan la evidencia en forma descriptiva, mientras que las revisiones
cuantitativas incluyen un análisis estadístico conocido como metaanálisis
(Aguilera Eguía & Arroyo Jofre, 2016).
El metaanálisis es una
técnica estadística utilizada en las revisiones sistemáticas para combinar los
resultados de múltiples estudios y obtener una estimación más precisa del
efecto de una intervención o tratamiento, esta técnica permite analizar grandes
cantidades de datos y proporciona una visión general de los resultados
obtenidos en diferentes estudios (Sos et al., 2021), además, puede identificar
patrones o tendencias que no serían evidentes en un solo estudio.
Para cada tipo de investigación, se puede usar protocolos específicos o adaptaciones, que permiten llevar a cabo revisiones sistemáticas y metaanálisis, estos protocolos establecen pautas claras sobre cómo realizar la búsqueda bibliográfica, seleccionar los estudios relevantes, extraer los datos y analizar los resultados. Por ejemplo, en el campo de la medicina, se propuso el protocolo PRISMA (González et al., 2014) (Page et al., 2021) mismo que puede ser adaptado/empleado para otras áreas.
Es importante tener en
cuenta que las revisiones sistemáticas y los metaanálisis deben realizarse con
rigor científico y siguiendo los estándares internacionales establecidos
(González et al., 2014), esto garantiza la calidad y confiabilidad de los
resultados obtenidos. Además, es fundamental actualizar regularmente las
revisiones sistemáticas y metaanálisis a medida que se disponga de nuevas
evidencias científicas.
El presente trabajo
tiene como punto de partida la identificación y comprensión de los protocolos
existentes para revisiones sistemáticas y metaanálisis, con la finalidad
específica de sus autores, de aplicarlos en la ciencia de datos en el ámbito de
la Computación. Por ello, los autores se plantearon el objetivo de especificar
y analizar brevemente algunos de los protocolos, con el propósito de ofrecer
una guía esencial que proporcione información relevante a futuros
investigadores que llevan a cabo revisiones rigurosas, específicamente en el
contexto de revisiones sistemáticas y metaanálisis.
2. Metodología (Materiales y métodos)
En este estudio, se
empleó la metodología de revisión sistemática de literatura para recopilar y
analizar la información relevante (Tranfield et al., 2003). Dado que esta
investigación pretendía hacer una revisión general, sin enfocarse en un área
específica de la ciencia, se comenzó
formulando las cadenas de búsqueda de manera muy general: (“Protocolo”
OR “Guía”) AND (“Revisión Sistemática” OR “Metaanálisis”); posteriormente, se
empleó un procedimiento de doble filtro (lectura del resumen para el primer
filtro y lectura del documento completo para el segundo filtro) para descartar
los artículos que no cumplían con el criterio de inclusión (libros o artículos
que incluyan definiciones del estudio del arte de los protocolos o guías de
revisión sistemática y metaanálisis); un criterio de exclusión que se quitó,
fue el de descartar trabajos mayores a 5 años, debido a que muchas de las
definiciones básicas sobre los protocolos, datan de años anteriores al 2019,
por lo cual en este artículo, existen referencias bibliográficas antiguas dado
el hecho que era fundamental incluir esta información como parte del estudio
del arte. Se realizó búsquedas exhaustivas de trabajos existentes hasta finales
de junio de 2024, en varias bases de datos académicas y se seleccionaron los
estudios relevantes basándose en los criterios predefinidos, estos estudios
seleccionados fueron analizados para sintetizar la información, con un enfoque
riguroso y sistemático, asegurando la fiabilidad y la validez de la presente
revisión de la literatura.
2.1. Figura 1. Procedimiento
Fuente: Autores (2024)
3. Resultados
(análisis e interpretación de los resultados)
Los protocolos para revisiones sistemáticas son documentos que guían la realización de una revisión sistemática de la literatura, estos proporcionan un marco para la selección, evaluación y síntesis de los estudios incluidos en la revisión (Rubio-Aparicio et al., 2018). En este artículo se mencionan 6 protocolos para revisiones sistemáticas y 3 protocolos para evaluar la calidad de evidencias / estudios / informes:
Los seis protocolos que se observan en la tabla 1, proporcionan un marco con aspectos básicos de una revisión sistemática, como la formulación de la pregunta de investigación, la selección de los estudios, la evaluación de la calidad metodológica y la síntesis de los resultados.
3.1. Tabla
1. Protocolos para revisiones sistemáticas y metaanálisis
|
PROTOCOLO |
OBJETIVO |
ÍTEMS |
|
|
1 |
COCHRANE -
Handbook for Systematic Reviews of Interventions |
Revisión sistemática y Metaanálisis en la
Salud |
|
|
2 |
MOOSE (Meta-analysis
Of Observational Studies in Epidemiology) |
Metaanálisis de estudios observacionales |
35 |
|
3 |
MARS (Meta-Analysis Reporting Standard) |
Metaanálisis en la Psicología |
|
|
4 |
PRISMA (Preferred Reporting Items for
Systematic Reviews and Meta-Analyses) |
Revisión
sistemática y Metaanálisis en la Salud |
|
|
5 |
JBI (Joanna Briggs
Institute) |
Revisión sistemática
y Metaanálisis en la Salud |
|
|
6 |
REGEMA (REliability GEneralization Meta-Analysis) |
Generalización
de la fiabilidad |
Fuente: Autores (2024)
COCHRANE: La Colaboración Cochrane es una organización internacional sin fines de lucro que realiza revisiones sistemáticas de alta calidad, publicó la primera versión del manual en 1994, mismo que se ha actualizado periódicamente, siendo la versión 6.4 la última publicada en agosto/2023 (Rubio-Aparicio et al., 2018) (Henderson et al., 2010). InSynQ es una lista de verificación para síntesis de intervención que contiene 11 ítems, aprobada en mayo/2023 por Cochrane (Cochrane.org, 2023).
MOOSE: Es una guía publicada en el 2000 para la elaboración de metaanálisis de estudios observacionales en el área médica. Esta tiene una estructura clara y detallada que permite a los autores documentar de manera transparente sobre los antecedentes, estrategias utilizadas en la búsqueda, métodos empleados, resultados obtenidos, discusiones realizadas y las conclusiones (Rubio-Aparicio et al., 2018).
MARS: Es una guía híbrida basada en otros protocolos, para la elaboración de metaanálisis en tratamientos psicológicos, publicada por primera vez el 2008, e incluye 74 ítems de verificación agrupados por criterios de título, resumen, introducción, método, resultados y discusión (Rubio-Aparicio et al., 2018).
PRISMA: Este protocolo fue publicado en el 2009 y su última actualización en el 2020, es una guía para la elaboración de revisiones sistemáticas y metaanálisis en ciencias de la salud que incluye 27 ítems de verificación, su estructura clara y detallada les permite a los autores documentar el porqué de la revisión, qué hicieron los autores y qué encontraron, enfocándose en la transparencia y la calidad de la presentación de los resultados (Rubio-Aparicio et al., 2018) (Page et al., 2021). En el 2015, se presentó una extensión de esta guía con 17 elementos de verificación, denominada PRISMA-P, con el objetivo de preparar y presentar protocolos sólidos para la revisión sistemática (Estarli et al., 2016).
JBI: El Instituto Joanna Briggs (JBI) es una organización internacional que produce revisiones sistemáticas de alta calidad, en el 2018 publicó una guía con 29 ítems de verificación, aunque actualmente consta de 11 preguntas, que tiene una estructura clara y detallada con un modelo de atención sanitaria basada en evidencia, cuyo objetivo es proporcionar una síntesis completa e imparcial de una gran cantidad de estudios mediante el uso de métodos rigurosos y transparentes (Santos et al., 2018).
REGEMA: Es una guía que tiene como objetivo ofrecer recomendaciones para un tipo especial de metaanálisis denominado generalización de la fiabilidad (GF), misma que persigue incluir los coeficientes de fiabilidad reportado en los estudios y explicar la variabilidad observada, fue publicada en 2020 y consta de 29 ítems de verificación (Rubio-Aparicio et al., 2018).
3.2. Tabla 2. Protocolos para evaluar la calidad de evidencias/estudios/
informes
|
# |
PROTOCOLO |
OBJETIVO |
ÍTEMS |
|
1 |
QUOROM (Quality of Reporting of Meta-analyses) |
Evaluar
calidad de Metaanálisis |
18 |
|
2 |
GRADE (Grading of Recommendations Assessment, Development
and Evaluation.) |
Evaluar
la calidad de la evidencia en la medicina |
- |
|
3 |
AMSTAR (A MeaSurement Tool to
Assess systematic Reviews) |
Evaluar
la calidad de las Revisión sistemática |
Fuente: Autores (2024)
Los tres protocolos: QUOROM, AMSTAR y GRADE (tabla 2) son guías que se utilizan para evaluar la calidad metodológica de las revisiones sistemáticas. Estos abordan aspectos como la formulación de la pregunta de investigación, la selección de los estudios, la evaluación de la calidad metodológica de los estudios y la síntesis de los resultados.
QUOROM: Es uno de los primeros protocolos desarrollado para mejorar la calidad y la transparencia de los informes de metaanálisis, declarado en la Conferencia sobre calidad de elaboración de los informes de los metaanálisis realizada en 1996 y publicado en 1999, consta de una lista de 18 ítems de verificación, y un diagrama de flujo de ensayos clínicos aleatorios (ECA), con estos instrumentos, este protocolo busca estandarizar las publicaciones de revisiones sistemáticas y metaanálisis para que sean rigurosas, útiles y fiables (Urrutia et al., 2005).
GRADE: Es una guía estructurada introducida en el 2000, permite formular y graduar recomendaciones para prácticas clínicas y otros tipos de revisiones de evidencia en salud, esta permite clasificar la calidad de las evidencias en función de cuatro niveles: alta, moderada, baja y muy baja; mientras que la fuerza de las recomendaciones las clasifica en dos niveles: fuerte o débil (Ryan, 2016) (Schünemann et al., 2013).
AMSTAR: Es un protocolo que ayuda a evaluar la calidad y rigurosidad de las revisiones sistemáticas de estudios de intervenciones sanitarias para la toma de decisiones clínicas y políticas de salud; fue publicado en el 2007 y cuenta con una versión actualizada (AMSTAR-2), la versión inicial dispone de una lista de verificación de 11 elementos mientras que la versión actual, incluye 16 elementos de verificación (Shea et al., 2017) (Ciapponi, 2018).
3.3. Análisis
Todas las
guías revisadas en este trabajo (tabla 1 y 2) buscan mejorar la calidad y
transparencia de las revisiones sistemáticas y metaanálisis, proporcionando
estructuras y pautas para ayudar a los investigadores a evitar sesgos y errores
comunes. Desde que se acuñó el término metaanálisis (1976), esta ha tomado
popularidad en diferentes áreas de investigación, promoviendo la
aparición/mejoras de distintas guías/protocolos hasta la actualidad
(Rubio-Aparicio et al., 2018), donde la mayoría de los protocolos han sido
propuestos desde y para el área de la salud, sin embargo, cada uno tiene una
aplicación específica y se pueden adaptar a otras áreas o tipos de
investigaciones.
Uno de los primeros protocolos que aparece en el
área de la salud, es el denominado COCHRANE el cual propone una metodología
rigurosa, centrada en las evidencias de ensayos controlados aleatorios, hasta
la actualidad se siguen realizando actualizaciones a la guía de métodos de
revisión rápida del Grupo Cochrane (Garritty et al.,
2024), y utilizándose en diversas publicaciones, por ejemplo, en un trabajo
reciente de Saldanha et al., (2024) se hace una
revisión de la utilización de Cochrane y el reporte correspondiente en el Core Outcome Set (COS), donde constan los conjuntos estandarizado
de resultados que se acuerdan medir y reportar en todos los ensayos clínicos
dentro de un área específica de la salud o atención médica; entre otros
protocolos que aún se utilizan, se encuentra MOOSE, el cual está orientado a
estudios observacionales epidemiológico para evaluar la seguridad o eficacia de
intervenciones quirúrgicas clínicas, en un trabajo reciente de Aborisade et al. (2024), se observa una detallada
aplicación de las pautas de este protocolo; por otro lado, el protocolo MARS
está diseñado para investigaciones en las que se reporta la eficiencia de los
tratamientos psicológicos; PRISMA es uno de los protocolos más ampliamente
utilizados, no solo en el campo de la salud para el cual fue originalmente
propuesto, sino también en otras áreas, como la computación (Barrera Ariza,
2024), este protocolo se centra en la claridad y transparencia al informar
revisiones sistemáticas y metaanálisis, en algunos casos, se combina con otros
protocolos para evaluar la calidad, según la investigación de Rubio-Aparicio et
al., (2018), “existe evidencia de que el uso de las guías PRISMA y/o AMSTAR ha
incrementado la calidad del reporte de revisiones sistemáticas y metaanálisis
en ciencias de la salud”, por otro lado QUOROM a pesar de sus actualizaciones
periódicas terminó siendo reemplazado por PRISMA (Tao et al., 2011)..
4. Conclusiones
Todas las guías
revisadas comparten el objetivo de mejorar la calidad y transparencia de las
revisiones sistemáticas y metaanálisis, proporcionando estructuras y pautas
para ayudar a los investigadores a evitar sesgos y errores comunes.
Numerosos protocolos
han sido propuestos desde y para el área de la salud, cada uno con una
aplicación específica y adaptable a otras áreas o tipos de investigaciones. La
elección del protocolo o guía adecuada dependerá del tipo de estudios revisados
y del área de investigación.
Los protocolos para la
revisión sistemática y metaanálisis pueden trabajar en conjunto con los de
evaluación de calidad de evidencias / estudios / informes.
Los autores, al no encontrar un protocolo o guía especifica, aplicable a las ciencias de la computación, recomiendan el uso de PRISMA como una opción adaptable para trabajos de revisiones sistemáticas y metaanálisis en esta área.
4.1.
Trabajos futuros
Aunque los protocolos
existentes han sido principalmente propuestos para el campo de la salud, PRISMA
puede servir como base para trabajos en otras áreas. Sin embargo, surge una
necesidad apremiante de desarrollar nuevas metodologías específicas para
revisiones sistemáticas y metaanálisis en otras áreas de la ciencia, siendo el
principal objetivo para sus autores, plantear un protocolo específico para el
área de la Computación.
5. Referencias
Aborisade,
A. O., Okolo, C. C., Oguchi, C. O., & Alalade, O. (2024). Protocol
for a Systematic Review and Meta-analysis of the Epidemiology of Early
Childhood Caries in Nigeria. Journal of Primary Care Dentistry and Oral
Health, 5(2), 49–51. https://doi.org/10.4103/jpcdoh.jpcdoh_17_24
Aguilera
Eguía, R., & Arroyo Jofre, P. (2016). ¿Revisión sistemática?,
¿metaanálisis? o ¿resumen de revisiones sistemáticas? Nutrición
Hospitalaria, 33(2). https://doi.org/10.20960/nh.528
Barrera
Ariza, H. M. (2024). Habilidades del Pensamiento Computacional y la
Robótica Educativa en Estudiantes de Educación Inicial y Básica: Una Revisión
Sistemática Desde la Literatura. Ciencia Latina Revista Científica
Multidisciplinar, 8(1), 8798–8809.
https://doi.org/10.37811/cl_rcm.v8i1.10209
Ciapponi,
A. (2018). AMSTAR-2: herramienta de evaluación crítica de revisiones
sistemáticas de estudios de intervenciones de salud. Evidencia,
Actualizacion En La Práctica Ambulatoria, 21(1).
https://doi.org/10.51987/evidencia.v21i1.6834
Cochrane.org. (2023). InSynQ
checklist. Cochrane Library.
https://methods.cochrane.org/methods-cochrane/insynq-checklist
Estarli,
M., Aguilar Barrera, E. S., Martínez-Rodríguez, R., Baladia, E., Duran Agüero,
S., Camacho, S., Buhring, K., Herrero-López, A., & Gil-González, D. M.
(2016). Ítems de referencia para publicar Protocolos de Revisiones
Sistemáticas y Metaanálisis: Declaración PRISMA-P 2015. Revista
Española de Nutrición Humana y Dietética, 20(2), 148–160.
https://doi.org/10.14306/renhyd.20.2.223
Garritty, C.,
Hamel, C., Trivella, M., Gartlehner,
G., Nussbaumer-Streit, B., Devane, D., Kamel, C., Griebler,
U., & King, V. J. (2024). Updated recommendations for the Cochrane
rapid review methods guidance for rapid reviews of effectiveness. BMJ, e076335.
https://doi.org/10.1136/bmj-2023-076335
González,
J. A., Cobo, E., & Vilaró, M. (2014). Revisión sistemática y
meta-análisis.
Henderson, L. K., Craig, J. C., Willis, N. S., Tovey,
D., & Webster, A. C. (2010). How to write a Cochrane systematic review.
Nephrology, 15(6), 617–624.
https://doi.org/10.1111/j.1440-1797.2010.01380.x
Page, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D., Shamseer, L., Tetzlaff, J. M., Akl, E. A., Brennan, S. E.,
Chou, R., Glanville, J., Grimshaw, J. M., Hróbjartsson, A., Lalu, M. M., Li,
T., Loder, E. W., Mayo-Wilson, E., McDonald, S., … Alonso-Fernández, S. (2021). Declaración
PRISMA 2020: una guía actualizada para la publicación de revisiones
sistemáticas. Revista Española de Cardiología, 74(9),
790–799. https://doi.org/10.1016/j.recesp.2021.06.016
Rubio-Aparicio,
M., Sánchez-Meca, J., Marín-Martínez, F., & López-López, J. A. (2018). Guidelines
for Reporting Systematic Reviews and Meta-analyses. Anales de Psicología,
34(2), 412. https://doi.org/10.6018/analesps.34.2.320131
Ryan, R. (2016). How to GRADE the quality of
the evidence. https://gradepro.org/
Saldanha, I. J., Hughes, K. L., Dodd, S., Lasserson, T., Kirkham, J. J., Wu, Y., Lucas, S. W., &
Williamson, P. R. (2024). Study found increasing use of core outcome sets
in Cochrane systematic reviews and identified facilitators and barriers. Journal
of Clinical Epidemiology, 169, 111277.
https://doi.org/10.1016/j.jclinepi.2024.111277
Santos, W. M. dos, Secoli,
S. R., & Püschel, V. A. de A. (2018). The
Joanna Briggs Institute approach for systematic reviews. Revista Latino-Americana de Enfermagem,
26(0). https://doi.org/10.1590/1518-8345.2885.3074
Schünemann, H., Brożek, J., Guyatt, G., & Oxman, A. (2013, November). GRADE
Handbook. https://gdt.gradepro.org/app/handbook/handbook.html
Shea, B. J., Reeves, B. C., Wells, G., Thuku, M.,
Hamel, C., Moran, J., Moher, D., Tugwell, P., Welch, V., Kristjansson, E.,
& Henry, D. A. (2017). AMSTAR 2: a critical appraisal tool for
systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both.
BMJ, j4008.
https://doi.org/10.1136/bmj.j4008
Sos,
V. J., Abella, J. A., Villach, L., & Oliver, M. (2021). Metaanálisis:
una forma básica de entender e interpretar su evidencia. Revista de
Senología y Patología Mamaria, 34(1), 44–51.
https://doi.org/10.1016/j.senol.2020.05.007
Tao, K., Li, X., Zhou, Q., Moher, D., Ling, C., &
Yu, W. (2011). From QUOROM to PRISMA: A Survey of High-Impact Medical
Journals’ Instructions to Authors and a Review of Systematic Reviews in
Anesthesia Literature. PLoS ONE, 6(11),
e27611. https://doi.org/10.1371/journal.pone.0027611
Tranfield, D.,
Denyer, D., & Smart, P. (2003). Towards a Methodology for Developing
Evidence‐Informed
Management Knowledge by Means of Systematic Review. British
Journal of Management, 14(3), 207–222.
https://doi.org/10.1111/1467-8551.00375
Urrutia, G., Torta, S., & Bonfill, X. (2005). Metaanálisis
(QUOROM). Medicina Clínica, 125, 32–37.
https://doi.org/10.1016/S0025-7753(05)72207-7