系统综述被认为是医学领域中最高级的证据,尤其是应用了meta分析方法的系统综述。对于临床医师和决策者而言,系统综述为其提供了良好的临床决策和治疗指南,对医疗资源分配方面也发挥着不可或缺的作用。目前,系统综述正在以指数的形式增长,但与其相关的基本问题还有待探索:是否有足够强度和数量的高质量证据来支持绝大部分医疗健康建议。我们担心,目前的情况距离拥有良好的证据来支持循证实践尚远。
促进系统综述方法学和报告质量优化,可使系统综述在临床决策过程起到更有效地作用,但目前疼痛领域相关的顶尖医疗期刊的系统综述中,尚无人试图对其方法学和报告质量进行评估。
所以本研究就是根据《JCR》年的影响因子,对年至年刊登于《JCR》中麻醉类排名前四分之一的系统综述进行分析。
我们主要的假设是这些疼痛相关的系统综述在所有分类中的质量和方法论是中等水平;其次,我们假设在AMSTAR和PRISMA量表颁布之后的综述要比之前在方法学上更优;最后,我们假设在研究样本中,我们所应用的两个评估量表的评分之间存在正相关。
方法我们研究对象的入选标准是,无论是否应用meta分析方法,-年刊登于《JCR》麻醉类疼痛相关的排名前四分之一的系统综述,筛选指标是通过《JCR》中年的影响因子。因为我们认为影响因子出现偏倚的可能性较低,并且比其他指标更能反映期刊质量。最终7种期刊纳入分析:
《Anesthesiologist》
《Pain》
《BritishJournalofAnaesthesia》
《PainPhysician》
《AnesthesiaandAnalgesia》
《Anaesthesia》
《RegionalAnesthesiaandPainMecidine》
对于判断准确性和患者个体数据相关的系统综述由改良PRISMA列表进行评估,因此本研究排除该类系统综述。另外本研究还除外了系统综述概述和临床指南文献。
在评估过程中,每篇综述均有两位作者进行独立评估,根据AMSTAR量表对方法学进行评估,采用PRISMA量表对报告质量进行评估。对于有分歧的结果,由第三位作者进行再次评估。同时计算两个量表的相关性,及不同量表中期刊总分的差异。
AMSTAR量表评方法学:
计分范围为0-11分,符合计1分,不符合计0分
高分8-11,中分4-7,低分0-3.
由于AMSTAR量表在年才被发表,所以本文将以量表发表年限为界将系统综述分为两组,即量表发表前组和量表发表后组。
PRISMA量表评报告质量:
根据PRISMA量表进行评分,计分范围为0-27分,完全符合计1分,部分符合计0.5分,不符合计0分。由于PRISMA量表在年才被发表,所以同样将系统综述以量表发表年限为界分为两组,即量表发表前组和量表发表后组。
我们采用以下标准对系统综述在两个量表中单个项目的依从程度进行评估:
90-%为高符合率,70-89%为中符合率,30-69%为低符合率,0-29%为超低符合率
同时,我们根据综述是否使用了meta分析将系统综述分为两组并分别比较两组两个量表的得分。
量表在期刊中的认可度评估将根据其投稿须知中在评估阶段是否提及了以上两个量表。
结果我们最终从篇文章中筛选出篇系统综述进行了研究,并且发现两种量表总分间存在明显的正相关。其中AMSTAR量表项目中只有1个项目的依从性较高,研究中90%以上的系统综述对该内容进行了描述,PRISMA量表中有5个项目依从性较高,即90%的系统综述全部符合,这些项目包括:描述综述的合理性,说明研究特点,描述研究内容相关信息,搜索最终数据,在结局中阐述研究筛选过程和研究特点。其中使用meta分析方法的总数为篇(59%),未使用为篇(41%),在两个量表的总得分中,使用meta分析方法的综述得分都明显高于未使用的系统综述。
对于方法论和报告质量时间趋势的评估,结果显示两个量表的总分仅有微弱的提升。此外,之前我们将系统综述按照量表发表时间进行了分组,根据线性回归结果显示量表发表前后两组之间斜率的评估比较并未找到明显差别。
期刊认可度评价
计算所有评估年限,7种期刊中,没有1种杂志在投稿须知中提及AMSTAR量表,有4种提及了PRISMA量表,其中有2种提到了必须遵循该量表并且作者需在投稿时提供该量表;另两种期刊则应用了一种条件性的语言但并未强制性要求使用PRISMA量表。而且尽管PRISMA量表在投稿须知中提及,所有的期刊中没有一篇系统综述是符合全部的量表项目。
讨论通过研究,我们发现两个量表的绝大多数项目在所评估的系统综述中所对应的依从性都是不足的。线性回归分析指示在两个量表被发表的前后年份中,系统综述的方法学和报告质量都没有得到提升,并且投稿须知中对PRISMA量表的认可并没有为系统综述对量表的依从性提供保障。
通过比较是否应用meta分析方法我们可以得出,定量分析使得系统综述对于读者来说更有价值。但是,meta分析对于每个系统综述来说并不是都是合适的。没有使用该种分析方法的系统综述并不能被认为是不好的。
我们的研究表明期刊对于一个确定量表应用声明的支持并不能保证发表在其上的综述会严格遵守这个量表的内容
本研究评估的综述中最常见方法学上的不足为为缺乏既存的研究方案,而系统综述的作者其实可以在公开免费的PROSPERO上进行注册。
只有1/3的综述同时报道了纳选和排除的研究列表,而所有的综述都提及了纳入分析的研究列表,只有部分提及了排除的研究列表,这可能是由于期刊印刷空间有限,该问题可通过online的材料来补充。如果杂志不进行online补充材料的上传,则可在文中声明读者可向作者索要排除研究列表,以保证读者的需求。
仅有1/3的综述提及了可能存在的发表偏倚,这一点在某种程度上影响了文章的结论在本学科的可信度。仅有46%的综述提及了有关结论的偏倚性,这可能会使得未发现该系统综述潜在缺陷的读者对结论的理解产生偏差。
对于报告质量,缺乏注册和研究方案导致该项目为PRISMA量表中依从性最低的项目。只有1/3的综述提及了所有偏倚的风险。45%的综述在其“结构摘要”中适当的提出了PRISMA量表项目。解决该问题期刊可通过在投稿须知中要求增加相关内容从而提高该项目综述的依从性。
之前的类似研究强调了系统综述发表前需要严格评估,相比于之前一些研究样本量不足,以及疼痛相关系统综述的报告质量探究较少的情况,我们通过加强了作者的信息以及同行编辑和评审员的对此类研究的处理来弥补这一缺陷。甚至需要编辑人员和评审彻底检查,只有这样才能保证系统综述有高的质量。
本研究的局限性是仅选择了有限时间内的一些期刊上发表的系统综述进行研究。此外,我们应用了AMSTAR和PRISMA两个量表作为评估工具。因为AMSTAR量表的缺点之前已经进行过强调,因此AMSTAR量表并不能保证系统性综述的质量。但是这些量表都被广泛的应用,因此通过这些量表统一标准所得出的结论可以与其他回顾性研究进行比较。另外,对于本研究时间趋势的分析,我们应用的是量表的发表日期作为界定日期,可能出现有的文章接触量表的时间太短,或者已接收文章的延迟发表,最终导致偏倚。但是,我们之后又将截止时间向后延迟一年后再次对时间趋势进行评估,结果并没有改变。
结论虽然纳入研究的期刊中,在其投稿须知中对PRISMA和AMSTAR两个量表的认可声明并没有保证发表在其上的系统综述对量表的依从性,但本研究的结果显示这两种量表的存在对于系统综述的方法学和报告质量的提高有着重要的影响,所以为了保证量表可以更好地发挥效用,需要作者,编辑和同行评审们的共同努力。
医院麻醉科JournalClub。我科每2周举行一次JournalClub,对最新文献进行剖析,学习相关统计知识及论文书写技巧。
点击“阅读原文”,下载文献原文,密码:3uwc孙婉琛赞赏