原文:https://www.cmde.org.cn/splt/ltwz/ltyy/20190812085412224.html
发布时间:2019-08-09
版权归属原文
(原创 2019-08-08 CMDE 中国器审)
一、ROC曲线简介
1.什么是ROC曲线
ROC曲线即受试者工作特征曲线(receiver operator characteristic curve,ROC),又称为感受性曲线(sensitivity curve),是反映灵敏度和特异度连续变量的综合指标,通常被用来直观地确定某一种诊断方法(诊断试剂、诊断设备)的最优诊断界值,即取灵敏度和特异度之和最大的截点,尽量靠近曲线左上方的点。也可以用来对同一种疾病两种以上的诊断方法的临床应用价值进行粗略的比较评价。
传统的ROC曲线解决的是“是”或“否”的问题,可以根据医师对读片结果类型的不同,分成二分类法和多等级法。考虑到在影像学中的应用,除了判断是不是病灶,还要考虑病灶所在的位置,以及是单发病灶还是多发病灶,需要对病灶进行定性、定位、定量诊断,因此衍生出LROC(location-response operating characteristic)、FROC(free-response operating characteristic)、AFROC(alternative FROC)。
2.ROC曲线的绘制
由于医师自身的学习背景、工作经验等多方面存在差异,对影像学设备成像的读片也有自己的尺度,即不同的医师会有不同的诊断界值。根据不同的诊断界值对多幅影像做出诊断,并与金标准相对照,可分别计算出灵敏度和特异度。根据诊断界值从低到高取若干个截断点(至少5组),逐个计算相应的灵敏度(真阳性率)、特异度(真阴性率),以灵敏度为纵坐标,1-特异度(假阳性率)为横坐标,标出各工作点,然后连接各点绘制而成的曲线。一般情况下,ROC曲线均处于(0,0)和(1,1)连线的上方,选取的工作点越多,曲线越平滑。
3.ROC曲线的应用
ROC曲线主要有三方面应用。首先,ROC曲线可以直观地反映诊断方法的灵敏度和特异度;其次,也是最常用的,通过计算ROC曲线下面积(area under roc curve,AUC),对多个器械的临床应用价值进行比较,是一个客观直观的指标。如下图的B-E四种影像设备的ROC曲线,E的AUC最大,临床应用价值最高。ROC曲线下面积的计算通常可以采用双正态参数法和非参数法进行计算,这两种方法计算的曲线下面积及其方差十分相近,所以在实际应用中不必过分要求数据符合正态分布。最后,是曲线下部分面积,当两个器械的ROC曲线并不像图中那样,而是出现交叉时,由于曲线下面积不能反映某一范围内的灵敏度与特异度优劣,甚至可能会得出相反的结论,所以利用曲线下部分面积进行比较,才能反映真实情况。
图:不同设备ROC曲线图
二、ROC曲线在影像学设备中的应用
ROC曲线在影像学设备中应用很多。
第一,可以根据曲线选择诊断界值,达到最优的灵敏度和特异度,使器械发挥最佳的效果,也可以通过曲线下面积判断设备的成像质量,通常0.9及以上的成像效果佳,0.7~0.9成像效果中等,0.5~0.7成像效果较低。这一应用多体现在产品生命周期的设计开发阶段,如深度学习辅助决策AI影像学软件在设计开发过程中通过不同诊断界值的选择,使软件达到最优的灵敏度特异度组合,发挥最大临床应用价值。
第二,是通过AUC来评判器械的变更。如某一影像设备在做影响到临床应用的许可事项变更时,对于临床应用价值变化或成像质量的判断,可以通过变更前和变更后的各自AUC进行比较。若AUC变大,或变化在科学合理的范围内,则可以判定该许可事项变更临床应用相关部分是合格的。
第三,对不同影像设备的成像质量进行比较。通过计算AUC的大小,来评价两种或多种同类型影像设备的临床应用价值的大小或成像质量的优劣。通过计算曲线下部分面积,也可以判断在某一灵敏度、特异度范围内不同影像设备的临床应用价值或成像质量。
除以上应用外,ROC曲线还可以评价不同诊断医师的诊断效能。值得注意的是,在应用ROC曲线时,病例的选择和干扰因素的控制关系到是否能得到客观真实的结论。
参考文献:
[1] 孙军,陈峰,郑凯尔.ROC曲线分析在放射学中的应用[J].中华放射学杂志,2001(08):14-17.
[2] 李晓松,张菊英,贾红等. 医学统计学(第2版) [M]. 北京:高等教育出版社,2010:234-238.
崔馨月 仉琪 供稿
评论区