云南白癜风权威医院 http://baidianfeng.39.net/bdfby/yqyy/摘要
随着人口老龄化和电子屏幕的普及，患有视网膜疾病的人数增加。以往基于深度学习的自动筛选研究通常集中在特定类型的视网膜疾病上，如糖尿病视网膜病变和青光眼。由于患者可能同时患有各种类型的视网膜疾病，这些解决方案在临床上并不实用。为了解决这个问题，文章提出了一种新的基于深度学习的方法，可以用一个模型识别36种不同的视网膜疾病。更具体地说，该方法通过三个子网络学习影响视网膜不同区域的疾病，使用区域特定的多任务识别模型。这三个子网络经过语义训练，可以识别影响视盘、黄斑和整个视网膜的疾病。
1.引言
许多视网膜疾病，如青光眼、年龄相关性黄斑变性和糖尿病视网膜病变，会导致不可逆的视力丧失甚至失明。深度学习已被用于眼底图像上视网膜疾病的计算机辅助诊断。对于糖尿病视网膜病变筛查，使用卷积神经网络(CNNs)进行病变检测和糖尿病视网膜病变分级。它们中的大多数都是专为一种特定的视网膜疾病而设计和测试的。这些模型中没有考虑一些患者患有各种和多种视网膜疾病的真实临床情况。例如，患有糖尿病视网膜病变的人也可能患有黄斑水肿和视盘水肿。这导致了具有挑战性的多标签分类问题。
图1.多标签分类网络已经被分成三个子网络，并且被训练用于三个互斥任务:检测影响整个视网膜的疾病的一般任务(DR、CRVO/BRVO等)、用于识别黄斑疾病(疣、黄斑水肿等)的黄斑亚网络)和检测视盘相关疾病(青光眼、视神经萎缩等的视盘网络组件)
此外，全局和局部区域信息融合被用来提高模型的性能。但大多数现有方法使用全球和本地网络来针对具有相同分布的疾病，没有明确使用基于区域的疾病信息。许多研究表明青光眼的症状通常与视盘区的高眼压有关。与某些特定眼病相关的各种医学体征，包括出血、血管异常(弯曲、搏动和新血管)和色素沉着，可能会在一个区域(如黄斑或视盘区域)频繁出现。文章提出了一个多任务深度学习框架，用于利用眼底图像识别多标记视网膜疾病。这个方法受到眼科医生如何观察眼底图像以做出诊断和确定治疗方法的启发。他们首先扫描整个眼底图像，检查是否有任何颜色、纹理异常或任何分散的病变，然后将注意力转移到对中心视觉更重要的黄斑和视盘区域。为了模拟眼科医生的行为，文章采用多流网络的思想，使用三个独立的子网络分别从黄斑、视盘和整个眼底区域提取特征。此外，作者通过在每个任务中使用关于标签共现依赖性的现有临床知识，以多任务方式设计网络(如图1所示)。文章的框架由两个阶段组成。第一阶段包含用于检测视盘和黄斑区域的联合检测器。第二阶段由语义多任务网络组成，其中每个任务用唯一的区域相关疾病标签训练，以同时输出整个眼底、视盘和黄斑的疾病类别。
2.方法概述
这篇文章提出的方法包括两个部分:(1)黄斑和视盘区域检测；(2)用于视网膜疾病分类的语义多任务学习。文章首先训练一个联合CNN探测器来定位视盘和黄斑区域。该架构通过几何约束扩展了Yolov3。将检测到的视盘和黄斑区边界框连同整个眼底图像分别调整到×、×、×，然后输入到多标签疾病分类网络中。分类网络使用语义特征融合的思想对基于区域的疾病进行分类。
2.1黄斑和视盘区域检测
视盘和黄斑是许多疾病诊断中的关键区域。为了识别这些区域，最近有人训练了一个Yolo检测器并展示了准确的检测结果。文章扩展了Yolov3的结构来推断和校准视盘和黄斑区域。Yolov3预测具有3个不同比例(即图1中的y1、y2和y3)的候选边界框，并执行后处理技术，例如非最大值抑制，为每个对象选择最合适的边界框。在已知视盘和黄斑之间的中心距离大约等于视盘直径的两倍半的情况下，从彼此中建模和推断目标区域变得合理。因此，基于黄斑和视盘的边界框注释，文章添加了一个包含这两个区域的辅助边界框作为训练和推理的额外提示。
几何约束。在训练期间，辅助包围盒被回归以帮助模型学习黄斑和视神经乳头区域之间的隐含关系。在推断过程中，在两个区域中的一个未被检测到的某些情况下，辅助边界框可用于推断视盘或黄斑的位置。由于单个区域检测器不够完美，候选区域窗口并不总是正确的，甚至偶尔会丢失，尤其是当黄斑或视盘区域质量较低或有遮挡时。文章将黄斑盒的位置近似为辅助盒的左或右(取决于被扫描的眼睛)三分之一部分，其中在与视盘盒相反的方向。更完整地说，在即使在辅助盒的帮助下黄斑和视盘盒都丢失的罕见情况下，整个眼底图像被调整并用作黄斑和视盘流的输入。
图2.辅助边界框AUX(a)的图示。视盘边界框外径标注为红色，黄斑边界框标注为蓝色，关节区辅助边界框标注为黄色；(b).由于低质量/模糊区域而导致黄斑缺失的检测结果；(c)通过使用第3.1节中所述的AUX方法，对（b）中蓝色虚线的黄斑MA进行定位处理
2.2视网膜疾病分类的语义多任务学习
视网膜疾病主要有三类，一般视网膜疾病是指影响整个视网膜的疾病，如糖尿病视网膜病变、高血压性视网膜病变和BRVO视网膜脱离等。黄斑疾病包括年龄相关性黄斑变性、黄斑水肿和黄斑裂孔，而视盘疾病包括青光眼、视盘水肿、视神经萎缩等。通过分析这些疾病的医学体征，许多研究发现，属于不同任务的一些疾病具有一些共同的病理特征或具有一些相互关联的医学体征。根据这些观察，文章提出了一个具有三个流的协作多任务学习框架。网络的每一个流都代表一组视网膜疾病的学习过程。提出的框架的一个重要概念是模型层的一部分在独立的任务之间共享。
一般任务流被设计为基于来自视盘和黄斑区以及整个眼底图像的特征来确定影响整个视网膜的一般视网膜疾病的任务。设计这一分支的动机是受到这样一个事实的启发，即大多数普通的视网膜疾病都是在考虑到黄斑和视盘上的病变的情况下进行诊断的。例如，诊断增生性糖尿病视网膜病变的重要医学标志之一是视盘上是否有新血管形成。至于病理性近视的诊断，黄斑萎缩可以作为有力的证据。黄斑任务流利用了黄斑区和整个视网膜的特征，因为一些亚型黄斑水肿疾病与一般视网膜疾病(如黄斑变性)密切相关在这一分支中，文章将黄斑水肿分为三个亚类:由糖尿病视网膜病变或高血压性视网膜病变引起的黄斑水肿、视网膜静脉阻塞/视网膜静脉阻塞和其他疾病。同样的手术也适用于CNV的病理性近视。视盘任务流是一个相对独立的任务，因为它的类别是独立的，并且与其他区域相比具有区域独立性。
3.实验
3.1多任务学习表的量化评估
表1显示了基于任务的分类的平均精度和召回率。文章评估了在黄斑任务和一般任务中应用多流的有效性。对于黄斑任务，文章首先获得单流网络的结果，该网络在具有14种与黄斑(MA)相关的视网膜疾病(MA-One-Stream(单任务))的黄斑图像(由YoloV3检测器检测)上训练，并将其与以整个眼底图像和黄斑图像作为输入的MA-Biol-Stream(单任务)进行比较。然后，文章对一般疾病任务进行了同样的实验。
表1.基于任务的分类结果
表2.不同疾病区域36个类别分类结果
表2重点介绍了针对每个疾病组(黄斑、视盘和整个眼底)的全部36种疾病训练的多任务深层神经网络性能。如表2所示，在这种情况下，文章提出的多任务方法比基线单流模型工作得更好。所有疾病的表现在精确度和召回率方面都有所提高，而与黄斑和椎间盘相关的疾病比与这两个区域无关的疾病获得了比单个流更大的改善。
3.2可视化
为了更好地理解所提出的模型，文章针对每个任务为每个流绘制了类激活图。如图3所示，图3中的情况是具有视网膜脱离、黄斑水肿和其他视盘疾病5的眼底图像。文章的模型通过多任务架构给出了三个正确的标签。从单个区域的一般任务所产生的计算机辅助制造中，文章可以观察到，当在整个眼底图像上出现视网膜脱离、增R生膜和出血时，新血管形成在视盘周围生长，并且考虑到更多的来自黄斑区域的渗出物的激活。此外，还使用了整个眼底的损伤帮助区分糖尿病性黄斑水肿和其他黄斑疾病。视盘上的膜和新生血管通过其任务流被强调，以正确地给出其它视盘疾病的标记。
从该案例的可视化可以看出，该模型能够挖掘出针对不同疾病类型的区域特定信息，并通过协作多标签学习提高疾病识别的性能。
图3.一个具有挑战性的多标记样本的类激活图，为每个任务从眼底图像生成的类激活图，该眼底图像具有偏微分方程、黄斑水肿和其他视盘疾病
结论
在这项工作中，文章证明了多任务学习方法对于识别一般疾病、黄斑和视盘疾病的有效性，而不是单一任务分类。所提出的方法和新的基准为大规模多标记视网膜异常识别开辟了可能性。
预览时标签不可点
转载请注明：http://www.ynyunyun.com/smss/4333.html
当前位置： 视网膜病变能治好吗 > 视网膜色素 > 基于区域多任务学习的视网膜异常识别
