资源类型：
申请人：
首都医科大学附属北京同仁医院
;
北京市耳鼻咽喉科研究所（北京市耳鼻咽喉头颈外科研究中心）
;
当前专利权人：
首都医科大学附属北京同仁医院
;
北京市耳鼻咽喉科研究所（北京市耳鼻咽喉头颈外科研究中心）
;
申请号：
申请日期：
授权年份：
公开号：
公开日：
法律状态：
主分类号：
分类号：
摘要：
本发明公开一种基于深度学习的鼻分泌物涂片诊断方法和系统，包括：以滑窗方式分块读取待诊断的鼻分泌物涂片；对读取的窗口图像进行预处理操作并输入到训练好的细胞检测模型，对输入进来的图像进行一系列特征提取后，通过自下而上和自上而下的特征融合来增强金字塔特征图，最后根据每个尺度的特征图得到检测到的目标的矩形框的坐标和得分，根据设置的得分阈值，过滤掉低于阈值的矩形框，得到矩形框集合R；根据R中矩形框的坐标，从原始窗口图像中裁切相应图像并进行预处理操作，输入到训练好的细胞分类模型，输出相应图像的细胞类别并进行后处理，得到原始待诊断的鼻分泌物涂片的细胞类别。本发明可以对鼻分泌物涂片进行高效准确地诊断。
主权项：
1.一种基于深度学习的鼻分泌物涂片诊断方法，其特征在于，所述方法包括： S1、以滑窗方式分块读取待诊断的鼻分泌物涂片，每次读取窗口范围的图像，称作窗口图像； S2、对读取的窗口图像进行预处理操作； S3、将预处理后的窗口图像输入到训练好的细胞检测模型，所述细胞检测模型对输入进来的图像进行一系列特征提取后，通过自下而上和自上而下的特征融合来增强金字塔特征图，最后根据每个尺度的特征图得到检测到的目标的矩形框的坐标和得分，根据设置的得分阈值，过滤掉低于阈值的矩形框，得到矩形框集合R； S4、根据R中矩形框的坐标，从原始窗口图像中裁切相应图像并进行预处理操作，将预处理后的相应图像输入到训练好的细胞分类模型，所述细胞分类模型输出所述相应图像的细胞类别； S5、对所述相应图像的细胞进行后处理，得到原始待诊断的鼻分泌物涂片的细胞类别； 所述细胞检测模型为改进的RTMDet网络结构，所述改进的RTMDet包括：输入、骨干网络、颈部网络和头部网络、损失函数以及输出； 输入进来的图像进入到所述骨干网络，图像先经过四个Conv Module结构减少尺寸大小，降低维度的同时保留重要特征，然后经过三个由CSPLayer和Conv Module组合的结构继续提取上下文的重要特征，并且生成两个不同大小的输出特征图，记为输出2和输出3，用于后续的特征融合，然后经过改进后的空间金字塔池结构SPPELAN-E生成多尺度特征，用来检测不同尺寸大小的目标，最后经过一个CSPLayer结构进一步提取特征，增强模型的性能，生成另一个输出特征图，记为输出1； 三个输出1、2、3分别作为三个输入1、2、3进入到所述颈部网络，首先将输入1通过一个Conv Module结构和上采样操作，调整特征图的尺寸大小和通道数，然后与输入2拼接融合，丰富多尺度信息，并经过一个CSPLayer结构增强特征的表达能力，由于鼻分泌物目标小，存在密集和粘连的情况，在特征融合时会产生许多噪声从而影响最终融合后的特征图质量，因此在每次拼接融合和经过一个CSPLayer结构操作后增加一个ECA注意力机制结构来抑制融合后的噪声，增强对鼻分泌物的关注度，然后再经过一个Conv Module结构和上采样操作，调整特征图的尺寸大小和通道数，然后与输入3进行拼接融合，进一步丰富多尺度信息，并经过一个CSPLayer结构增强特征的表达能力；然后经过一个ECA注意力机制结构，此时生成两条分支，其中一个分支作为颈部网络的输出3，另一个分支经过一个Conv Module结构进行下采样操作调整尺寸大小后，再与之前生成的特征图进一步融合，丰富更多的目标信息；然后经过一个CSPLayer结构增强特征的表达能力，然后再经过Conv Module结构进行下采样操作调整尺寸大小后，再与之前生成的特征图进一步融合，丰富更多的目标信息，此时同样生成两条分支，其中一个分支作为颈部网络的输出2，另一个分支经过一个CSPLayer结构增强特征的表达能力，然后再经过ECA注意力机制结构，最后输出1； 在头部网络部分，颈部网络的三个输出1、2、3分别经过一些卷积模块实现解码操作，最终生成目标的矩形框的坐标和得分； 所述细胞分类模型为改进的Mobi leNetV3网络结构，包括输入、骨干网络、头部网络、损失函数以及输出； 输入进来的图像进入到所述骨干网络进行特征提取，所述改进的Mobi leNetV3的骨干网络包括多个bneck-E，对于现有Mobi leNetV3的骨干网络的多个bneck结构，当步长为1时没有做修改，在步长为2的bneck结构中将SE注意力机制修改为ECA注意力机制来加快计算效率和减少参数量，此外在深度可分离卷积后加了一个分支来增强网络的性能； 特征提取结束后经过头部网络，包括一些卷积层和全连接层，对提取后的特征图进行分类损失值的计算，最后输出细胞分类结果。
