基于状态转移算法和U-net的医学图像分割

基于状态转移算法和 U-net 的医学图像分割 Medical image segmentation based on state transition algorithm and U-net 1 2 corresp first-author 周晓君，博士，教授，从事智能优化方法及其应用、机器学习与图像处理等研究；E-mail：michael.x.zhou@csu.edu.cn 周晓君，博士，教授，从事智能优化方法及其应用、机器学习与图像处理等研究；E-mail：michael.x.zhou@csu.edu.cn michael.x.zhou@csu.edu.cn 1 1 中南大学 自动化学院，湖南 长沙，410083 中南大学 自动化学院，湖南 长沙，410083 School of Automation, Central South University, Changsha 410083, China School of Automation, Central South University, Changsha 410083, China 鹏城实验室，广东 深圳，518000 鹏城实验室，广东 深圳，518000 The Peng Cheng Laboratory, Shenzhen 518000, China The Peng Cheng Laboratory, Shenzhen 518000, China 伍锦花 U-net在医学图像分割领域应用广泛，但存在小目标分割精度低、模型收敛慢等问题，且其结构和超参数的设定对网络性能有很大影响。为此，本文提出基于混合状态转移算法的U-net结构设计方法，以获取不同分割任务下的较优的U-net体系结构。首先，提出一种可变深度的编码策略来表示U-net中不同的构建块和潜在的最优深度；其次，通过混合状态转移算法优化网络结构中的超参数和连接权重初始值；再次，设计一种新的交互操作来生成具有潜力的个体，利用迁移学习策略和减少epoch的方法加速网络个体的进化；最后，在心脏MRI、肝脏LiTS这2个医学图像数据集中进行测试，验证本文方法的有效性。研究结果表明：与经典的语义分割网络相比，本文所提方法在Dice、Jaccard、VOE等分割性能评价指标中有更好的表现，验证了本文所提算法的可行性和有效性。 U-net has been well applied in medical image segmentation, but there exist some problems such as low segmentation accuracy and slow model convergence for small targets, and its network performance is greatly affected by structures and hyperparameters. Therefore, a U-net architecture design method based on hybrid state transition algorithm was proposed to achieve a better U-net architecture when facing different medical image segmentation tasks. Firstly, a variable-depth encoding strategy was proposed to represent the different building blocks and potential optimal depths in U-net. Then, the hyperparameters and initial connection weights in the network structure were optimized by hybrid state transition algorithm. In addition, a new interactive operation was developed to generate potential individuals, and the transfer learning strategies as well as the method of reducing the number of epochs were used to accelerate the evolution of networks. Finally, experimental studies were carried out on cardiac MRI and LiTS medical image datasets to verify the effecitveness of the proposed method. The results show that compared with the classical semantic segmentation methods, the proposed method has better segmentation performance in Dice, Jaccard, VOE and other evaluation indexes, which has demonstrated the feasibility and effectiveness of the proposed method. U-net 状态转移算法 医学图像分割 网络结构设计 U-net state transition algorithm medical image segmentation network architecture design 医学图像的准确分割是医学图像分析中最具挑战性的环节之一，它可以从图像中识别出病变器官或组织的位置，并在放射治疗前协助医生进行诊断 [ 1 1 ] 。随着各种医学影像的急剧增加，手动分割已经完全不能适应当前需求，故实现快速且准确的分割具有重要意义。许多传统的分割方法都是基于人工规则进行特征提取 [ 2 2 - 3 3 2-3 ] ，容易受到主观因素的影响。因此，设计一种自动准确的分割方法是目前研究的重点。 近年来，随着全卷积神经网络(fully convolutional networks, FCN) [ 4 4 ] 的出现，语义分割网络取得了迅速发展。基于FCN结构，RONNEBERGER等 [ 5 5 ] 提出了U-net语义分割网络，该网络在多种医学图像分割任务中展现了良好的性能。但U-net在面对不同分割任务时，取得的分割效果并不令人满意，因此，许多研究人员开始专注于改进U-net结构以提高分割性能。为了提取小目标输入的全局特征和大目标输入的高分辨率边缘信息特征，SEO等 [ 6 6 ] 在跳跃连接中增加了卷积层。ZHANG等 [ 7 7 ] 将可变形卷积层应用于经典的 U-Net结构中，使网络对各种细胞形态和图像更具鲁棒性。由于大量改进网络的涌现，当前的U-net网络结构正变得越来越复杂，而改进网络结构的过程非常依赖于深度学习领域的专业知识，并且是一个耗时且容易出错的过程。对于有任务需求但没有相关领域知识的人来说，这是一项非常困难的任务。 目前，几乎所有人工设计并改进后的U-net分割网络都有数百万甚至数千万个参数，这导致网络训练占用相当大的内存空间，使用大量计算资源。而在相近的分割效果下，模型参数量更少的网络会更受欢迎。此外，神经网络中超参数的调整严重影响了网络模型的分割效果，研究人员通常需要不断地手动调整超参数，以便找到一个满意的网络模型。这是一个耗时的过程，并且大多数参数具有高维性、离散性和相互依赖性等特点 [ 8 8 ] ，这对找到最佳的网络体系结构带来了很大的困难。因此，为了减少计算资源的使用并提高网络的分割性能，有必要优化U-net结构来自动实现网络结构的设计 [ 9 9 ] 。 神经网络结构设计方法已从早期的网格搜索(GS)、随机搜索(RS)发展到最近流行的强化学习(RL)和进化算法(EAs) [ 10 10 - 12 12 10-12 ] 。其中，进化算法不仅可以很好地解决非凸最优化问题，并且不需要非常丰富的领域知识 [ 13 13 ] 。状态转移算法(state transition algorithm, STA)是周晓君等 [ 14 14 ] 提出的一种基于结构主义学习的新型智能进化算法，该算法具有全局搜索能力强、寻优速度快、可控性高等特点，并且在多阈值图像分割 [ 15 15 ] 、泡沫图像特征选择 [ 16 16 ] 等领域得到了应用。目前，神经网络结构设计方法已被应用于U-net。WENG等 [ 17 17 ] 将基于梯度优化的搜索体系结构方法应用于U-net，以便在等效分割的情况下获得更小的网络。BALDEON-CALISTO等 [ 18 18 ] 采用了一种同时考虑网络参数量和分割精度的多目标进化算法来得到不同的网络结构。上述工作很好地挖掘了U-net不同结构的性能，但都没有考虑到U-net结构的深度问题，而 U-net深度变化会对分割结果产生重要影响 [ 19 19 ] 。另外，面对大量的图像，网络体系结构搜索需要大量的时间，这也是一个具有挑战性的问题。虽然进化算法可以有效地缓解这一问题，但仍然是一个缓慢的过程。迁移学习可以将训练子数据集得到的网络结构转换为相应的原始大数据集，从而解决这个问题 [ 20 20 ] 。另外，网络优化器严重依赖于初始值的权重和偏差 [ 21 21 ] ，选择合适的初始化方法有利于提升模型的性能和收敛速度。对每1组超参数的评估都需要很长的时间，故网络结构优化的评估策略也需要考虑。由此可见，网络的结构设计、连接权重初始化策略和评估策略都要是考虑的重点。 本文提出基于混合状态转移算法的U-net的结构优化方法，它能够自动适应不同的医学图像数据集，在无人为干预的情况下自动寻找较优的注意力U-net结构和相应的连接权重初始值，所提出的体系结构称为EvoUnet。为达到这个目标，在 U-net中添加BN层 [ 22 22 ] 和Dropout层，以缓解模型过拟合问题，并开展以下工作：首先，设计一种可变深度基因编码方案，以解决U-net最优体系结构深度未知的问题；其次，通过离散状态转移算法和基本状态转移算法优化网络结构中的超参数和连接权重初始化参数，并设计新的交互操作来生成具有潜力的个体，即利用每次迭代得到的较优个体生成子代，以便对U-net中的模型个体进行进化搜索；最后，运用减少eopch(训练次数)的方法和迁移学习策略加速网络个体进化。 1 基础理论 1 1.1 　 U-net 基本结构 2 U-net模型基本结构如 图1 图1 所示，其整体采用编码器－解码器结构，编码器和解码器之间的跳跃连接可以将网络浅层输出与深层输出信息进行传递。 图1 图1 中，每个蓝框对应1个多通道特征图，蓝框顶部数值表示通道数量。编码器部分主要由卷积层(conv)和最大池化层(max pool)组成，以实现卷积(3×3)操作和最大池化(2×2)操作，分别对应图中浅蓝色箭头和橙色箭头，卷积层后面的激活函数采用ReLU，每一次下采样操作都会使得特征图尺寸缩小一半，且通道数量翻倍。解码器主要由卷积核为3×3的卷积层和上采样加卷积(up-conv)层组成，上卷积操作如图中蓝色箭头所示。跳跃连接操作如图中灰色箭头所示，该操作是将下采样过程的输出与对应上采样的特征图进行拼接。在U-net模型最后一层，通过卷积(1×1)操作将特征向量映射到所需的类数，如图中绿色箭头所示。 1.1.1　卷积层 3 卷积的本质是利用滤波器来提取图像的特征。卷积核为一个二维的数字矩阵。对于给定尺寸的输入图像，首先，滤波器中的每个卷积核会对特征图的第1个覆盖区域进行卷积运算；其次，每个卷积核以步幅宽度从输入数据的最左侧移动到最右侧进行卷积运算；然后，以步幅高度向下移动，直到到达输入图像的右下角区域输出新的特征图像。给定卷积层输出值的计算公式为 <math display="block" id="M1"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo>=</mo><mfrac><mrow><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo>-</mo><mi>F</mi><mmultiscripts><mrow><mo>+</mo></mrow><mprescripts/><mrow><mi mathvariant="normal">c</mi></mrow><mrow/></mmultiscripts><mn mathvariant="normal">2</mn><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo stretchy="false">)</mo></mrow><mrow><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></mrow></mfrac><mo>+</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43682990&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683009&type= 35.89866638 8.21266651 其中： N c 为输出值； I c 为输入值； F c 为卷积核尺寸； P c 为图像填充值； S c 为步长。此外，卷积层的权值初始化方式及卷积类型会对网络的性能产生较大影响。卷积层中涉及的参数主要包括特征图的数量、过滤器宽度、过滤器高度、步幅宽度、步幅高度、卷积类型以及权值初始化方式。 1.1.2　池化层 3 池化层的主要作用是降低维度并减少计算复杂度，其使用预定义的窗口值来对覆盖区域的特征值进行计算，扫描的顺序跟卷积运算的一样，都是从特征图左上角区域开始，然后根据设置的步幅宽度和步幅高度逐步扫描整个特征图。此外，不同类型的池化层也会对网络性能产生影响，最常见的池化操作包括最大池化和平均池化，最大池化对窗口领域内特征点取最大值，而平均池化对窗口领域内特征点取平均值。池化层的输出值的计算公式为 <math display="block" id="M2"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub><mo>=</mo><mfrac><mrow><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub><mo>-</mo><msub><mrow><mi>K</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub><mo>+</mo><mn mathvariant="normal">2</mn><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub><mo stretchy="false">)</mo></mrow><mrow><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub></mrow></mfrac><mo>+</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43682994&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43682992&type= 35.72933197 9.14400005 其中： N p 为池化层的输出值； I p 为池化层输入尺寸； K p 为窗口尺寸； P p 为填充值； S p 为池化层步长。池化层中涉及的参数主要有窗口值、步长、填充值和池化类型。 1.1.3　跳跃连接层 3 跳跃连接层的主要作用是融合特征信息，使深层和浅层的信息融合起来，这使得U-net的像素定位更加准确，从而提升分割效果。在进行特征拼接的时候要注意，不仅特征图的尺寸要一致，而且特征图的通道数也要一样。由于跳跃连接层是U-net网络的重要组成部分，本文在利用不同深度的U-net结构时均会利用该模块。 1.1.4　上采样操作 3 上采样操作的主要作用是为了恢复特征维度，常用的上采样方法包括双线性插值以及转置卷积。双线性插值的步骤为：先找到目标图像像素点在原图像上的像素点位置，然后找到上下左右最近的4个像素点用于计算插值。如果把卷积操作转换为矩阵乘法的形式，那么转置卷积实际上就是将其中的矩阵进行转置，从而产生逆向的效果。上采样过程中不同的方式对网络模型的分割效果会产生较大的影响。 1.2 　连接权重初始化 2 在网络训练过程中，训练模型的困难在于为模型确定适当的初始化策略。随着网络层数逐步增加，极易出现梯度消失或者梯度爆炸的情况，因此，对权重的初始化显得至关重要。将权值参数初始化为常数是最简便的方法，不过这会导致网络中所有神经元学习到相同或相近的特征。高斯分布初始化方法利用高斯分布随机初始化模型，但是在选择分布参数时存在困难，需要人为给定高斯函数的均值与标准差。即使是将权值与偏置进行均匀分布的初始化，也需要给定均匀分布的范围。此外，还有利用先验知识的Xavier初始化方法，但该方法对于网络中的ReLU激活函数并不适用，因此，Xavier初始化方法不适用于本文提出的U-net框架。本文利用状态转移算法来搜索高斯分布的均值和标准偏差，以获取合适的分布参数来初始化网络模型。 1.3 　状态转移算法简要描述 2 1.3.1　基本状态转移算法 3 状态转换算法是一种基于状态变换和状态空间的新型智能优化算法 [ 23 23 ] 。一般来说，由STA产生的候选解可以用下式表示： <math display="block" id="M3"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><msub><mrow><mi>A</mi></mrow><mrow><mi>k</mi></mrow></msub><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>+</mo><msub><mrow><mi>B</mi></mrow><mrow><mi>k</mi></mrow></msub><msub><mrow><mi>u</mi></mrow><mrow><mi>k</mi></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>y</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43682997&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43682996&type= 27.85533524 9.65200043 其中： <math id="M4"><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683016&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683014&type= 2.96333337 3.72533321 定义为一个状态，对应于一个最优化问题的当前解； <math id="M5"><msub><mrow><mi>A</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683017&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683011&type= 3.64066648 3.72533321 和 <math id="M6"><msub><mrow><mi>B</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683029&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683018&type= 3.55599999 3.72533321 定义为算法中的状态变换算子； <math id="M7"><msub><mrow><mi>u</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683031&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683020&type= 3.04800010 3.72533321 为状态函数； <math id="M8"><mi>f</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683023&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683022&type= 5.16466665 3.38666677 为评价或目标函数。 STA采用4种特殊的状态转换算子生成局部和全局搜索的候选解集，分别为旋转变换算子、平移变换算子、伸缩变换算子及轴向变换算子。 旋转变换算子为 <math display="block" id="M9"><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>+</mo><mi>α</mi><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfrac><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683024&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683033&type= 36.83000183 9.90600014 其中： <math id="M10"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683042&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683040&type= 1.94733346 2.62466669 为大于0的旋转因子； <math id="M11"><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>n</mi><mo>×</mo><mi>n</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683035&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683044&type= 14.47799969 4.06400013 ，表示均匀分布在[-1，1]范围内的随机矩阵， <math id="M12"><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mo>⋅</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683039&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683037&type= 5.58799982 4.31799984 表示向量2范数。旋转变换可以搜索一个给定半径为 <math id="M13"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683042&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683040&type= 1.94733346 2.62466669 的超球面。 平移变换算子为 <math display="block" id="M14"><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>+</mo><mi>β</mi><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">t</mi></mrow></msub><mfrac><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></mrow><mrow><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683048&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683046&type= 38.69266510 9.99066734 其中： <math id="M15"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683052&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683050&type= 2.11666679 3.38666677 为大于0的平移因子； <math id="M16"><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">t</mi></mrow></msub><mo>∈</mo><mi mathvariant="bold">R</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683055&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683053&type= 9.73666668 3.72533321 ， 为[0，1]范围内的随机量。平移变换具有搜索直线的功能。 伸缩变换算子为 <math display="block" id="M17"><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>+</mo><mi>γ</mi><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi mathvariant="normal">e</mi></mrow></msub><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683074&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683057&type= 23.79133224 4.48733330 其中： <math id="M18"><mi>γ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683077&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683075&type= 1.52400005 3.38666677 为大于0的伸缩因子， <math id="M19"><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi mathvariant="normal">e</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>n</mi><mo>×</mo><mi>n</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683061&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683079&type= 14.73200035 4.06400013 ， 为随机对角矩阵，其元素服从正态分布。伸缩变换可以让每个元素在整个空间中搜索。 轴向变换算子为 <math display="block" id="M20"><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>+</mo><mi>δ</mi><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi mathvariant="normal">a</mi></mrow></msub><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683064&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683063&type= 24.04533195 3.72533321 其中： <math id="M21"><mi>δ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683066&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683081&type= 1.77800000 2.62466669 为大于0的轴向因子， <math id="M22"><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi mathvariant="normal">a</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>n</mi><mo>×</mo><mi>n</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683070&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683068&type= 14.73200035 4.06400013 ，为随机对角矩阵，它的元素服从正态分布。轴向变换可以增强单一维度搜索。 1.3.2　离散状态转移算法 3 离散状态转移算法与基本状态转移算法的最大不同在于编码方式及算子不同。首先，设计替换、平移、对称和交换4种状态变换算子；其次，候选解的编码方式采用下标表示法，使得4种状态变换算子生成的候选解均为可行域内的解集，这样可以有效避免候选解更新过程中对非可行解的修正问题，大幅提高算法的运行效率。该算法目前已经在多个领域取得了良好的应用效果 [ 24 24 - 25 25 24-25 ] 。 2 基于混合 STA 的 U-net 结构优化 1 2.1 　算法概述 2 本文利用混合STA寻找网络超参数并结合连接权重初始化得到一个简单有效的U-net结构。网络架构优化问题具有搜索空间大、参数相互依赖性强、维度高等特点，U-net架构参数的选择可以等效为神经网络分割精度最大化的优化问题。本文所提出的U-net结构设计(EvoUnet)算法的流程如 图2 图2 所示(其中 k best 为 k 的最优值)，具体的算法流程如下。 1) 将图像输入到U-net网络中，设置所提混合STA算法的相关参数； 2) 根据所提出的基因编码策略初始化进化个体，将初始化个体解码到相应的U-net中； 3) 利用混合状态转移进化算子生成新的候选解集，并评估每个个体的适应度； 4) 根据“贪婪准则”选择并保存候选解集的最优个体 I k ； 5) 利用所提出的交互操作将个体 I k 和 I k -1 生成新的进化个体 <math id="M23"><msub><mrow><mi>g</mi></mrow><mrow><msub><mrow><mi>k</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683086&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683095&type= 3.97933316 4.14866638 和 <math id="M24"><msub><mrow><mi>g</mi></mrow><mrow><msub><mrow><mi>k</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683104&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683103&type= 3.97933316 4.14866638 ，并对 I k ， <math id="M25"><msub><mrow><mi>g</mi></mrow><mrow><msub><mrow><mi>k</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683086&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683095&type= 3.97933316 4.14866638 和 <math id="M26"><msub><mrow><mi>g</mi></mrow><mrow><msub><mrow><mi>k</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683104&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683103&type= 3.97933316 4.14866638 进行适应度评估，选择最优的个体进行下一次迭代循环； 6) 若达到最大迭代次数，则将得到的最优个体解码到U-net模型中，否则回到步骤3)。 2.2 　编码策略 2 根据1.1节可知，U-net的结构体系中存在卷积层、池化层、跳跃连接层以及上采样等不同网络构建模块，为了能顺利进化个体结构，需要将所有模块的参数都编码在一起。此外，面对不同分割任务，U-net深度会严重影响模型分割性能，也就是说U-net最优结构深度是未知的，因此，本文提出一种可变深度的基因编码策略，该策略使得所提出的 EvoUnet方法可以不受结构搜索空间限制而更可能搜索到更好的模型结构，实现良好的分割效果。 EroUnet体系结构示意图见 图3 图3 。将EvoUnet的主要体系结构定义为可变数量的下采样模块(DownSM)和上采样模块(UpSM)，其中DownSM由2个卷积层和1个池化层构成，而UpSM表示1个上采样单元加2个卷积层，DownSM和UpSM的数量是相等的。考虑到跳跃连接对于提取图像深层信息和浅层信息的重要作用，在每2个单元之间添加跳跃连接，而不是将其当作所要搜索的结构部分。 图3 图3 中，蓝色箭头仅仅表示输入图像的流入，无其他的特殊功能。此外，为了缓解模型过拟合问题，在模型中添加了BN层和Dropout层。如此定义EvoUnet的体系结构的原因如下：一是为了更好地对模型深度进行编码，即通过在预定范围内给定一个数字来设置EvoUnet的深度；二是为了灵活处理不同的医学图像分割任务，例如，对于分割难度较大的医学图像数据集，较浅的模型达不到理想的分割效果，此时可以适当提高U-net深度的预定范围，在较深的U-net模型中搜寻较优的结构。 将卷积层、池化层以及上采样模块这3个单元需要编码的变量信息进行总结整理，如 表1 表1 所示。 网络单元 编码信息 卷积层 卷积核尺寸、卷积核步长、卷积层类型、特征图数量、填充量、高斯分布初始化均值、高斯分布初始化标准偏差 池化层 池化核尺寸、池化核步长、 池化层类型、填充量 上采样+卷积层 上采样方式、卷积核尺寸、卷积核步长 将 表1 表1 中的变量分为2类，一类为卷积核尺寸、卷积层类型等离散变量，一类为高斯分布初始化均值以及高斯分布初始化标准偏差2个连续变量。一般情况下，处理混合变量的常见方法有3种 [ 26 26 ] 。 1) 将连续变量转化为离散变量，再利用进化算法进行优化处理。 2) 采用离散化方法，如将连续变量用二进制字符串编码，但二进制字符串的长度限制了算法的效果。 3) 将处理离散变量和连续变量的算子进行结合，分别处理连续变量和离散变量。该方法有2个优势：一是不需要对变量进行额外转换，减少计算资源的消耗；二是无论这些算子是否来自同一算法，这些算法都可以比较容易地与有效算子结合。 因此，本文采用第3类方法，利用离散状态转移算法和基本状态转移算法对混合变量进行优化，搜寻较优的可变深度的U-net模型结构。 为了适应连续优化问题和离散优化问题的不同进化算子，本文采用混合变量编码方案，个体的编码方式如 图4 图4 所示。 图4 图4 中，每个个体被分为两部分，一部分为由高斯分布初始化均值、高斯分布初始化标准偏差组成的连续变量；另一部分为由卷积核尺寸、卷积核步长等组成的离散变量。用混合变量方式编码的个体可以表示为 x i = <math id="M27"><mfenced open="{" close="" separators="|"><mrow><msubsup><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msubsup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683114&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683112&type= 4.57200003 4.74133301 ， <math id="M28"><msubsup><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683102&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683100&type= 3.13266683 4.06400013 ，…， <math id="M29"><mfenced open="" close="}" separators="|"><mrow><msubsup><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>z</mi></mrow></msubsup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683116&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683119&type= 4.31799984 4.74133301 ，受益于这种混合变量编码方式，不需要额外的变量转换方法，就可以利用状态转移算法的连续进化算子和离散进化算子分别处理连续变量和离散变量。 2.3 　候选解集生成策略 2 当利用混合变量编码方式获得初始个体后，以“交替轮换”的方式使用离散状态变换算子和基本状态变换算子分别处理个体中的离散变量和连续变量，从而产生新的候选解，具体流程如 图5 图5 所示。 首先，选择离散状态变换算子中的一个算子，对个体中的离散变量进行搜索生成 N SE (搜索强度)个离散变量候选解；其次，选择基本状态变换算子中的一个算子，对个体中的连续变量进行搜索，生成 N SE 个连续变量候选解；最后，将生成的离散变量候选解集与连续变量候选解集进行随机组合，构成 N SE 个候选个体。在选出当前进化算子得到的最优个体后，将选择出的最优个体作为父代个体，以同样的方式交替轮换使用不同的变换算子生成新的候选解集。 2.4 　个体评估策略 2 对个体进行评估是为了选择更优的个体，在新的候选解集生成时，需将候选解集中的每个个体解码到U-net模型中。在减少epoch的方式下对每个个体进行训练来计算损失函数值，损失函数值越小，适应度越高。通过对比初始个体和候选解集中每个个体的适应度，选择适应度最高的个体来进行接下来的进化过程，之后交替轮换使用其他离散状态变换算子和基本状态变换算子来重复上述过程，直到选择并保存得到当前循环的最优个体 I k 。 上述过程采用减少epoch的方式进行训练，这是为了缩短模型训练时间，进而加快EvoUnet的个体进化速度。尽管减少epoch不能得到精确的分割精度，但若某一个体在训练的前几个阶段表现较好，则其在接下来的训练阶段大概率也会比其他个体表现更加优异。此外，上述策略可以有效地加速进化速度，但是建立在大量训练数据基础上的进化过程仍然相当缓慢，而迁移学习可以克服这个不足，从子数据集中得到的最优个体可以转移到原始的大数据集中。例如，可以先使用一个小数据集来快速优化个体，然后使用从小数据集中识别出来的精细个体基因初始化一个新的候选解集来探索大数据集上的U-net模型。迁移学习进一步加快了优化的进化速度。 2.5 　个体交互策略 2 在每轮迭代后都能得到当前轮次的最优个体 I k ，为了获取更具潜力的个体，本文提出一种新的个体交互策略，即在得到当前轮次的最优个体后，与前一轮的最优个体进行交互操作，以生成新的个体，如 图6 图6 所示。 图6 图6 (a)所示为2个不同深度的较优U-net个体以及网络个体的编码信息； 图6 图6 (b)所示为将选择出的个体 I k 和 I k -1 进行个体交互的过程。首先，分别将这2个个体的离散变量和连续变量进行部分分离，然后将分离后的各个部分进行混合组合，生成全新的个体 g k 和 g k -1 ，而这里默认将个体的深度与离散部分进行交互。由于 I k 的适应度一定比 I k -1 的高，因此，只需要比较 I k ， g k 和 g k -1 这3个个体的适应度，选择其中适应度最大的个体作为下一次迭代的初始个体，继续进化U-net模型。利用上述策略迭代到指定的终止次数，最后得到选择的最优个体，将该个体解码到U-net中得到最终的分割结果。 (a) 较优U-net个体及网络个体编码信息；(b) 个体交互过程示意图 3 实验与分析 1 3.1 　数据集及预处理 2 实验数据分别来源于多伦多儿童病医院的心脏MRI数据集以及肝脏LiTS数据集。其中，心脏MRI数据集包含33名患者的7 980张医疗影像图像和对应的左心室内外膜的标注图。肝脏LiTS数据集包含131位患者的对比增强CT肝脏扫描图像，附带有丰富经验的放射科医生所做的标注图。在分割过程中，将训练集、验证集和测试集样本量的比例设置为4꞉1꞉1。此外，在进化网络个体过程中利用迁移学习策略，即在小数据集上寻找较优个体再将解码的网络个体转移到大数据集上，因此，在选择最优网络个体的过程中没有选择所有的图像，具体信息如 表2 表2 所示。 数据集 原始分辨率/(像素 <math id="M30"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683155&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683153&type= 1.52400005 2.37066650 像素) 输入分辨率/(像素 <math id="M31"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683155&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683153&type= 1.52400005 2.37066650 像素) 训练集图像数/张 验证集图像数/张 测试集图像数/张 心脏MRI 256×256 512×512 600 150 150 肝脏LiTS 512×512 512×512 400 100 100 上述2个数据集的原始图像和标注图示例如 图7 图7 所示。此外，由于LiTS腹部CT图像各种器官错综复杂，肝脏的边界非常模糊，这对获取准确的分割结果会造成较大影响。为了能够得到清晰的图片来获取更精确的肝脏分割区域，本文使用窗口技术对LiTS数据集中的原始CT图像进行预处理，来提升肝脏区域与其他器官组织的灰度对比，得到纹理轮廓更加清晰的肝脏区域，如 图7 图7 (c)所示。 图7 图7 (c)中，左图代表原始CT图像，右图表示经预处理后的CT图像。由 图7 图7 (c)可见预处理后的图像各个器官之间的边界更加清晰。 (a) 肝脏LiTS原始图像及其对应的手动标注图； (b) 心脏MRI原始图像及其对应的手动标注图； (c) 肝脏LiTS原始图像及其经预处理后的图像 3.2 　评价指标 2 3.1节中2个数据集的分割任务实际为一个二分类任务，为了将算法预测的分割结果与专家手动标注的分割结果进行比较，实验采用4个最常用的评价指标。 1) Dice系数 <math id="M32"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683168&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683167&type= 3.64066648 3.72533321 。 <math id="M33"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683180&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683170&type= 3.64066648 3.72533321 用于表示分割结果与标注结果的重复程度， <math id="M34"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683184&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683183&type= 3.64066648 3.72533321 越大，分割结果越好。 <math display="block" id="M35"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">2</mn><mfenced open="|" close="|" separators="|"><mrow><mi>X</mi><mo>⋂</mo><mi>Y</mi></mrow></mfenced></mrow><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>X</mi></mrow></mfenced><mo>+</mo><mfenced open="|" close="|" separators="|"><mrow><mi>Y</mi></mrow></mfenced></mrow></mfrac><mo>=</mo><mfrac><mrow><mn mathvariant="normal">2</mn><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">N</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683193&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683175&type= 47.83666611 8.72066593 2) Jaccard相似系数 <math id="M36"><msub><mrow><mi>J</mi></mrow><mrow><mi mathvariant="normal">a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683187&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683195&type= 2.96333337 3.72533321 。 <math id="M37"><msub><mrow><mi>J</mi></mrow><mrow><mi mathvariant="normal">a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683200&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683198&type= 2.96333337 3.72533321 表示分割结果与标注结果的相似性和差异性。 <math display="block" id="M38"><msub><mrow><mi>J</mi></mrow><mrow><mi mathvariant="normal">a</mi></mrow></msub><mo>=</mo><mfrac><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>X</mi><mo>⋂</mo><mi>Y</mi></mrow></mfenced></mrow><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>X</mi><mo>⋃</mo><mi>Y</mi></mrow></mfenced></mrow></mfrac><mo>=</mo><mfrac><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></mrow><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">N</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683205&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683202&type= 42.33333206 8.72066593 3) 体积重叠误差(volumetric overlap error, <math id="M39"><msub><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683209&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683207&type= 4.57200003 3.72533321 )。 <math id="M40"><msub><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683224&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683223&type= 4.57200003 3.72533321 代表预测分割和真实分割的重叠误差， <math id="M41"><msub><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683225&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683216&type= 4.57200003 3.72533321 越小，分割结果越好。 <math display="block" id="M42"><msub><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn><mo>-</mo><mfrac><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>X</mi><mo>⋂</mo><mi>Y</mi></mrow></mfenced></mrow><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>X</mi><mo>⋃</mo><mi>Y</mi></mrow></mfenced></mrow></mfrac><mo>=</mo><mn mathvariant="normal">1</mn><mo>-</mo><mfrac><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></mrow><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">N</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683222&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683227&type= 54.18666840 8.72066593 4) 灵敏度 <math id="M43"><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683240&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683229&type= 3.04800010 3.72533321 。 <math id="M44"><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683233&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683231&type= 3.04800010 3.72533321 表示感兴趣区域判断正确的像素点所占的比例。 <math display="block" id="M45"><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">e</mi></mrow></msub><mo>=</mo><mfrac><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>X</mi><mo>⋂</mo><mi>Y</mi></mrow></mfenced></mrow><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>X</mi></mrow></mfenced></mrow></mfrac><mo>=</mo><mfrac><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></mrow><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">N</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683246&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683244&type= 35.39066696 8.72066593 其中， X 为预测分割结果的像素集； Y 为专家手动分割的像素集； T P 为真正例； T N 为真负例； F P 为假正例； F N 为假负例。分类结果混淆矩阵如 表3 表3 所示。 2 真实情况 2 预测结果 正例 反例 正例 T P (真正例) F N (假反例) 反例 F P (假正例) T N (真反例) 3.3 　实验结果与分析 2 在一台配有Intel E5-2630处理器、32 GB内存和4个TITAN Xp显卡的计算机上开展实验。文中所提方法均采用Python3.7编程语言，并在PyTorch框架上实现。本文采用的2个数据集具有不同的图像特征和分割难点，使得实验结果更具说服力，EvoUnet算法参数设置见 表4 表4 。状态转移算法的主要参数 N SE 设置为6个，迭代数设置为20次。 参数 数值 训练数/次 6 样本量/个 10 学习率 0.000 1 EvoUnet深度 2~6 另外，由于部分图像前景区域的占比很低，本文采用Dice loss( D L )作为EvoUnet的损失函数，该损失函数对正负样本数严重失衡的分割任务有着较好的性能。 D L 的定义如下： <math display="block" id="M46"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn><mo>-</mo><mfrac><mrow><mn mathvariant="normal">2</mn><mfenced open="|" close="|" separators="|"><mrow><mi>X</mi><mo>⋂</mo><mi>Y</mi></mrow></mfenced></mrow><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>X</mi></mrow></mfenced><mo>+</mo><mfenced open="|" close="|" separators="|"><mrow><mi>Y</mi></mrow></mfenced></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683269&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43683255&type= 28.61733437 8.72066593 为了证明所提算法的有效性和优越性，本文分别在2个数据集上将所提算法与FCN，U-net，R2U-Net [ 27 27 ] 和U-Net++等语义分割网络进行比较，分割结果如 表5 表5 和 表6 表6 所示。在心脏MRI数据集上，与其他算法相比，EvoUnet框架能够找到的体系结构参数量比FCN的小50.5%，比U-Net的小56.5%，比R2U-Net的小68.7%、比U-Net++的小60.1%，而在LiTS数据集上，EvoUnet框架能够找到的体系结构参数量比FCN的小44.6%，比U-Net的小62.5%，比R2U-Net的小65.7%，比U-Net++的小62.0%，并且在2个数据集上本文算法搜寻得到的网络结构同时能够在多个评价指标上取得更高的分割精度。网络训练参数数量的减少会大幅节省训练时间、预测时间以及计算资源。 方法 Dice系数/% Jaccard系数/% 灵敏度/% 参数量/个 FCN 85.26 74.39 85.61 2.75×10 7 U-net 89.13 80.17 90.36 3.13×10 7 R2U-Net 90.64 82.38 91.26 4.35×10 7 U-Net++ 90.78 82.76 91.39 3.41×10 7 EvoUnet 91.12 83.18 92.31 1.36×10 7 方法 Dice系数/% Jaccard系数/% 体积重叠误差/% 参数量/个 FCN 87.31 77.23 12.61 2.24×10 7 U-net 93.19 87.25 10.38 3.31×10 7 R2U-Net 94.12 89.21 9.14 3.61×10 7 U-Net++ 93.97 88.89 9.16 3.26×10 7 EvoUnet 94.63 89.68 8.63 1.24×10 7 图8 图8 和 图9 图9 所示分别为不同算法的左心室分割结果和肝脏区域的分割结果，其中第1列图像为典型的3张不同切片位置的图像。 图8 图8 中，第1列图像分别对应左心室大面积、较大面积和较小面积的切面。 图9 图9 中，第1列图像分别对应肝脏大面积、较大面积和较小面积的切面。红色轮廓线表示不同算法预测的分割结果，而绿色轮廓线表示专家原始标注的分割结果。在心脏MRI左心室分割结果中，针对前2张心脏MRI图像，EvoUnet、Unet++和R2U-Net可以较为精确地捕捉左心室内外膜的形状和边界，但相比之下在很多边界模糊的区域EvoUnet表现更好，而FCN和U-net则在某些区域得到了不规则边界。对于最后一张心脏MRI图像，其边界轮廓较为模糊且目标区域较小，EvoUnet虽然在某些区域出现了过分割的现象，但是其分割结果显然优于其他网络的分割结果，其他网络均不能很好地捕捉左心室内外膜的边界。在肝脏区域的分割结果中，对于大面积、较大面积肝脏切面的图像，所有模型都可以将肝脏的大致区域分割出来，但其他网络不能很好地捕获肝脏边界形状的细节且多次出现过分割或欠分割现象，而EvoUnet则能够得到精确和平滑的分割轮廓。尤其是对于肝脏区域较小的图像，FCN和U-net的分割结果较差，R2U-Net和Unet++不能很好地捕捉肝脏的边界，EvoUnet的分割效果则明显比其他网络的分割效果更优。 (a) 原始图像；(b) EvoUnet；(c) FCN；(d) U-net；(e) R2U-Net；(f) U-Net++ (a) 预处理CT图；(b) EvoUnet；(c) FCN；(d) U-net；(e) R2U-Net；(f) U-Net++ 3.4 　个体进化轨迹 2 为了更好地观察EvoUnet中个体的进化过程，本文统计每次迭代过程中每个个体的分割准确率，并绘制统计结果。 图10 图10 (a)和(b)所示分别为所提算法在心脏MRI数据集和LiTS数据集的个体进化轨迹。 (a) 心脏MRI数据集；(b) 肝脏LiTS数据集 从 图10 图10 (a)可以看出：由于刚开始的个体是随机生成的且epoch较少，产生的候选个体出现了分割准确率很小的情况；随着评估过程和选择过程的进行，个体的分割准确率逐渐增高，且从第1代到第3代，个体平均准确率急剧增高，随后准确率稳步上升。由于状态转移算法“贪婪准则”的更新机制，最佳准确率逐渐增高或保持不变。此外，最佳分割准确率与最差分割准确率之间的差异也随着迭代次数增加而变小，最后，个体集的分割准确率逐渐收敛到一个稳定的状态，类似结果也可以从 图10 图10 (b)中看到。 4 结论 1 1) 设计了一种基于状态转移进化算法的U-net结构设计方法，该方法能够在有限的计算资源基础上，完全自动地为给定的任务搜索出最优的 U-net结构。 2) 提出了一种新的可变深度的网络编码方案以及网络超参数和权值初始化混合编码策略，较优个体交互策略被成功地用于U-net的自动进化，实现了医学图像的分割。 3) 利用本文提出的EvoUnet算法进化得到的网络模型的训练参数比其他网络的少，且其在心脏MRI和LiTS数据集上的分割性能都明显比FCN、U-net、R2U-Net及Unet++的更优。 参考文献 LITJENS G , KOOI T , BEJNORDI B E , et al . A survey on deep learning in medical image analysis [J]. Medical Image Analysis , 2017 , 42 : 60 - 88 . A survey on deep learning in medical image analysis 赵于前 , 闫桂霞 , 徐效文 , 等 . 基于先验信息水平集方法的肝脏CT序列图像自动分割 [J]. 中南大学学报(自然科学版) , 2015 , 46 ( 4 ): 1310 - 1317 . 基于先验信息水平集方法的肝脏CT序列图像自动分割 ZHAO Yuqian , YAN Guixia , XU Xiaowen , et al . Automatic segmentation of livers from CT series based on level set method with prior knowledge [J]. Journal of Central South University(Science and Technology) , 2015 , 46 ( 4 ): 1310 - 1317 . Automatic segmentation of livers from CT series based on level set method with prior knowledge 宋艳涛 , 纪则轩 , 孙权森 . 基于图像片马尔科夫随机场的脑MR图像分割算法 [J]. 自动化学报 , 2014 , 40 ( 8 ): 1754 - 1763 . 基于图像片马尔科夫随机场的脑MR图像分割算法 SONG Yantao , JI Zexuan , SUN Quansen . Brain MR image segmentation algorithm based on Markov random field with image patch [J]. Acta Automatica Sinica , 2014 , 40 ( 8 ): 1754 - 1763 . Brain MR image segmentation algorithm based on Markov random field with image patch LONG J , SHELHAMER E , DARRELL T . Fully convolutional networks for semantic segmentation [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Boston, USA : IEEE , 2015 : 3431 - 3440 . Fully convolutional networks for semantic segmentation RONNEBERGER O , FISCHER P , BROX T . U-Net: Convolutional networks for biomedical image segmentation [C]// International Conference on Medical Image Computing and Computer-Assisted Intervention . Cham : Springer , 2015 : 234 - 241 . U-Net: Convolutional networks for biomedical image segmentation SEO H , HUANG C , BASSENNE M , et al . Modified U-net (mU-net) with incorporation of object-dependent high level features for improved liver and liver-tumor segmentation in CT images [J]. IEEE Transactions on Medical Imaging , 2020 , 39 ( 5 ): 1316 - 1325 . Modified U-net (mU-net) with incorporation of object-dependent high level features for improved liver and liver-tumor segmentation in CT images ZHANG Mo , LI Xiang , XU Mengjia , et al . Automated semantic segmentation of red blood cells for sickle cell disease [J]. IEEE Journal of Biomedical and Health Informatics , 2020 , 24 ( 11 ): 3095 - 3102 . Automated semantic segmentation of red blood cells for sickle cell disease ZHAO Jiakun , ZHANG Ruifeng , ZHOU Zheng , et al . A neural architecture search method based on gradient descent for remaining useful life estimation [J]. Neurocomputing , 2021 , 438 : 184 - 194 . A neural architecture search method based on gradient descent for remaining useful life estimation PAN Zijie , ZENG Jiajin , CHENG Riqiang , et al . PNAS: a privacy preserving framework for neural architecture search services [J]. Information Sciences , 2021 , 573 : 370 - 381 . PNAS: a privacy preserving framework for neural architecture search services SUN Yanan , XUE Bing , ZHANG Mengjie , et al . Automatically designing CNN architectures using the genetic algorithm for image classification [J]. IEEE Transactions on Cybernetics , 2020 , 50 ( 9 ): 3840 - 3854 . Automatically designing CNN architectures using the genetic algorithm for image classification FERNANDES F E , YEN G G . Particle swarm optimization of deep neural networks architectures for image classification [J]. Swarm and Evolutionary Computation , 2019 , 49 : 62 - 74 . Particle swarm optimization of deep neural networks architectures for image classification MARTÍN A , VARGAS V M , GUTIÉRREZ P A , et al . Optimising convolutional neural networks using a hybrid statistically-driven coral reef optimisation algorithm [J]. Applied Soft Computing , 2020 , 90 : 106144 . Optimising convolutional neural networks using a hybrid statistically-driven coral reef optimisation algorithm SUN Yanan , XUE Bing , ZHANG Mengjie , et al . Evolving deep convolutional neural networks for image classification [J]. IEEE Transactions on Evolutionary Computation , 2020 , 24 ( 2 ): 394 - 407 . Evolving deep convolutional neural networks for image classification 周晓君 , 阳春华 , 桂卫华 . 状态转移算法原理与应用 [J]. 自动化学报 , 2020 , 46 ( 11 ): 2260 - 2274 . 状态转移算法原理与应用 ZHOU Xiaojun , YANG Chunhua , GUI Weihua . The principle of state transition algorithm and its applications [J]. Acta Automatica Sinica , 2020 , 46 ( 11 ): 2260 - 2274 . The principle of state transition algorithm and its applications HAN Jie , YANG Chunhua , ZHOU Xiaojun , et al . A new multi-threshold image segmentation approach using state transition algorithm [J]. Applied Mathematical Modelling , 2017 , 44 : 588 - 601 . A new multi-threshold image segmentation approach using state transition algorithm ZHOU Xiaojun , WANG Qi'an , ZHANG Rundong , et al . A hybrid feature selection method for production condition recognition in froth flotation with noisy labels [J]. Minerals Engineering , 2020 , 153 : 106201 . A hybrid feature selection method for production condition recognition in froth flotation with noisy labels WENG Yu , ZHOU Tianbao , LI Yujie , et al . NAS-unet: neural architecture search for medical image segmentation [J]. IEEE Access , 2019 , 7 : 44247 - 44257 . NAS-unet: neural architecture search for medical image segmentation BALDEON-CALISTO M G , LAI-YUEN S K . AdaResU-Net: multiobjective adaptive convolutional neural network for medical image segmentation [J]. Neurocomputing , 2020 , 392 : 325 - 340 . AdaResU-Net: multiobjective adaptive convolutional neural network for medical image segmentation ZHOU Zongwei , SIDDIQUEE M M R , TAJBAKHSH N , et al . UNet: redesigning skip connections to exploit multiscale features in image segmentation [J]. IEEE Transactions on Medical Imaging , 2020 , 39 ( 6 ): 1856 - 1867 . UNet: redesigning skip connections to exploit multiscale features in image segmentation LIU Peng , EL BASHA M D , LI Y , et al . Deep evolutionary networks with expedited genetic algorithms for medical image denoising [J]. Medical Image Analysis , 2019 , 54 : 306 - 315 . Deep evolutionary networks with expedited genetic algorithms for medical image denoising 廖晓龙 , 张志厚 , 范祥泰 , 等 . 基于改进粒子群深度神经网络的频率域航空电磁反演 [J]. 中南大学学报(自然科学版) , 2020 , 51 ( 8 ): 2162 - 2173 . 基于改进粒子群深度神经网络的频率域航空电磁反演 LIAO Xiaolong , ZHANG Zhihou , FAN Xiangtai , et al . Frequency domain airborne EM inversion based on improved particle swarm depth neural network [J]. Journal of Central South University(Science and Technology) , 2020 , 51 ( 8 ): 2162 - 2173 . Frequency domain airborne EM inversion based on improved particle swarm depth neural network IOFFE S , SZEGEDY C . Batch normalization: accelerating deep network training by reducing internal covariate shift [C]// Proceedings of the 32nd International Conference on International Conference on Machine Learning . New York : ACM , 2015 : 448 - 456 . Batch normalization: accelerating deep network training by reducing internal covariate shift ZHOU Xiaojun , YANG Chunhua , GUI Weihua . A statistical study on parameter selection of operators in continuous state transition algorithm [J]. IEEE Transactions on Cybernetics , 2019 , 49 ( 10 ): 3722 - 3730 . A statistical study on parameter selection of operators in continuous state transition algorithm 阳春华 , 唐小林 , 周晓君 , 等 . 一种求解旅行商问题的离散状态转移算法 [J]. 控制理论与应用 , 2013 , 30 ( 8 ): 1040 - 1046 . 一种求解旅行商问题的离散状态转移算法 YANG Chunhua , TANG Xiaolin , ZHOU Xiaojun , et al . A discrete state transition algorithm for solving traveling salesman problem [J]. Control Theory & Applications , 2013 , 30 ( 8 ): 1040 - 1046 . A discrete state transition algorithm for solving traveling salesman problem ZHOU Xiaojun , YANG Ke , XIE Yongfang , et al . A novel modularity-based discrete state transition algorithm for community detection in networks [J]. Neurocomputing , 2019 , 334 : 89 - 99 . A novel modularity-based discrete state transition algorithm for community detection in networks WANG Feng , ZHANG Heng , ZHOU Aimin . A particle swarm optimization algorithm for mixed-variable optimization problems [J]. Swarm and Evolutionary Computation , 2021 , 60 : 100808 . A particle swarm optimization algorithm for mixed-variable optimization problems ALOM M Z , YAKOPCIC C , TAHA T M , et al . Nuclei segmentation with recurrent residual convolutional neural networks based U-net (R2U-net) [C]// NAECON 2018-IEEE National Aerospace and Electronics Conference . Dayton, USA : IEEE , 2018 : 228 - 233 . Nuclei segmentation with recurrent residual convolutional neural networks based U-net (R2U-net) 10.11817/j.issn.1672-7207.2023.04.014 TP273 A 1672-7207（2023）04-1358-12 周晓君, 耿传玉, 阳春华. 基于状态转移算法和U-net的医学图像分割[J]. 中南大学学报(自然科学版), 2023, 54(4): 1358-1369. 周晓君, 耿传玉, 阳春华. 基于状态转移算法和U-net的医学图像分割[J]. 中南大学学报(自然科学版), 2023, 54(4): 1358-1369. ZHOU Xiaojun, GENG Chuanyu, YANG Chunhua. Medical image segmentation based on state transition algorithm and U-net[J]. Journal of Central South University(Science and Technology), 2023, 54(4): 1358-1369. ZHOU Xiaojun, GENG Chuanyu, YANG Chunhua. Medical image segmentation based on state transition algorithm and U-net[J]. Journal of Central South University(Science and Technology), 2023, 54(4): 1358-1369. 国家自然科学基金资助项目(62273357)；湖南省自然科学基金资助项目(2021JJ20082)；中南大学中央高校基本科研业务费专项资金资助项目(2021zzts0706) Project(62273357) supported by the National Natural Science Foundation of China; Project(2021JJ20082) supported by the Natural Science Foundation of Hunan Province; Project(2021zzts0706) supported by the Fundamental Research Funds for the Central Universities of Central South University 2022-06-14 2022-07-29 2023-04-26 2023-05-22 37692787 中南大学学报(自然科学版) 4 54