肺癌是我国致死率最高的癌症，在肺癌治疗中，及早发现并进行针对治疗能降低死亡率[1-2].目前，计算机断层扫描（CT）是最成熟的肺部病变检查手段，采用计算机辅助诊断（CAD）系统对CT图像进行自动判别和诊断，可以减少人为因素造成的错误判断.在CAD系统中，良恶性肺结节的分类是关键一步，它决定了该CAD系统是否值得推广[3-4].肺结节分类常用的方法有BP神经网络[5]、支持向量机（SVM）[6]、贝叶斯分类器等.BP神经网络在自学习的过程中，通过反向传播采用梯度下降算法很容易陷入极小值状态导致过拟合现象发生，使得训练后的模型泛化能力差.SVM使用的二次规划会导致计算量远超出其他算法.贝叶斯分类器可能导致新数据集训练中概率值的变化，泛化性能较差.Huang等人[3]提出的极限学习机理论及其在模式识别中的应用，则表现出较好的收敛性和稳定性.

极限学习机（Extreme Learning Machine，ELM）是近几年来兴起的一种简单的神经学习网络，其具有学习速度快，无需大量计算参数等优点[7-8].方向梯度直方图（Histogram of Oriented Gradient，HOG）是用来提取图像中具体目标特征的一种特征描述子，多用在计算机视觉和图像处理中.利用局部图像在各个点的像素值变化，统计和计算像素值梯度变化情况以此来形成特征集.它能够很好的提取出图像的局部特征用来检测分类.本文通过先提取肺结节HOG特征，结合结节图像特征，提出一种基于L1/L2范数正则化约束的极限学习机算法对肺结节良恶性进行识别.通过引入L1范数约束来控制整个模型的稀疏性，使其能更好地提取出特征，引入L2范数约束来对网络输出权重进行平滑，避免出现过拟合.通过对算法的改进，可有效避免在训练过程中出现数据拟合过大现象，使训练在短时间内得到更好的拟合结果.在肺结节分类运用中，进一步提高分类的准确性.

图1 ELM模型结构

1 极限学习机理论

极限学习机是一种针对单隐层前馈神经网络（Single-hidden Layer Feedforward Neural Network，SLFN）的新算法[3].与传统的前馈神经网络相比，ELM算法不需要调整输入层与隐层的权重和阈值，它们都是由随机函数生成，只需要设定隐层神经元数目，就可以得到一个确定的最优解.与其他分类算法相比，无须过多地进行人为干预，这就极大地提高了ELM方法的训练精度.其结构如图1所示.

对于N个任意的训练样本(xi,yi)，其中，则隐层节点数目包括L个，可以将网络的输出表示为：

其中，G()表示激活函数；wi是输入层到第i个隐含层节点的输入权值；bi是第i个隐藏层节点的偏差；βi是连接第i个隐藏层节点的输出权值.

根据提出的理论，对于任意区间无限可微的激活函数，在任意赋值输入权重和偏置的情况下，对于神经网络的输出都可以零误差逼近训练样本，即：

ELM的输入权重和偏置是由随机函数根据样本大小随机生成，当设定好隐层神经元数目和确定所使用的激活函数，算法就会通过最小二乘法计算出输出权重β，进而计算出预测值.虽然ELM学习速度更快，泛化性能更高，但是它也存在一些缺点：ELM采用经验风险最小化（ERM）原理设计，容易产生过拟合模型.同时由于ELM直接计算最小范数最小二乘解，因此其控制能力较弱，稳定性较差.研究发现，L1范数和L2范数在避免数据拟合问题中具有良好的性能，因此，本文在其他研究人员基础上提出如下算法.

2 L1/L2正则化的极限学习机（L1/L2-ELM）算法

对于N个经过HOG特征提取后的肺结节图像样本特征集合，可由式（2）用矩阵形式表示为：

其中

H被称为网络的隐含层输出矩阵，在ELM算法中，当输入权重和偏差被随机确定以后，隐层矩阵H也就随即被确定下来；在此基础上，将前馈神经网络的训练转化为输出权矩阵的最小二乘解问题，只有完成输出权值的最小二乘解才可以完成网络的训练，计算输出权值矩阵β如下：

对于单隐层神经网络，在传统的ELM算法中，输入层与隐层的权重和偏置都是由随机函数自动生成，整个神经网络只需要训练输出权重，大大节省了训练时间.然而在实际训练过程中，发现H存在不适定的情况，导致输出权重β的计算值会很大，会出现过拟合现象，极大地影响了算法的训练精确度，降低了ELM网络的泛化性能.

为了抑制过拟合现象，减小其对模型的影响；在式（4）中加入L1范数约束，就可以通过L1正则化对权值矩阵进行泛化使其变得稀疏，这样就可以产生一个稀疏的网络模型，可以很好地提取出病变图像的特征值，使模型变得简单，得到以下公式：

文章来源：《中国肺癌杂志》 网址: http://www.zgfazzzz.cn/qikandaodu/2021/0218/371.html

上一篇：抗肿瘤天然产物与顺铂联合对肺癌给药治疗的研
下一篇：吸烟最伤血管