基于视觉检测的非接触式膏体浓度识别方法 Non-contact recognition method of paste concentration based on visual inspection 1 2 3 4 first-author 1 2 3 5 1 2 3 4 corresp 班晓娟，博士，教授，从事人工智能、计算机视觉和计算机图形学研究；E-mail：banxj@ustb.edu.cn 班晓娟，博士，教授，从事人工智能、计算机视觉和计算机图形学研究；E-mail：banxj@ustb.edu.cn banxj@ustb.edu.cn 1 2 3 5 2 北京科技大学 北京材料基因工程高精尖创新中心，北京，100083 北京科技大学 北京材料基因工程高精尖创新中心，北京，100083 Beijing Advanced Innovation Center for Materials Genome Engineering, University of Science and Technology Beijing, Beijing 100083, China Beijing Advanced Innovation Center for Materials Genome Engineering, University of Science and Technology Beijing, Beijing 100083, China 北京科技大学 顺德创新学院，广东 佛山，528300 北京科技大学 顺德创新学院，广东 佛山，528300 Shunde Innovation School, University of Science and Technology Beijing, Foshan 528300, China Shunde Innovation School, University of Science and Technology Beijing, Foshan 528300, China 北京科技大学 材料领域知识工程北京市重点实验室，北京，100083 北京科技大学 材料领域知识工程北京市重点实验室，北京，100083 Beijing Key Laboratory of Knowledge Engineering for Materials Science, University of Science and Technology Beijing, Beijing 100083, China Beijing Key Laboratory of Knowledge Engineering for Materials Science, University of Science and Technology Beijing, Beijing 100083, China 北京科技大学 人工智能研究院，北京，100083 北京科技大学 人工智能研究院，北京，100083 Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing 100083, China Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing 100083, China 北京科技大学 计算机与通信工程学院，北京，100083 北京科技大学 计算机与通信工程学院，北京，100083 School of Computer and Communication Engineering, University of Science and Technology Beijing, Beijing 100083, China School of Computer and Communication Engineering, University of Science and Technology Beijing, Beijing 100083, China 刘锦伟 为解决膏体料浆对于接触式浓度计的损坏以及核子浓度计对施工人员的辐射等问题，提出一种基于视觉检测的非接触式膏体浓度识别方法，以膏体图像数据集为基础，采用卷积神经网络模型提取膏体深度特征，设计多模型全连接层融合算法、伽马矫正数据增广策略，对膏体浓度监测准确率进行分析。研究结果表明：手动搅拌膏体数据集的准确率为88.79%，在自动搅拌膏体数据集上获得91.42%的准确率，可有效提高浓度识别准确性，避免浓度计损坏或辐射危险。 In order to solve the problem of the damage of the paste body slurry to the contact concentration meter and the radiation of the nuclear concentration meter to the construction personnel, a non-contact paste concentration recognition method was proposed based on the plaster image data set. A convolutional neural network model to extract the depth characteristics of the paste body was used, a multi-model full-connected layer fusion algorithm, gamma correction data enlargement strategy was design, and the accuracy of the paste concentration monitoring was analyzed. The results show that 88.79% accuracy is obtained on the manual stirring paste data set and 91.42% accuracy is obtained on the automatic stirring paste data set, which can effectively improve the accuracy of concentration recognition and avoid damage to the concentration meter or operator. 膏体充填 非接触式浓度识别 深度学习 图像分类 模型融合 paste backfilling non-contact concentration identification deep leaching image classification model fusion 矿产资源是人类赖以生存、社会发展不可缺少的基础资源，绿色矿山建设是实现矿业高质量发展的重要途径和必然要求，是我国实现由矿业大国向矿业强国转变的必由之路 [ 1 1 - 2 2 1-2 ] 。膏体充填是绿色矿山建设过程中的重要组成部分，针对采矿作业造成的地下采空区，使用经过科学配制的充填料浆对采空区进行回填，控制覆岩开采破坏和地表沉陷，降低地表塌陷等灾害发生的风险，保护生态环境，减少土地资源的破坏与占用 [ 2 2 ] 。基于此，膏体充填技术已成为当前我国矿山开采过程中的重要环节之一。 膏体充填对地表沉陷的控制效果主要取决于膏体料浆的浓度 [ 3 3 - 4 4 3-4 ] ，因此，膏体浓度的检测精度是保证充填质量的关键因素。合格的膏体具有浓度适中、不沉淀、不析水、不离析和便于输送等特点 [ 5 5 - 6 6 5-6 ] ，因此，在膏体充填过程中，对膏体浓度的准确检测是提高充填质量的关键环节。若膏体浓度太低，则会造成充填强度较低，存在地表塌陷的风险，若膏体浓度太高，则会造成充填管道堵塞，无法泵送膏体至采空区，甚至损坏设备 [ 7 7 ] 。传统的膏体浓度测量方法包括浓度壶测量法、烘干法、射线测量法、压差法、浮子法和电磁法 [ 6 6 ] 等，然而，由于这些方法均属于接触式测量方法，在搅拌机高速运动过程中，容易损坏测量设备或因测量时间长而无法获取实时浓度。在工业生产中，也常使用浓度计对膏体浓度进行测量，主要包括超声浓度计和核子浓度计。经过实际工业生产验证，超声浓度计在高浓度下的精度偏低，并且容易被损坏。核子浓度计存在大量的辐射，出于安全考虑，国内并不允许使用核子浓度计测量膏体浓度 [ 4 4 ] 。基于视觉检测的非接触式膏体浓度实时识别方法成为适用于矿山生产的必然选择。 通过现场大量现场实验分析，本文作者发现不同浓度的膏体在纹理表观上具有明显差异，如 图1 图1 所示。因此，图像识别方法为膏体浓度识别提供可能的技术手段。 膏体质量分数/%：(a) 61；(b) 63；(c) 65；(d) 67；(e) 69；(f) 71；(g) 73；(h) 75 近年来，随着硬件计算能力的提高和人工智能理论的发展，基于深度学习的卷积神经网络(convolutional neural networks, CNN)依托于其强有效的特征提取能力 [ 8 8 - 9 9 8-9 ] 成为图像处理与分析领域中的主流方法 [ 10 10 - 11 11 10-11 ] 。LECUN等 [ 12 12 ] 提出卷积神经网络，KRIZHEVSRY等 [ 13 13 ] 提出ALEXNET，在超大型数据集ImageNet上将图像识别的Top-5错误率降低至16.4%(Top-5错误率指对每幅图像同时预测5个标签类别，若预测的5个类别任意之一为该图像的正确标签，则视为预测正确，否则视为预测错误，Top-5错误率指预测错误的图像数目与总图像数目之比)。VGG [ 14 14 ] ，GoogleNet [ 15 15 ] ，ResNet [ 16 16 ] 和DenseNet [ 17 17 ] 等网络多次将错误率降低，截至2017年最后一届ImageNet图像识别竞赛，SENet [ 18 18 ] 将图像识别的Top-5错误率降低至2.991%，远低于人类错误率5.1%。目前，针对专有领域的特殊问题，如图像细粒度分类 [ 19 19 - 20 20 19-20 ] 、神经网络的可解释性分析 [ 21 21 - 23 23 21-23 ] 、视频序列分类 [ 24 24 - 25 25 24-25 ] 、小样本图像学习 [ 26 26 - 27 27 26-27 ] 等，科研人员进一步优化卷积神经网络结构，旨在让人工智能方法解决应用过程中的实际问题。 在膏体图像浓度识别任务中，膏体图像具有纹理特征精细、干扰多、光照条件不均等特点。基于卷积神经网络的膏体图像识别面临如下挑战： 1) 膏体图像具有图像尺寸大且纹理特征精细的特点，而在传统的卷积神经网络分类应用中，需要将图像缩小成固定尺寸(如224像素×224像素)，以减少硬件资源的占用，提高训练效率。然而，如果缩小膏体图像尺寸训练网络模型，将损失图像中的精细纹理特征，产生模型过拟合的风险。 2) 由于膏体图像识别方法需要在实时工业生产环境中运行，搅拌机的转动将会干扰图像识别进程，导致模型识别不准确。 3) 在工业条件下，光照不均问题将影响卷积神经网络对纹理细节的分析。 为了解决以上问题，迫切需要针对膏体浓度识别领域中独有问题改进卷积神经网络的结构和训练过程。采用卷积神经网络单独分析局部纹理特征可为浓度识别提供充足的信息，但局部图像不具有代表性且容易对转动的搅拌机叶片造成干扰，由此通过特征融合的方式融合多个局部区域进行识别为大尺寸膏体图像识别任务提供了可能性。通过预处理方法进行数据增广，可有效提高卷积神经网络对于工业现场不同光照条件的稳健性。 综上所述，本文针对膏体浓度检测领域中传统接触式浓度计识别精度低、易损坏且对人体产生有害辐射等问题，提出一种基于视觉检测的非接触式膏体浓度识别方法，利用图像分析方法在非接触条件下识别膏体的浓度，从而避免接触式测量对仪器的侵蚀和核子浓度计的辐射对人体的损害。针对膏体监测场景下图像纹理特征精细、干扰多、光照条件不均等特点，设计基于深度特征融合的深度卷积神经网络模型，通过多模型全连接层融合的方式融合局部区域的细节特征，并引入伽马(Gamma)矫正数据增广策略，有效提高膏体料浆纹理的识别准确性及不同环境光照条件下的稳健性。 1 基于深度特征融合的膏体图像浓度识别 1 1.1 　膏体数据集采集 2 在北京科技大学进行模拟膏体制备实验，并拍摄不同浓度的膏体视频图像。整个实验环境包括摄像机、三脚架、搅拌缸、搅拌机、照明灯光以及混合膏体等。 图2 图2 和 图3 图3 所示分别为制备实验示意图和流程图。 主要针对灰沙比为1꞉16的混合膏体浓度进行研究，成分主要包括尾砂、粗骨料、水等，颜色呈灰色状。在制备环境中，使用2支为功率400 W，色温为5 000 K，光通量为110 lm的LED灯给图像采集提供照明。固定在搅拌机上方两侧，距底部80 cm。用三脚架将1台摄像机固定于搅拌机正上方140 cm处，距离料浆80 cm以上，拍摄画面中心与料浆中心一致。 在保证实验效果的前提下，为节省财力、物力以及时间成本，使用灰沙比为1꞉16固体物料(包括尾砂、粗骨料等)以及不断增加清水的方式进行混合膏体配制。即先测量高浓度的膏体，然后增加定量的清水以逐级降低浓度。通过初始固体物料的质量和每次增加清水之后的膏体总质量，确定当前的料浆实际浓度。 在数据采集前均匀搅拌，以确保浓度识别的准确性。多浓度膏体视频数据为基于图像分析的膏体浓度高精度识别提供了关键信息。 在膏体制备过程中，将灰砂比为1꞉16的固体物料(包括尾砂、粗骨料等)和水按配比倒入搅拌缸中，并调整摄像头进行对焦 [ 28 28 - 29 29 28-29 ] ，再用搅拌机搅拌均匀。其中搅拌方式包括手动搅拌和自动搅拌。 本次拍摄的2组膏体质量分数视频有45种(由于工业现场通常关注高浓度膏体识别的准确性，因此本文进行分阶段采样，当质量分数为20%~60%时，按照5%的梯度采集；当质量分数为60%~78%时，按照0.5%的梯度采集)。每种浓 度均按照25帧/s的帧率录制5 min，共有7 500帧图像。本文从中选取搅拌均匀、各个参数一致的 5 000帧，用以制作得到不同浓度的膏体数据集，最终在手动搅拌和自动搅拌2种方式下对均具有112 500帧图像的数据集用于深度学习模型分析。 1.2 　 Gamma 矫正策略 2 在拍摄采集膏体图像数据集时，由于拍摄角度与液位高度的变化，以及随着拍摄时间的改变，现场光照亮度不稳定，并且识别结果容易受到现场实验条件下环境光的影响，导致图像存在噪声。因此，本文采用Gamma矫正策略改变膏体图像的亮度，作为数据增强策略驱使网络模型学习真正的纹理细节信息，以降低环境光对浓度识别的干扰，从而提高浓度识别的准确性。 Gamma矫正策略是指对膏体图像的Gamma曲线进行转换。其公式表示为 <math display="block" id="M1"><mi>f</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">I</mi><mo stretchy="false">)</mo><mo>=</mo><msup><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>λ</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44703091&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44703077&type= 12.61533356 3.72533321 式中： <math id="M2"><mi mathvariant="bold-italic">I</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44703106&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44703092&type= 1.86266661 2.62466669 为原始输入图像矩阵(取值为[0，1])； <math id="M3"><mi>f</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">I</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44703110&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44703108&type= 6.60400009 3.38666677 为Gamma矫正结果； λ 为系数。当 <math id="M4"><mi>λ</mi><mo>></mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44703118&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44703112&type= 6.85799980 2.62466669 时，图像整体亮度变暗，当 <math id="M5"><mi>λ</mi><mo><</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44703116&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=44703136&type= 6.85799980 2.62466669 时，图像整体亮度变亮，如 图4 图4 所示。 λ ：(a) 0.5；(b) 0.6；(c) 0.7；(d) 0.8；(e) 0.9； (f) 1.0；(g) 1.1；(h) 1.2；(i) 1.3 1.3 　单模型特征提取 2 由于CNN模型只能输入固定大小的图像块用于分析和计算 [ 30 30 - 31 31 30-31 ] ，为充分考虑全局特征和纹理细节，本文针对输入模型的图像，设计全图缩小(full size shrinking)和随机裁剪(random cropping) 2种图像预处理方式，将图像尺寸由1 920像素×1 080像素缩小到224像素×224像素输入CNN模型，如 图5 图5 所示。 (a) 全图缩小；(b) 随机裁剪 由 图5 图5 可知：全图缩小的方式虽然可以使网络模型访问到全局图像信息，但由于缩减过程中造成的纹理细节信息缺失，不利于对精细的膏体纹理细节进行分析。而随机裁剪的方式会丢失全局信息，并且容易受到旋转过程中的搅拌机叶片干扰，降低识别准确率。 因此，本文采用模型融合的方式进行浓度分类，设计包括局部图像级联融合、全连接层融合和特征图融合在内的3种模型融合方式，通过结合全局和局部图像特征，提升膏体图像分类准确率。由于模型融合是把独立的学习器组合起来，因此，需要将裁剪得到的5幅图像分别输入5个CNN模型，并且通过参数共享策略提升模型训练结果，从而提升学习效果。 1.4 　多模型特征融合 2 本文采用多图融合的方式实现模型融合，具体实现思路是在随机裁剪的基础上，从1 920像素×1 080像素的原图中，按固定位置裁剪出5幅224像素×224像素的小图(如 图6 图6 所示)，在模型参数共享的基础上，分别送入模型进行训练、验证和测试，然后使用2种模型融合方式，提升膏体图像分类的准确率。本文选择局部图像级联融合、全连接层融合以及特征图融合3种方式进行对比分析，模型融合网络模型如 图7 图7 所示。 (a)局部图像级联融合；(b) 全连接层融合； (c) 特征图融合 本文使用的局部图像级联融合方式指将随机裁剪得到的5张小图融合为1张图片，并将融合得到的图片送入1个深度神经网络中进行分析、训练、测试，以验证与局部裁剪的方式相比，膏体浓度识别准确率是否有所提升。 使用的全连接层融合方式指将1张大尺寸膏体图像中得到的5张局部图像分别送入网络的5个参数共享的特征提取分支中，使每张图片经过的每一层计算参数都保持一致，最后经过逐个提取分支特征，每张局部图像得到1个包含其属于每一个分类概率的数组。然后，将5张局部图像得到的数组进行平均，再根据最终求得的概率，将概率最大值的分类作为对应大尺寸膏体图像的预测分类。 使用的特征图融合方式指将特征提取分支输出的5张局部图像特征图进行通道级联，再进行全连接分析操作，得到概率矩阵，最后取最大概率对应的分类作为预测结果。 通过后续实验分析，本文选择VGG16作为特征提取分支。 2 实验 1 首先选择在图像分类竞赛(imagenet large scale visual recognition challenge, ILSVRC)中典型的3种模型(VGG16 [ 14 14 ] ，resnet50 [ 16 16 ] 和DENSENET121 [ 17 17 ] )作为特征提取分支的基线模型进行分析，并选择分类效果最好的模型进行下一步模型融合实验。本文仅选择上述基线模型以证明本文提出的深度特征融合方法的有效性，在实际应用中可根据实际需要更换基线模型。 以经过ImageNet预训练的CNN模型为基础 [ 32 32 ] ，再用提前划分得到的膏体图像训练集，对模型进行再训练。本文在手动搅拌和自动搅拌2种数据集中均有112 500帧图像，并按照3꞉1꞉1的比例分为训练集、验证集和测试集，即训练集有67 500帧图像，验证集和测试集均有22 500张图像，并分别标记浓度标签。本文在预处理图像的过程中，对比是否应用Gamma矫正的实验结果，以验证Gamma矫正对减弱光照条件变化带来的误差影响。 使用开源的深度学习框架Pytorch进行代码编写和资源管理，并采用4块NVIDIA GeForce GTX 1080Ti对图像识别网络模型进行训练，以提高网络模型训练的运算速度。统一设置网络模型的参数：训练轮次为20轮；batch size为25；学习率初始为0.01，并采用cosine函数递减算法，每轮次更新学习率，逐渐减小；动量设置为0.9，并利用交叉熵损失函数(cross entropy loss)与随机梯度下降(stochastic gradient descent, SGD)优化器算法逆反馈优化网络参数，优化网络模型 [ 33 33 ] 。 2.1 　单模型识别结果 2 针对同一预处理算法，3种模型的浓度识别准确率结果如 表1 表1 所示，其中，VGG-16与ResNet-50的准确率明显比DenseNet-121的准确率高，本文推测底层纹理特征适用于膏体浓度识别，而使用深层的卷积神经网络具有过拟合的风险。以VGG-16网络为例，输出局部裁剪的图像及前5种浓度预测概率如 图8 图8 所示(实际质量分数标注于图片下方，以横向柱状图展示预测结果中置信度最高的5个类别的置信度，带有条纹横向柱代表实际浓度对应的置信度)。 注： “×”代表未采用Gamma矫正；“√”代表采用Gamma矫正。 2 数据集 2 预处理 2 Gamma矫正 3 浓度识别准确率/% VGG-16 ResNet-50 DenseNet-121 4 手动搅拌数据集 2 全图缩小 × 95.98 95.23 93.12 √ 25.80 26.03 22.82 2 局部裁剪 × 70.42 61.76 71.53 √ 18.32 23.03 24.93 4 自动搅拌数据集 2 全图缩小 × 96.93 97.32 93.71 √ 28.20 27.36 24.94 2 局部裁剪 × 72.01 70.22 68.02 √ 21.24 24.96 23.87 (a) 手动搅拌，无Gamma矫正；(b) 手动搅拌，有Gamma矫正； (c) 自动搅拌，无Gamma矫正；(d) 自动搅拌，有Gamma矫正 从 表1 表1 可以得出：采用单图随机裁剪的预处理方式，得到的实验结果和全图缩小的实验结果相差约10%。从 图8 图8 可看出：运用单模型的识别准确率不高，甚至Top-5中不存在预测正确的浓度。经对此分析，单纯的局部裁剪无法有效地减弱搅拌机图像对膏体信息的干扰，即存在影响浓度识别的噪声信息，同时，全图缩小的浓度识别准确率在无Gamma矫正时超过95%，然而，应用Gamma矫正后正确率骤降至25%。本文认为该波动超出正常范围，原因在于采用全图缩小的模型无法访问到精细的膏体纹理特征，将环境光照亮度变化也作为分类依据，但这一特征与浓度无关，据此，本文设计全新的模型融合算法，以增强实验结果置信度，并降低噪声信息。 2.2 　单模型局部图像级联融合识别结果 2 上述结果表明，直接进行局部裁剪并输入网络模型训练难以达到预期效果，因此，本文设计局部模型融合算法，将5张经过局部裁剪得到的图片进行拼接融合，输入网络训练与测试。结果如 表2 表2 所示。以VGG-16网络为例，输出图像及前5种浓度预测概率如 图9 图9 所示(实际质量分数标注于图片下方，以横向柱状图展示预测结果中置信度最高的5个类别的置信度，带有条纹横向柱代表实际浓度对应的置信度)。 注： “×”代表未采用Gamma矫正；“√”代表采用Gamma矫正。 2 数据集 2 Gamma矫正 3 浓度识别准确率/% VGG-16 ResNet-50 DenseNet-121 2 手动搅拌数据集 × 72.81 74.92 75.44 √ 74.93 75.82 75.71 2 自动搅拌数据集 × 74.01 75.09 78.31 √ 75.14 77.82 78.62 (a) 手动搅拌，无Gamma矫正；(b) 手动搅拌，有Gamma矫正； (c) 自动搅拌，无Gamma矫正；(d) 自动搅拌，有Gamma矫正 从 图9 图9 可以看出：局部图像级联融合算法比上述单图局部裁剪的算法的浓度识别准确率更高，且在Gamma矫正后，没有出现识别准确率骤降的情况。对比 图8 图8 ，所有的Top-5都包含了正确的浓度，且几乎所有浓度都在Top-1(预测结果中置信度最高的一个类别)位置预测正确。证明此方法可以明显减小由于光照变化带来的膏体浓度特征识别误差，但是其准确率较低，难以应用于实践。为进一步提高膏体浓度识别准确率，本文设计2种基于基线模型的模型融合算法：全连接层融合与特征图融合。 2.3 　多模型融合识别结果 2 如前文所述，本文设计并实现2种基于基线模型的模型融合算法：全连接层融合与特征图融合。得到结果如 表3 表3 所示。以VGG-16网络和全连接层模型融合为例，输出图像及前5种浓度预测概率如 图10 图10 所示(实际质量分数标注于图片下方，以横向柱状图展示预测结果中置信度最高的5个类别的置信度，带有条纹横向柱代表实际浓度对应的置信度)。 注： “×”代表未采用Gamma矫正；“√”代表采用Gamma矫正。 2 数据集 2 模型融合算法 2 Gamma矫正 3 浓度识别准确率/% VGG-16 ResNet-50 DenseNet-121 4 手动搅拌数据集 2 全连接层融合 × 87.52 80.12 72.37 √ 88.79 81.35 73.92 2 特征图融合 × 75.43 63.66 69.92 √ 77.44 65.20 70.41 4 自动搅拌数据集 2 全连接层融合 × 90.03 89.31 85.01 √ 91.42 90.22 86.43 2 特征图融合 × 79.26 76.03 71.21 √ 82.42 83.97 80.13 (a) 手动搅拌，无Gamma矫正；(b) 手动搅拌，有Gamma矫正； (c) 自动搅拌，无Gamma矫正；(d) 自动搅拌，有Gamma矫正 由 图10 图10 可知：2种模型融合算法都比前述单图随机裁剪算法和单模型局部图像级联融合算法的浓度识别准确率高。对比3种模型，与上述实验结果类似，VGG-16的浓度识别准确率最高，而ResNet-50与DenseNet-121的结果与之相比，相差7%~15%。对比2种模型融合算法，全连接层融合的效果普遍比特征图融合的效果好，证明对各自独立的全连接层结果进行平均能够更好地提取浓度特征，提升浓度识别准确率。 2.4 　 Gamma 矫正策略对比 2 应用Gamma矫正策略可以中和图像的光照信息，降低环境光噪声信息对图像浓度特征信息的干扰，据此，设计对比实验将Gramma矫正作为数据增强策略训练CNN模型。 结果表明，应用Gamma矫正策略可以显著提高浓度识别准确率。全图缩小预处理方法在应用Gamma矫正策略后，浓度识别准确率骤降，证明全图缩小方法由于未访问到膏体精细纹理特征造成该方法的泛化性能不强，而全连接层融合算法则可以很好的解决这一问题。全连接层融合算法针对手动搅拌数据集和自动搅拌数据集在增加Gamma矫正后，浓度识别准确率均提升约2%。 3 讨论 1 本文针对膏体充填任务中关键的浓度识别问题，提出一种基于视觉检测的非接触式膏体浓度识别方法，以膏体图像数据集为基础，对膏体浓度监测准确率进行分析。实验证明，本文提出的方法为膏体浓度识别提供一套全新的解决方案，即通过分析膏体的纹理特征可有效对浓度进行监测。但该方法需要充分考虑现场环境因素的影响。实验证明，在引入Gamma矫正的情况下，模型的准确率受到一定的影响，但模型的稳健性得到提高。 在未来的研究中，拟采用基于视频分类的分析方法，以充分提取膏体搅拌过程中的纹理信息和运动信息，即在同一搅拌机转速下，浓度高的膏体运动慢，浓度低的膏体运动快。本文认为通过有效提取膏体料浆的运动信息有助于提高浓度识别的准确率。 本文在预研实验中仅采集灰砂比为1꞉16的膏体，然而，在实际工业生产的充填膏体配料中，灰砂比有1꞉4，1꞉8，1꞉16和1꞉24这4种配料方式，本文后续将验证模型在其他不同材料配比的膏体浓度分类的准确率，并在轻量化模型部署、模型高速计算等方面进行研究与实验。 4 结论 1 1) 采用深度学习算法，以膏体图像数据集为基础的基于视觉检测的非接触式膏体浓度识别方法可以有效实现膏体浓度监测。 2) Gamma矫正策略应用于模型融合的各项对比实验中，识别准确率均提升1.2%以上，对提升算法对不同环境的适应性具有显著效果。 3) 单模型局部图像级联融合算法比单模型非级联算法具有更高的环境适应性，多模型融合算法相较单模型局部图像级联融合算法的浓度识别准确率提升7%以上，全连接层融合相较特征图融合的准确率提升1%以上，其针对手动搅拌数据集和自动搅拌数据集的浓度识别准确率分别达到88.79%和91.42%。 4) 基于视觉检测的非接触式膏体浓度识别方法，可有效提高膏体料浆纹理的识别准确性及对不同环境条件下的稳健性，对于解决传统接触式浓度计识别精度低、易损坏且对人体产生有害辐射等问题有重要意义。 参考文献 吴爱祥 , 王勇 , 张敏哲 , 等 . 金属矿山地下开采关键技术新进展与展望 [J]. 金属矿山 , 2021 ( 1 ): 1 - 13 . 金属矿山地下开采关键技术新进展与展望 WU Aixiang , WANG Yong , ZHANG Minzhe , et al . New development and prospect of key technology in underground mining of metal mines [J]. Metal Mine , 2021 ( 1 ): 1 - 13 . New development and prospect of key technology in underground mining of metal mines 吴爱祥 , 杨莹 , 程海勇 , 等 . 中国膏体技术发展现状与趋势 [J]. 工程科学学报 , 2018 , 40 ( 5 ): 517 - 525 . 中国膏体技术发展现状与趋势 WU Aixiang , YANG Ying , CHENG Haiyong , et al . Status and prospects of paste technology in China [J]. Chinese Journal of Engineering , 2018 , 40 ( 5 ): 517 - 525 . Status and prospects of paste technology in China 张爱卿 , 吴爱祥 , 王贻明 , 等 . 基于流体动力学的膏体料浆动水压力研究 [J]. 中南大学学报(自然科学版) , 2018 , 49 ( 10 ): 2561 - 2567 . 基于流体动力学的膏体料浆动水压力研究 ZHANG Aiqing , WU Aixiang , WANGYiming , et al . Study on hydrodynamic pressure of paste slurry based on fluid dynamics [J]. Journal of Central South University(Science and Technology) , 2018 , 49 ( 10 ): 2561 - 2567 . Study on hydrodynamic pressure of paste slurry based on fluid dynamics 阮竹恩 , 吴爱祥 , 焦华喆 , 等 . 我国全尾砂料浆浓密研究进展与发展趋势 [J]. 中国有色金属学报 , 2022 , 32 ( 1 ): 286 - 301 . 我国全尾砂料浆浓密研究进展与发展趋势 RUAN Zhuen , WU Aixiang , JIAOHuazhe , et al . Advances and trendsonthickening of full-tailings slurry inChina [J]. TheChineseJournal of NonferrousMetals , 2022 , 32 ( 1 ): 286 - 301 . Advances and trendsonthickening of full-tailings slurry inChina 王少勇 , 吴爱祥 , 阮竹恩 , 等 . 基于环管实验的膏体流变特性及影响因素 [J]. 中南大学学报(自然科学版) , 2018 , 49 ( 10 ): 2519 - 2525 . 基于环管实验的膏体流变特性及影响因素 WANG Shaoyong , WU Aixiang , RUAN Zhuen , et al . Rheological properties of paste slurry and influence factors based on pipelooptest [J]. Journal of Central South University(Science and Technology) , 2018 , 49 ( 10 ): 2519 - 2525 . Rheological properties of paste slurry and influence factors based on pipelooptest 高德群 . 智能型非接触超声浓度计的研制 [J]. 仪器仪表用户 , 2016 , 23 ( 9 ): 1 - 4 . 智能型非接触超声浓度计的研制 GAO Dequn . Development of an intelligent non-contact ultrasonic densitometer [J]. Instrumentation , 2016 , 23 ( 9 ): 1 - 4 . Development of an intelligent non-contact ultrasonic densitometer 吴爱祥 , 焦华喆 , 王洪江 , 等 . 膏体尾矿屈服应力检测及其优化 [J]. 中南大学学报(自然科学版) , 2013 , 44 ( 8 ): 3370 - 3376 . 膏体尾矿屈服应力检测及其优化 WU Aixiang , JIAO Huazhe , WANG Hongjiang , et al . Yield stress measurements and optimization of Paste tailings [J]. Journal of Central South University(Science and Technology) , 2013 , 44 ( 8 ): 3370 - 3376 . Yield stress measurements and optimization of Paste tailings ZHU Xiaoxiang , TUIA D , MOU Lichao , et al . Deep learning in remote sensing: acomprehensive review and list of resources [J]. IEEE Geoscience and Remote Sensing Magazine , 2017 , 5 ( 4 ): 8 - 36 . Deep learning in remote sensing: acomprehensive review and list of resources LECUN Y , BENGIO Y , HINTON G . Deep learning [J]. Nature , 2015 , 521 ( 7553 ): 436 - 444 . Deep learning ZEILER M D , FERGUS R . Visualizing and Understanding Convolutional Networks [C]// European Conference on Computer Vision . Cham : Springer , 2014 : 818 - 833 . Visualizing and Understanding Convolutional Networks YEE K , CHAKRABARTI A . Fast deep stereo with 2D convolutional processing of cost signatures [C]// 2020 IEEE Winter Conference on Applications of Computer Vision(WACV) . Snowmass, USA : IEEE , 2020 : 183 - 191 . Fast deep stereo with 2D convolutional processing of cost signatures LECUN Y , BOSER B , DENKER J S , et al . Backpropagation applied to handwritten zip code recognition [J]. Neural Computation , 1989 , 1 ( 4 ): 541 - 551 . Backpropagation applied to handwritten zip code recognition KRIZHEVSKY A , SUTSKEVER I , HINTON G E . ImageNet classification with deep convolutional neural networks [J]. Communications of the ACM , 2017 , 60 ( 6 ): 84 - 90 . ImageNet classification with deep convolutional neural networks SIMONYAN K , ZISSERMAN A . Very deep convolutional networks for large-scale image recognition [C]// International Conference on Learning Representations . San Diego, United States : OpenReview , 2015 : 1150 - 1210 . Very deep convolutional networks for large-scale image recognition SZEGEDY C , LIU Wei , JIA Yangqing , et al . Going deeper with convolutions [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR) . Boston, USA : IEEE , 2015 : 1 - 9 . Going deeper with convolutions HE Kaiming , ZHANG Xiangyu , REN Shaoqing , et al . Deep residual learning for image recognition [C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) . Las Vegas, USA : IEEE , 2016 : 770 - 778 . Deep residual learning for image recognition HUANG Gao , LIU Zhuang , VAN DER MAATEN L , et al . Densely connected convolutional networks [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR) . Honolulu, USA : IEEE , 2017 : 2261 - 2269 . Densely connected convolutional networks HU Jie , SHEN Li , SUN Gang . Squeeze-and-excitation networks [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City, USA : IEEE , 2018 : 7132 - 7141 . Squeeze-and-excitation networks ZHANG Lianbo , HUANG Shaoli , LIU Wei . Intra-class part swapping for fine-grained image classification [C]// 2021 IEEE Winter Conference on Applications of Computer Vision(WACV) . Waikoloa, USA : IEEE , 2021 : 3208 - 3217 . Intra-class part swapping for fine-grained image classification NAUTA M , VAN BREE R , SEIFERT C . Neural prototype trees for interpretable fine-grained image recognition [C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR) . Nashville, USA : IEEE , 2021 : 14928 - 14938 . Neural prototype trees for interpretable fine-grained image recognition REN JIE , LI MINGJIE , LIU ZEXU , et al . Interpreting and disentangling feature components of various complexity from DNNs [EB/OL]. 2020 : arXiv : 2006 . 15920 . https: //arxiv.org/abs/2006.15920 https://arxiv.org/abs/2006.15920 Interpreting and disentangling feature components of various complexity from DNNs ZHANG Quanshi , CAO Ruiming , SHI Feng , et al . Interpreting CNN knowledge via an explanatory graph [J]. Proceedings of the AAAI Conference on Artificial Intelligence , 2018 , 32 ( 1 ): 32 - 40 . Interpreting CNN knowledge via an explanatory graph BOROWSKI J , ZIMMERMANN R S , SCHEPERS J , et al . Natural images are more informative for interpreting CNN activations than state-of-the-art synthetic feature visualizations [C]// Advances in neural information processing systems . Online : NeurIPS Press , 2020 : 1 - 8 . Natural images are more informative for interpreting CNN activations than state-of-the-art synthetic feature visualizations LIN Ji , GAN Chuang , HAN Song . TSM: temporal shift module for efficient video understanding [C]// 2019 IEEE/CVF International Conference on Computer Vision(ICCV) . Seoul, Korea (South) : IEEE , 2020 : 7082 - 7092 . TSM: temporal shift module for efficient video understanding LI Xianhang , WANG Yali , ZHOU Zhipeng , et al . SmallBigNet: integrating core and contextual views for video classification [C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR) . Seattle, USA : IEEE , 2020 : 1089 - 1098 . SmallBigNet: integrating core and contextual views for video classification GANEA D A , BOOM B , POPPE R . Incremental few-shot instance segmentation [C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR) . Nashville, USA : IEEE , 2021 : 1185 - 1194 . Incremental few-shot instance segmentation NGUYEN K , TODOROVIC S . FAPIS: a few-shot anchor-free part-based instance segmenter [C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR) . Nashville, USA : IEEE , 2021 : 11094 - 11103 . FAPIS: a few-shot anchor-free part-based instance segmenter MA Boyuan , ZHU Yu , YIN Xiang , et al . SESF-Fuse: an unsupervised deep model for multi-focus image fusion [J]. Neural Computing and Applications , 2021 , 33 ( 11 ): 5793 - 5804 . SESF-Fuse: an unsupervised deep model for multi-focus image fusion MA Boyuan , YIN Xiang , WU Di , et al . End-to-end learning for simultaneously generating decision map and multi-focus image fusion result [J]. Neurocomputing , 2022 , 470 : 204 - 216 . End-to-end learning for simultaneously generating decision map and multi-focus image fusion result 严寒 . 基于卷积神经网络的图像分类算法研究 [D]. 西安 : 西北大学 , 2018 : 31 - 40 . 基于卷积神经网络的图像分类算法研究 YAN Han . Research on image classification algorithms based on convolutional neural network [D]. Xi'an : Northwest University , 2018 : 31 - 40 . Research on image classification algorithms based on convolutional neural network ALI MOHAMMED AL-SAFFAR A , TAO Hai , TALAB M A . Review of deep convolution neural network in image classification [C]// 2017 International Conference on Radar, Antenna, Microwave, Electronics, and Telecommunications(ICRAMET) . Jakarta, Indonesia : IEEE , 2018 : 26 - 31 . Review of deep convolution neural network in image classification KORNBLITH S , SHLENS J , LE Q V . Do better ImageNet models transfer better [C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR) . Long Beach, USA : IEEE , 2020 : 2656 - 2666 . Do better ImageNet models transfer better HUANG Yibin , QIU Congying , WANG Xiaonan , et al . A compact convolutional neural network for surface defect inspection [J]. Sensors(Basel, Switzerland) , 2020 , 20 ( 7 ): 1974 . A compact convolutional neural network for surface defect inspection 10.11817/j.issn.1672-7207.2023.05.027 P315.69 A 1672-7207（2023）05-1942-12 马博渊, 周佳城, 班晓娟, 等. 基于视觉检测的非接触式膏体浓度识别方法[J]. 中南大学学报(自然科学版), 2023, 54(5): 1942-1953. 马博渊, 周佳城, 班晓娟, 等. 基于视觉检测的非接触式膏体浓度识别方法[J]. 中南大学学报(自然科学版), 2023, 54(5): 1942-1953. MA Boyuan, ZHOU Jiacheng, BAN Xiaojuan, et al. Non-contact recognition method of paste concentration based on visual inspection[J]. Journal of Central South University(Science and Technology), 2023, 54(5): 1942-1953. MA Boyuan, ZHOU Jiacheng, BAN Xiaojuan, et al. Non-contact recognition method of paste concentration based on visual inspection[J]. Journal of Central South University(Science and Technology), 2023, 54(5): 1942-1953. 国家自然科学基金资助项目(62106019)；中国博士后科学基金资助项目(2021M700383)；中央高校基本科研业务费专项基金资助项目(00007467)；佛山市科技创新专项资金资助项目(BK21BF002，BK22BF010)；北京科技大学顺德研究生院博士后科研经费资助项目(2021BH005)；北京科技大学青年教师学科交叉研究项目(中央高校基本科研业务费专项资金)资助项目(FRF-IDRY-21-022) (Project(62106019) supported by the National Natural Science Foundation of China; Project(2021M700383) supported by the China Postdoctoral Science Foundation; Project(00007467) supported by the Fundamental Research Funds for the Central Universities; Projects(BK21BF002, BK22BF010) supported by the Special Fund Project for Technology Innovation of Foshan, Guangdong Province; Project(FRF-IDRY-21-022) supported by the Interdisciplinary Research Project for Young Teachers of USTB(Fundamental Research Funds for the Central Universities) 2022-08-03 2022-09-28 2023-05-26 2023-06-20 38909471 中南大学学报(自然科学版) 5 54