AI技术在砂石行业自动装车系统中的应用-矿机之家

矩阵软件自主研发的高可靠汽车智能自动装车系统，利用AI技术对企业现有装车系统进行快速改造与升级，实现基于激光雷达三维点云智能检测技术的汽车自动装车、基于机器视觉车脸特征重识别技术的车辆身份认证和基于机器视觉目标检测技术的车辆完全上磅检测，对车辆位置、车辆特征、货物装载状态、装载设备状态等关键信息建模分析，综合判断最佳控制策略，智能控制设备进行自动装车。

矩阵软件自行控制装车

1、基于激光雷达三维点云智能检测技术的汽车自动装车

基于激光雷达三维点云智能检测技术的汽车自动装车是在远程集中控制装车的基础上，应用32线激光雷达3D建模，应用AI技术分析现场激光雷达所获取的动态点云数据，准确获取车辆状态及实时装货状态，系统通过相关数据分析，代替人工实现装车过程相关设备的控制，同时通过智能语音、屏幕显示等方式，自动提示司机下一步动作。其核心为自动装车智能检测算法(Matrix-LoadDetector)。

动装车智能检测算法(Matrix-LoadDetector)

算法对激光雷达点云动态数据进行分析，除能实现车厢边缘和料位高度等常规检测外，还可实现对溜槽位置、车厢挡板、落料位置的AI智能检测，对现场情况检测更加全面，控制更加实时、智能。

实际装车控制过程中主要难点是解决系统能够自动判断车辆当前位置是否允许下料口打开、何时提醒车辆前进或停止。在实现远程装车控制、业务判断控制的基础上，根据不同的现场情况，需检测的车辆的不同情况（如检测车辆内部加强筋、隔板等物件），需在每个装车通道相应高度安装1-2个不等的激光雷达，激光雷达信息接入AI智能分析服务器。

煤炭筒仓装煤示意图

以实现煤炭定量仓可伸缩料槽自动装车为例：

注：全过程可实现智能语音提示司机，前进、停止、后退、左移、右移、料位超高、车辆阻塞、车尾超限等异常状态可自动关闭闸板。

在装车期间，自动装车智能检测算法(Matrix-LoadDetector)算法通过动态点云采样、去除离群点、坐标变换、扫描线归集、车辆静止/移动判断等步骤，对车辆车体平面、落料区域、车前栏板、料位情况、装载设备状态等进行分析，结合定量仓或地磅数据综合判断设备下一步动作。一旦发现异常，会自动关闭下料口，并发出警示，操作人员可以在上位机一键接管装料操作。

激光雷达点云检测图

2、基于机器视觉车脸特征重识别技术的车辆身份认证

在厂区现场发运业务信息化管理日渐成熟的当下，自动装车作为发运管理过程中的重要一环需要与其他过程有紧密的信息传递沟通，而车辆唯一性判断是获取该车辆预装产品信息、防止车辆装车作弊及装车信息反馈的基础。

目前的信息技术对货运车辆的业务处理中，车牌号仍然作为车辆唯一身份识别的信息要素。然而，在水泥，矿区这种生产环境中，水泥粉末，煤尘等容易对车辆的车牌号造成污渍，由于车辆车牌号字符信息的缺失，传统的车牌号识别系统就会失效。同时有部分不法司机会对车牌进行套牌、涂抹等，以逃避厂区对车辆的监控和信息登记业务，传统的车牌号系统即使正确的识别出车辆的车牌号信息，也是错误信息。

基于以上车辆识别问题，基于车脸识别查找正确车牌号码的方法，可通过深度学习技术，精准的提取出车辆的车脸信息和车牌号信息存储在数据库中，然后在不同时间差和不同的区域，对每个车脸提取的信息后，再从保存的数据库中查找是否有相同车脸信息的车辆。如果有车脸信息一样的车辆，识别出该车辆真实的车牌号信息，与数据库中的车牌号信息比对是否一样，这样，即使车辆的车牌号有污渍，货车司机在厂区内发生套牌、换牌等违法行为，都能够通过这种方式正确判断车辆真实的车牌号信息。

车辆识别流程

识别实现流程如下：

系统配置高清摄像机，安装在厂区内，通过录制过往车辆的视频信息，然后视频解析节点高速完成视频帧解析，交由总控节点统一任务调度：首先完成帧快速过滤，过滤掉无车辆的信息帧，将目标帧转发至信息区域提取节点，完成车辆车脸信息的识别提取和车牌号的提取并保存数据库中。对每次提取车辆的车脸信息与数据库中已经保存车辆的车脸信息做比较，如果车脸信息一样，然后识别出该车辆的车牌号信息，通过比较车牌号信息是否一样，判断是否存在套牌行为。如果车牌号有污渍而不完整，就可以利用车辆的车脸信息，从数据库中正确的查找出该车辆完整的车牌号信息。

车脸识别节点先进行车脸的识别，识别结果反馈给总控制点，由总控制点完成含车脸中含有车牌号的提取，保存数据库中，然后在不同的时间差内，识别出同一个车脸信息，通过比对两次提取的车牌号信息和车脸信息是否一样，得出最终的识别结果。最后由应用系统接口模块将识别结果提供给业务应用系统。系统运行逻辑流程如下图所示：

系统运行逻辑流程

系统运行逻辑流程描述：

高清摄像机：负责采集车辆图像信息

视频解析节点：对摄像头采集的车辆图像信息进行存储和传输

识别总控综合节点：负责整个系统的信息处理,传输,调度的总控制节点

帧快速过滤节点：根据图像的清晰度，为了节省识别时间和提高运行效率，过滤后，选取出一部分清晰度高的的图像进行后续的识别

车脸区域提取节点：由过滤节点传来的图像，利用AI模型框出车辆的车脸部分和计算出车辆车脸的特征值

车牌号提取节点：从车脸区域提取节点获取的车脸中，检测到车牌号区域，并识别出车牌号的内容

数据库：存储车辆提取车脸的特征值和识别出的车牌号内容，为了后续车脸的比对做基准参考值

车脸信息对比节点：通过在不同时间和不同地点，提取车辆的车脸特征值和车牌号内容，进行比对，根据比对结果判断是否存在套牌行为和提取到车辆真实的车牌号信息，把判断结果传给总控制综合节点

应用系统接口模块：车脸智能识别系统与客户现场的业务系统进行对接的接口，把识别结果通过接口模块传输给客户的具体业务应用系统

业务应用系统：客户的具体应用业务系统

AI模型：采集应用现场海量的图像数据，利用深度学习，神经网络等技术，通过AI模型计算引擎进行神经网络的模型训练，生成具有识别车脸功能的模型（图像输入—AI模型—输出识别结果）

AI模型计算引擎：带有特殊运算单元的智能硬件设备

3、基于机器视觉目标检测技术的车辆完全上磅检测

自动装车过程中，针对有仓下磅对车辆进行实时称重的场景，系统可通过基于机器视觉目标检测技术实现车辆上磅位置的智能检测。

基于机器视觉目标检测技术的车辆完全上磅检测

货运汽车装车完成，开始重车检斤时，系统通过摄像头抓拍汽车上磅状态即时画面，并交由检测引擎进行基于机器视觉的目标检测，分别从图像中检测出汽车车头、车尾、各轮轴和磅秤边缘的目标位置，系统根据上述目标位置信息，综合判断出当前汽车是否是完全上磅状态；如果是非完全上磅状态，则不允许进行重车检斤，并提示司机调车至完全上磅，以确保检斤数据的正确性。

对于根据环保要求，需要车厢加盖篷布的场景，系统在汽车完全上磅状态检测的同时，也可以同步完成对篷布覆盖区域的识别，对未按要求加盖篷布的情况给出要求提示。

通过将AI技术应用在激光雷达建模分析、车辆特征识别、车辆上磅位置识别等关键业务环节，汽车装车过程中可对车辆实时位置、车辆准确特征、实时装载状态等应用传统技术难以有效识别的信息进行实时、准确识别，从而实现整个装载过程相关控制逻辑的智能分析，达到可靠、自动装车的目的。

系统优势

1、多AI算法融

多AI算法融