专家谈机器视觉检测技术【3】：关键核心单元部件

　　文章介绍了产品外观缺陷机器视觉在线检测技术的关键核心单元部件，包括精密传输定位与运动控制、高速并行图像处理、软件开发等内容。

　　《产品外观缺陷机器视觉在线检测技术及设备开发》一文由合肥工业大学仪器科学与光电工程学院卢荣胜教授投稿分享，包括自序、研究背景、典型系统组成、成像技术及实现策略、关键核心单元部件、缺陷识别与分类、结束语、致谢几个部分。由于篇幅较长分为四篇发布，以下为第三篇：成像技术及实现策略。

　　开发一套高分率外观缺陷在线节介绍的高灵敏度缺陷成像技术，以及快速成像发现缺陷和显微成像精准识别缺陷的技术等外， 还一定要解决以下几个关键技术：精密传输、定位及其运动控制技术，高速并行图像处理系统构建，图像处理、缺陷识别和分类算法，运行软件等。

　　在缺陷视觉在线检测系统中，上下料机构、精密传输机构、定位机构与运动控制单元等是整个检测系统中非常非常重要的部分，直接影响总系统的检测性能。正如图11所示的手机显示屏背光模组表面缺陷检验测试系统，包含了自动上料、编码、对准、检测、分选、返修识别等几个部分，各个部位对被测工件准确定位和协同工作，才可能正真的保证检测的顺利进行。

　　（a）圆皮带，（b）平皮带，（c）滑台，（d）转盘，（e）滚轮，（f）滚柱

　　传输单元的结构千变万化，常用的传输方式有圆皮带、平皮带、滑台、转盘、滚轮、滚柱、气浮等，如图11所示。圆皮带、平皮带一般适合重量轻、小零件的运载传输；滑台、转盘传输机构适用于多工位传输与定位；滚柱、滚轮和气浮传输适合大幅面零件的传输，如光伏薄膜、液晶屏基板玻璃的传输等。在上述这些传输系统中，除气浮传输外，其它的大多数都是接触式传输；接触式传输易产生接触性损伤、杂质污染和基材变形等二次损伤缺陷，这一点在缺陷视觉检测系统模块设计中尤其要注意。

　　对于清洁度要求特别高的场合，传输运载方法与机构的合理设计更重要。例如液晶显示面板阵列段的玻璃基板、液晶阵列、彩色滤光片制程中的缺陷检验测试，对于幅面小于6代线的低世代面板，由于重量轻，能够正常的使用滚轮传输，但滚轮传输也是接触式传输，同样存在污染和划伤等问题，因而一般不用于承载6代线以后的高世代平板显示屏零件或组件。对于6代以上的液晶玻璃基板、滤光片、液晶模组等大幅面零件和组件，由于表面具有超高光洁度，任何3μm以上的划痕和污物都会影响最终显示屏的显像质量并导致次品的产生，而最合适的方案是采用开放式静压气浮非接触传输承载方法，图12为我们开发的大幅面开放式气浮传输机构，图12(a)为8.5代线玻璃基板缺陷检验测试气浮传输机构，图12(b)为6代线液晶阵列和滤光片缺陷检验测试气浮传输机构，图12(c)为气浮传输与支撑的结构原理。其中立式气浮传输部分幅面为2.5×10m，卧式气浮传输部分幅面大小约为2×5m，被测玻璃基板与支撑表面的气浮间隙小于50μm，扫描检测区域玻璃基板气浮振动稳定性优于0.1μm。

　　（a）立式气浮传输机构，（b）卧式气浮传输机构，（c）开放式气浮结构原理

　　图 12  高世代液晶显示面板阵列段的玻璃基板、液晶阵列、彩色滤光片缺陷检验测试气浮传输系统

　　图像高速并行处理速度决定了总系统的检测效率，例如6代液晶屏生产线 s内完成扫描检验测试过程，假设选用16 K 4线 bits·pixel-1，像元大小为5 µm，散射与背光高速频闪扫描成像。根据采样定理，要检测10 µm大小的缺陷，必须至少对应2个像素间距，因此选用10台相机同时扫描一行，这样检测一块玻璃基板在10 s内需要处理的图像数据量为220GB。对于如此庞大的图像数据采集与实时处理量，一台计算机很难完成，可行的办法是采用计算机集群，聚合大量的计算资源和存储资源形成虚拟超级计算机，通过边缘计算模式来实现。因此，能够使用FPGA图像采集与预处理卡+多核CPU分布式机群的二级主从式并行处理技术方案，或采用普通图像采集卡+GPU多核处理器+多核CPU分布式机群的三级并行处理方案，如图13所示。在这种处理技术中，相机输出的图像先由图像预处理卡分为2n块，因此每块卡只采集相应的1/2n图像(通常n取0、1或2)，由FPGA图像处理模块进行高速硬件预处理（如傅里叶和小波变换），然后再传给工控机CPU进一步处理。

　　多级并行处理的最底层是集成有图像采集卡分布式机群，负责采集相机传来的图像，并进行分块和预处理，以提高处理速度和减轻后面处理单元的负担。分布式机群由多台工控机通过高速千兆网络链接起来，每个工控机中安装一个图像采集预处理卡进行图像采集和预处理。多级并行的中间层是多核CPU，执行的是中粒度计算，处理算法中逻辑较强的部分以及算法中不能并行执行的部分。在图13（a）6代线液晶阵列和彩色滤光片缺陷检验测试系统中，我们采取了12台CPU组成的FPGA图像采集与预处理卡+多核CPU分布式机群的二级主从式并行处理技术方案，保证了处理速度的实时性。

　　.3软件开发在现代制造业中，视觉检测技术被大范围的应用于产品质量控制和外观缺陷检验测试。然而，由于不一样的行业和产品的特殊性，每个视觉检测系统都需要定制化开发。从软件工程和设备定制化的角度来看，产品外观缺陷视觉在线检测设备软件开发面临以下难点：

　　（1）软件与硬件的协同开发：产品外观缺陷视觉检测设备通常由软件和硬件部分所组成，而软件和硬件的开发需要紧密协调。软件研发人员需要与硬件工程师密切合作，理解硬件设备的特性和限制，以确保软件与硬件的良好配合和相互兼容性。

　　（2）设备定制化需求：每个产品缺陷视觉在线检测设备都可能有不同的定制化需求，以适应不同的产品类型、尺寸和生产环境。开发人需要根据客户需求进行软件定制化开发，例如特定的检测算法、数据处理和结果呈现方式。这涉及到软件架构的灵活性和可扩展性的考量。

　　（3）系统稳定性和可靠性：缺陷视觉在线检测设备在工业生产中起着重要作用，因此系统的稳定性和可靠性至关重要。软件研发人员需要确保软件系统在长时间运行、高负载和恶劣环境下的稳定性，并进行充分的测试和验证，以降低系统故障和误报率。

　　（4）实时性要求：缺陷在线检测通常需要实时性能，即能够在高速生产线上实时进行检测和判定。软件开发人需要优化算法和数据处理流程，以确保检测的实时性和响应速度，同时避免延迟和性能瓶颈。

　　（5）软件可维护性和更新性：随着技术的不断进步和市场需求的变化，软件需要具备良好的可维护性和更新性。开发人员需要设计合理的软件架构，以便轻松添加新功能、升级算法和修复软件缺陷。同时，还需要考虑软件的版本管理、升级和远程维护等方面的问题。

　　（6）数据安全和保护：在线检测设备通常需要处理敏感的生产数据和图像。软件开发人员需要考虑数据的安全性和保护措施，包括数据加密、权限控制、网络安全等，以防止数据泄露和未经授权的访问。

　　（7）软件工程管理：软件开发需要进行有效的软件工程管理，包括需求分析、项目计划、团队协作和质量控制等方面。开发人员需要合理规划开发流程，确保项目按时交付、满足客户需求，并具备高质量的软件产品。

　　针对上述问题，产品外观缺陷视觉检测设备的软件开发，我们采取了一种基于QT C++平台的开发方法，以及采用插件化和基于dataflow图形化两种开发方式，帮助开发人员减小软件开发难度，高效开发定制化视觉检测系统。

　　QT是一个跨平台的C++图形用户界面应用程序开发框架，它支持多种操作系统（如Windows、macOS、Linux等），使开发人员能够轻松创建高效、现代化的用户界面。QT提供丰富的组件和工具，以及良好的跨平台兼容性，使得它成为开发定制化视觉检测系统的理想选择。

　　.3.1插件化软件开发方法通过插件化开发方法，可以方便实现产品外观缺陷视觉在线检测设备的定制化软件开发。每个功能模块或算法都可以作为一个独立的插件，方便灵活地添加、删除或替换功能，以满足不同客户的需求。同时，插件化开发也提高了系统的可扩展性、可维护性和重用性，降低了开发和维护的难度。具体步骤如下：

　　（1）需求分析：与客户合作，详细了解他们的检测需求和定制化要求。确定需要实现的功能和特定的检测算法。

　　（2）插件架构设计：设计插件化的软件架构，将整个系统划分为多个模块或插件。每个插件负责不同的功能，如图像采集、预处理、特征提取、缺陷检测等。

　　（3）插件接口定义：定义插件之间的接口规范，包括输入输出数据格式、参数传递方式等。确保插件之间可以进行灵活的连接和交互。

　　（4）插件开发：针对每个功能模块或算法，开发相应的插件。使用适当的编程语言和工具进行开发，如C++、QT等。确保插件具备良好的可扩展性和可重用性。

　　（5）插件集成：将开发好的插件集成到主系统中。确保插件之间的数据流动和协同工作正常。进行必要的接口适配和调试。

　　（6）界面开发：开发用户界面，提供操作界面和参数配置界面，方便用户配置和管理插件。可以使用图形化界面开发工具，如QT Designer等。

　　（7）测试和调优：进行系统的功能测试和性能调优，确保插件的准确性、稳定性和实时性。按照每个客户需求进行必要的优化和调整。

　　（8）发布和维护：完成软件开发后，进行发布和部署。持续监测和维护系统的稳定运行，及时修复问题和更新功能。

　　（1）相机/采集卡插件：该插件用于与相机或采集卡进行交互，实时获取产品外观图像数据。它提供输入接口，将采集到的图像数据传递给下一个插件进行处理。

　　（2）算法插件：算法插件是视觉缺陷检测的核心组件，包含各种图像处理算法和缺陷检测算法。这些插件接收输入的图像数据，进行预处理、特征提取、分类或检测等操作，并输出检测结果。

　　（3）电机/执行机构插件：在某些应用场景下，产品外观缺陷检测可能需要与电机或执行机构进行交互。该插件可以控制电机或执行机构的运动，以便对产品进行旋转、移动或调整角度，以实现更全面的检测。

　　（4）通用的I/O插件：该插件用于处理输入和输出的通用接口，如串口、网络通信等。它可以用于与其他设备或系统进行数据交换和通信，以实现与产品外观检测系统的集成。

　　（4）AD（模数和数模）转换插件：在某些场景下，可能需要将模拟信号转换为数字信号进行处理，或将数字信号转换为模拟信号进行输出。该插件用于进行AD转换和DA转换的操作，以便与模拟设备进行交互。

　　.3.2基于插件化思想的dataflow图形化软件开发方法基于插件化思想的dataflow图形化软件开发方法将插件化和dataflow两种概念结合起来，其优点在于（1）灵活性和可扩展性：基于插件化思想，系统可以根据定制化需求灵活添加、删除或替换功能模块，具备高度的可扩展性和灵活性。（2）可视化开发：使用图形化工具进行开发，无需编写大量的代码，降低了开发的复杂度，提高了开发效率。（3）易于理解和维护：图形化数据流图和独立的插件设计使得软件的理解和维护更加直观和容易。具体的开发步骤如下

　　（1）需求分析：与客户明确定制化需求和功能要求，了解检测算法和数据处理流程。

　　（2）数据流图设计：使用dataflow图形化工具，如LabVIEW、Simulink等，设计整个系统的数据流图。将不同的功能模块和算法以图块的形式表示，并通过数据线）插件化架构设计：将每个功能模块和算法设计为独立的插件，每个插件负责一个特定的任务或功能。插件可以灵活地添加、删除或替换，以满足定制化需求。

　　（4）插件开发：针对每个功能模块或算法，开发相应的插件。每个插件包含特定的输入输出接口、参数配置和算法逻辑。

　　（5）数据流连接：根据数据流图的连接规则，将不同功能模块的输入和输出进行连接。确保数据的流动符合系统的逻辑和算法要求。

　　（6）界面开发：使用图形化界面开发工具，为用户提供操作界面和参数配置界面。可以针对每个插件设计独立的界面，方便用户进行配置和管理。

　　（7）测试和调优：进行系统的功能测试和性能调优，确保数据流图的正确性和稳定性。根据客户的真实需求进行必要的优化和调整。

　　（8）发布和维护：完成软件开发后，进行发布和部署。持续监测和维护系统的稳定运行，及时修复问题和更新功能。

　　基于插件化思想开发dataflow图形化软件的框架如下：（1）插件设计：根据需求，设计各个功能模块的插件，例如相机/采集卡插件、算法插件、电机/执行机构插件、通用的I/O插件，AD（模数和数模）转换插件等。每个插件负责一个特定的任务或算法，并具有输入输出接口、参数配置和算法逻辑。

　　（2）插件管理器：实现一个插件管理器，用于加载和管理各个插件。它提供插件的注册、注销、启动和停止等功能，并处理插件之间的依赖关系。例如，图像预处理插件可能需要在特征提取插件之前执行。

　　（3）数据流管理器：实现一个数据流管理器，用于管理数据在各个插件之间的流动和连接。它维护数据流图的结构，确保数据按照指定的顺序经过各个插件进行处理。数据流管理器负责将输入数据传递给第一个插件，然后将每个插件的输出连接到下一个插件的输入。

　　（4）界面管理器：实现一个界面管理器，提供图形化界面工具，用于用户进行参数配置、结果展示和系统控制。界面管理器可以根据插件的功能自动生成相应的界面，并提供用户友好的交互方式。

　　通过上述框架，可以实现一个基于插件化思想和dataflow图形化软件工程的产品外观缺陷视觉在线检测软件。研发人员可以根据需求设计不同的插件，如图像预处理插件用于去噪、尺寸归一化等，特征提取插件用于提取关键特征，分类器插件用于进行缺陷分类等。这些插件可以通过插件管理器进行注册、加载和管理，并通过数据流管理器实现数据的流动和连接。用户可以通过界面管理器进行参数配置和结果展示。

　　这个框架的优点是具有灵活性和可扩展性。通过插件化思想，可以方便地添加、删除或替换功能模块，满足不同的定制化需求。同时，基于dataflow图形化软件工程，研发人员可以通过可视化方式设计和调整数据流图，简化了开发过程，提高了开发效率和可维护性。