本项目开发一种基于机器视觉的显示屏测试机械手系统，采用直角坐标运动的机械手模拟人工点击显示屏或者薄膜按键触发对应的功能，通过机器视觉进行恒温箱中显示屏工作状况的实时监测，实现显示屏在高低温环境下运行状况的闭环测试和实时监控，并为显示屏在高低温环境下的性能评估提供可靠的分析数据。
列车显示屏自动测试系统 产品详情
1.2 项目指标序号 项目要求 指标
1 恒温箱温度调节范围 -40℃~70℃
2 恒温箱尺寸规格 76*76*76 cm
102*67*86 cm
102*100*97 cm
3 恒温箱温度控制精度 ±0.5℃
4 机械手运动精度 0.2 mm
5 机械手运动范围 80*80*80 cm
6 图像处理设备拍摄速度 50～10万帧/秒
7 图像信号质量检测 响应图形失真、饱和度等图像信号质量检测要求
2项目实施方案2.1 总体方案本项目针对显示器性能的自动测试问题，开发基于机器视觉的显示屏自动化测试系统，系统总体方案如图1所示。分别从机器臂开发和控制模块、机器视觉模块、系统集成开发三个方面展开，研究的主要内容包括以下几个方面：
（1）结合硬件平台和软件系统的设计，完成直角坐标运动机械手的总体方案设计；通过多自由度运动控制技术，搭建伺服控制系统，完成软件调试和人机操作界面设计，实现直角坐标运动机械手的创成设计和调试。
（2）采用图像采集和处理技术，通过相机标定、图像增强、去噪、和边缘提取等处理，基于opencv和qt应用程序开发框架，获取并传输显示器运行状态信息，开发基于机器视觉的显示器运行状态监测模块。
（3）采用功能模块设计及集成技术，完成直角坐标机械手运动控制系统和图像处理设备的通讯和功能匹配设计，实现基于机器视觉的显示器运行状态的自动化测试。
图1 基于机器视觉的显示屏自动化测试系统
2.2具体实施方案本项目开展基于机器视觉的显示屏自动化测试关键技术的研究，显示屏放置于恒温箱之后，通过专用夹具固定，当机械手代替人手进行显示屏的操作后，需要采用机器视觉进行显示屏运行状况的监测和信息的闭环反馈，并且建立显示屏的故障信息数据库。具体实施方案将从机器臂开发和控制模块、机器视觉模块、系统集成开发三个方面展开。
2.2.1机器视觉检测模块开发机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品(即图像摄取装置，分cmos和ccd两种)将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。
（1）显示器运行状况图像信号采集
对显示屏的运行状况进行机器视觉检测，采用ccd检测，测量原理框图如图3所示。利用透镜将显示屏图像端面成像到ccd上（如图2所示）。ccd及其驱动电路将采集的信号依次输出，再经过模数转换，得到数据经计算机处理，通过图像处理和识别，将图像端面成像然后反馈给计算机控制系统，为显示屏的运行状况分析提供依据。
图3机器视觉检测原理图
图4 视觉传感测量系统示意图
（2）显示器运行状况图像处理
用ccd得到后的图像需要进行图像处理和识别，以便得到准确清晰的显示屏运行状况图像。首先通过ccd及其驱动电路将各点的图像型号转换成电信号，然后经过程序处理，对图像进行增强、灰度化处理、噪声去除、阈值分割、图像边缘提取等处理，从而提高检测准确性和精度，最后将采集到的图像进行分类统计，建立显示屏的故障检测数据库。相机标定和图像二值化处理如图5和图6所示。
图5 相机标定
图6 图像二值化处理
2.2.2直角坐标运动机械手控制模块开发采用机械手代替人手进行显示屏的自动化测试，需要同时进行直角坐标运动的机械手运动控制和视觉伺服系统控制，操作人员通过人机交互界面将操作指令发送给控制系统，运动控制卡采用转矩模式，并将数字量信息转化为脉冲输出，控制直角坐标运动的机械手完成运动并进行相应操作。编码器和传感器检测系统完成位置和力矩检测，并进行控制系统与检测系统的信号传输和数据交换，完成控制系统模块和机械手系统的设计开发，保证运动精度和显示屏测试效率。
图7 直角坐标运动的机械手运动控制方案
将所设计的直角坐标运动的机械手与传统多轴联动机械手进行运动控制方案的对比分析，控制方案如图7所示。直角坐标运动的机械手控制模块主要用于控制机械手代替人手进行显示屏的测试，检测系统完成位置和力矩检测以及不同系统间的数据交换。
（1）运动系统控制
控制机械手进行三自由度运动并代替人手进行显示屏的测试。根据检测系统检测到的位置和力矩信息，控制系统控制机械手进行空间三自由度方向上的运动，并代替人手完成显示屏的触摸、点击等动作。
图8 驱动系统集成示意图
（2）检测系统控制
检测系统用于对机械手运动位置、力矩进行检测。对检测系统的控制包括三自由度直角坐标机械手的运动位置检测，执行器末端接触显示屏的力矩大小检测，以及运动的速度，距离等运动参数。
（3）数据交换
检测系统由执行机构末端的传感器和编码器等元器件构成，将传感器测得的模拟量信号传递到控制模块，控制模块将反馈信号通过一定的转化关系，进行机械手的运动控制。
（4）人机交互
通过人机交互界面进行机械手的运动控制，编写自动化运动系统软件，操作者选择对应的菜单获取想要的数据或实现期望的功能来实现人机交互。该软件系统可以实现显示机械手多自由度的运动控制，位置和力矩模式切换，位置、力矩信号闭环反馈，和显示屏故障信息的存储等功能。软件数据开发基于windows7操作系统，开发语言环境选择c++，数据库选择oracle数据库。电机控制的人机交互界面如图8所示。
图8 电机控制人机交互界面
2.2.3自动化测试系统集成开发基于机器视觉的显示屏自动化测试系统发挥作用需要各功能单元协调配合，共同完成显示屏测试的自动化测试作业。研究使自动化测试系统各单元功能的集成载体，设计有效运行的运动执行本体，实现显示屏运行状况检测、机械手代替人手操作显示屏等控制的一体化集成，保证自动化测试工艺流程协调高效的运行。整个自动化测试系统由三大模块：机器视觉模块，机械臂自动化控制模块，和检测模块的集成构成，整体集成方案和模块间通讯方案如图9和图10所示。
图9基于机器视觉的显示屏自动化测试系统集成方案
整个自动化测试系统采用现场总线进行通讯。通过基于pc平台和windows操作系统的控制软件，在工控机内构件一个具有 nc功能的实时系统，通过plc的逻辑运算，并利用pc机标准配置的硬件，实现逻辑运算（twincat plc）功能、运动控制（twincat nc）功能、浮点运算、和存储和处理大量数据的功能。plc程序先将信号发送给nc轴，nc经过轨迹规划，pid 运算和 io 接口处理输出给驱动器来实现对电机的控制，同时电机的状态通过nc及时地反馈给plc程序。在整个cnc系统中，各个软件模块（如plc程序、nc、windows 应用程序等）的工作模式类似于硬件设备，它们能够独立工作。各个软件模块之间的信息交换通过运动控制器ads而完成，整个控制系统模块通讯的集成构架如图10所示。
图10 自动化测试系统模块通讯方案