kaiyun网站本发明提供一种自主定位智能点胶系统，包括相机（1）、支架（2）、X轴导轨（3）、Y轴导轨（4）、Z轴导轨（5）、导轨电机控制器（6）、光学平台（7）、底座（8）、机头备板（9）、胶筒（10）、点胶头（11）和计算机（12）。计算机（12）基于机器视觉和图像测量的数据处理过程控制点胶操作，处理相机拍摄的图像并结合设计图形数据，自动识别点胶位置，向导轨电机控制器（6）发出指令，控制导轨运行到指定的位置进行点胶操作。本发明提高了点胶工作的智能化程度，提高了工作效率，点胶工作幅面大，点胶形状更加规范，系统结构组成比较简单，自动化程度较高，便于推广应用。

　　1.一种自主定位智能点胶系统，其特征在于：包括相机（1）、支架（2）、X轴导轨（3）、Y轴导轨（4）、Z轴导轨（5）、导轨电机控制器（6）、光学平台（7）、底座（8）、机头备板（9）、胶筒（10）、点胶头（11）和计算机（12），

　　在底座（8）的上方安装光学平台（7），在光学平台（7）的长边位置安装X轴导轨（3），在短边位置处位于X轴导轨（3）上方安装Y轴导轨（4），在Y轴导轨（4）上安装Z轴导轨（5），三个导轨的方向相互垂直，在Z轴导轨（5）上固定机头备板（9），机头备板（9）上固定胶筒（10）和点胶头（11）；

　　在底座（8）边上固定着支架（2），支架（2）顶部安装相机（1），相机（1）位置处于光学平台（7）的正上方，在底座（8）内部放置导轨电机控制器（6），导轨电机控制器（6）、相机（1）分别连接计算机（12）。

　　2.根据权利要求1所述的自主定位智能点胶系统，其特征在于：相机（1）光轴与光学平台（7）表面垂直，视场覆盖光学平台（7），相机（1）通过USB数据线.根据权利要求1所述的自主定位智能点胶系统，其特征在于：计算机（12）执行基于机器视觉和图像测量的数据处理过程控制点胶操作，包括以下步骤，

　　步骤1，读取设计图形，提取内轮廓上端点和外轮廓上端点在设计图形坐标系下的设计坐标；所述外轮廓确定待点胶的片状物体的形状，所述内轮廓表示片状物体上芯片的位置；

　　步骤2，确定图像坐标系到相机坐标系的转换关系，计算出相机坐标系到点胶机坐标系的转换关系，从相机获取待点胶的片状物体的图像，对其进行阈值分割，提取出芯片；

　　步骤3，提取出图像中外轮廓上的端点位置，计算出图像中片状物体的位置相对于设计图形位置关于某个外轮廓端点的旋转量，内轮廓端点为芯片端点，结合设计图形中芯片上端点在设计图形坐标系下的设计坐标，提取出芯片端点的点胶位置；

　　步骤4，在每个芯片边缘位置上，搜索导线领域范围搜索灰度值最低的相邻像素作为导线像素，直到搜索到另一个芯片位置上结束，得到每条导线的图像位置，并提取出每条导线，将点胶位置数据传给导轨电机控制器，控制导轨运行到指定位置完成点胶操作。

　　4.根据权利要求3所述的自主定位智能点胶系统，其特征在于：步骤1中，提取内轮廓上端 点和外轮廓上端点在设计图形坐标系下的设计坐标，实现方式包括以下步骤，

　　步骤1.2，若有圆或者闭合的多段线处于图形边界上，则该圆或闭合的多段线；否则，外轮廓是由直线，从直线、圆弧、和多段线的图元数据中寻找出一条图元处于图形边界上，以该条图元为外轮廓图元，其两个端点为外轮廓端点，在剩余图元中搜索，若某条图元的端点与外轮廓端点重合，则该条图元的另一个端点和另一个外轮廓端点组成新的外轮廓端点，按此不断搜索，直到得到一个闭合的外轮廓；

　　步骤1.4，在得到外轮廓后，从剩余的图元中提取内轮廓；若剩余的图元存在不处于图形边界上的圆或闭合的多段线图元，则这些圆或闭合的多段线，独自构成内轮廓；去除这些圆或闭合多段线图元后，在剩余的图元中，内轮廓是由多个图元组成，取其中一条图元记为内轮廓图元，端点为内轮廓端点，在剩余图元中搜索，若某条图元的端点与内轮廓端点重合，该条图元的另一个端点和另一个内轮廓端点组成新的内轮廓端点，以此类推，直到得到一个闭合的内轮廓，按此提取出所有的内轮廓位置。

　　5.根据权利要求3所述的自主定位智能点胶系统，其特征在于：步骤2中，计算出相机坐标系到点胶机坐标系的转换关系实现方式为，拍摄已知点胶位置坐标的胶点的图像，计算出胶点在相机坐标系下的坐标，然后用最小二乘法计算出这些胶点从相机坐标系到点胶机坐标系的平移和旋转变换的矩阵参数。

　　6.根据权利要求3所述的自主定位智能点胶系统，其特征在于：步骤3中，提取出图像中外轮廓上的端点位置，实现方式包括以下步骤，

　　步骤3.11，在设计图形的外轮廓上找到一条与X方向或者Y方向平行的直线图元，在图像的相同方向上搜索到该条边界，然后开一个窗口将该边界包含进来；

　　步骤3.12，对步骤3.11所得窗口内的图像用Canny算子提取边缘，包括用圆形模板在边缘上移动，搜索圆形模板与二值化后图像的重叠面积局部最小的两个位置，得到端点位置；

　　步骤3.13，提取步骤3.12所得两个端点对应设计坐标，任取其中一端点记为P1，另一端点记为P2，设P1的图像坐标为(xe1,ye1)，设计坐标为(Xe1,Ye1)，P2的图像坐标为(xe2,ye2)，设计坐标为(Xe2,Ye2)，P1到P2的连线与x轴在图像坐标系下的夹角为α12，P1到P2的连线与X 轴在设计图形坐标系下的夹角为β12，片状物体的图像相对于点(xe1,ye1)与设计图形位置比较，旋转的角度近似为则

　　12=arctanYe2-Ye1Xe2-Xe1---(3)]]步骤3.14，计算出剩余外轮廓端点在图像中的大概位置，记外轮廓其它端点为Pi，i＝2,3,…W，W为外轮廓端点的个数，Pi的图像坐标为(xei,yei)，在图像中的大概位置采用近似图像坐标记为，设计坐标为(Xei,Yei)，端点P1到Pi的设计图形中的距离为L1i，P1到Pi的连线与X轴在设计图形坐标系下的夹角为β1i，则![cdata[

　　开云网站 Kaiyun开云

　　1i=(Xe1-Xei)2+(Ye1-Yei)2---(6)]]式（4）（5）中，t为图像距离与对应实际距离的比例系数；步骤3.15，在近似图像坐标附近开个窗口，对窗口内图像用Canny算子提取边缘，在边缘上移动一个半径为R的圆形模板，将该圆形模板与二值化后图像的重叠面积最小的位置定为端点Pi的图像坐标(xei,yei)。7.根据权利要求6所述的自主定位智能点胶系统，其特征在于：步骤3中，计算出图像中片状物体的位置相对于设计图形位置关于某个外轮廓端点的旋转量，实现方式如下，

　　以端点P1为基准点，计算出其它每个端点Pi与P1的连线相对于设计图形中相应连线,…W，W为外轮廓端点的个数，再计算加权平均值得到最终角度旋转量θ，则

　　q(i)=(Xe1-Xei)2+(Ye1-Yei)2---(9)]]式（8）中，α1i为P1到Pi的连线与x轴在图像坐标系下的夹角，β1i为P1到Pi的连线与X轴在设计图形坐标系下的夹角；式（7）（9）中，q(i)为端点Pi的权值，i＝2,3,…W，W为外轮廓端点的个数。8.根据权利要求7所述的自主定位智能点胶系统，其特征在于：步骤3中，结合设计图形中芯片端点在设计图形坐标系下的设计坐标的坐标数据，提取出芯片端点的实际位置，实现方式如下，记芯片上的端点为Qj，j＝1,2,…U，U为芯片端点个数，Qj图像坐标为(xhj,yhj)，近似图像坐标为设计坐标为(Xhj,Yhj)，P1的图像坐标为(xe1,ye1)，设计坐标为(Xe1,Ye1)，点P1到Qj的设计图形坐标系下的距离为D1j，γ1j为P1到芯片上端点Qj的连线与X轴在设计图形坐标系下的夹角，片状物体摆放实际位置相对于设计图形的旋转量为θ，则

　　1j=(Xe1-Xhj)2+(Ye1-Yhj)2---(12)]]式（10）（11）中，t为图像距离与对应实际距离的比例系数；在近似图像坐标附近开个窗口，对窗口内的图像用Canny算子提取边缘，用一个半径为R的圆形模板在边缘上移动，将圆形模板与二值化后图像的重叠面积最小的地方定为端点Qj的图像坐标(xhj,yhj)，并将图像坐标(xhj,yhj)转换到点胶机坐标系下，得到芯片上端点Qj的实际点胶位置坐标，记为9.根据权利要求3或4或5或6或7或8所述的自主定位智能点胶系统，其特征在于：步骤4中，在每个芯片边缘位置上搜索导线的起始点的实现方式为，芯片每条边上的像素灰度值 的方差，当高于预设数值K时，则这条边上连接有导线，导线的起始点位置是灰度值最小的像素位置处。

　　10.根据权利要求3或4或5或6或7或8所述的自主定位智能点胶系统，其特征在于：步骤4中，在8领域范围搜索灰度值最低的相邻像素作为导线像素，直到搜索到另一个芯片位置上结束，所采取的策略如下，

　　（1）从导线的起始点位置搜索导线像素，导线像素是取待选像素中灰度值最低的像素；

　　（3）每搜索到下一个导线像素，需要在该像素开一个大小为b×b的窗口，计算窗口内最大灰度与最小灰度之差，当低于预设数值H时，停止搜索，b为预设数值；

　　11.根据权利要求3或4或5或6或7或8所述的自主定位智能点胶系统，其特征在于：步骤4中，得到每条导线的图像位置后，在导线上取导线起点、终点以及等间距位置的点，并转换为点胶机坐标系下坐标，得到导线上的点胶位置。

　　在片状基片上粘贴不同规格的片状芯片是现代电子制造领域及精密加工领域的重要工艺之一，主要包含按照设计图纸标注位置在基片上粘贴片状芯片和为进一步加固而进行点胶两个工作。传统方法是由人工量出芯片位置，粘贴芯片，然后手动在基片和导线上点胶，整个过程都是人工手动完成，不仅劳动强度大，工作效率低，而且点胶的质量不能确保，尤其是在大尺寸、大范围工作场合，完成这一工作变得更加艰苦。后来随着点胶机设备的发展，出现自动点胶机，可以通过教导盒向点胶机发出指令，使其按照一定路径，自动完成各种类型的点胶，但是针对不同规格的产品，因无法完成基片的自动定位与定姿，整个过程不能实现自动化和智能化，并且编写点胶指令需要花费大量时间，影响点胶工作的效率。

　　针对现有技术的问题，本发明的目的是提供一种基于机器视觉与图像测量的自主定位智能点胶系统。

　　为实现上述目的，本发明的技术方案提供一种自主定位智能点胶系统，包括相机1、支架2、X轴导轨3、Y轴导轨4、Z轴导轨5、导轨电机控制器6、光学平台7、底座8、机头备板9、胶筒10、点胶头11和计算机12，

　　在底座8的上方安装光学平台7，在光学平台7的长边位置安装X轴导轨3，在短边位置处位于X轴导轨3上方安装Y轴导轨4，在Y轴导轨4上安装Z轴导轨5，三个导轨的方向相互垂直，在Z轴导轨5上固定机头备板9，机头备板9上固定胶筒10和点胶头11；

　　在底座8边上固定着支架2，支架2顶部安装相机1，相机1位置处于光学平台7的正上方，在底座8内部放置导轨电机控制器6，导轨电机控制器6、相机1分别连接计算机12。

　　而且，相机1光轴与光学平台7表面垂直，视场覆盖光学平台7，相机1通过USB数据线执行基于机器视觉和图像测量的数据处理过程控制点胶操作，包括以下步骤，

　　步骤1，读取设计图形，提取内轮廓上端点和外轮廓上端点在设计图形坐标系下的设计坐标；所述外轮廓确定待点胶的片状物体的形状，所述内轮廓表示片状物体上芯片的位置；

　　步骤2，确定图像坐标系到相机坐标系的转换关系，计算出相机坐标系到点胶机坐标系的转换关系，从相机获取待点胶的片状物体的图像，对其进行阈值分割，提取出芯片；

　　步骤3，提取出图像中外轮廓上的端点位置，计算出图像中片状物体的位置相对于设计图形位置关于某个外轮廓端点的旋转量，内轮廓端点为芯片端点，结合设计图形中芯片上端点在设计图形坐标系下的设计坐标，提取出芯片端点的点胶位置；

　　步骤4，在每个芯片边缘位置上，搜索导线领域范围搜索灰度值最低的相邻像素作为导线像素，直到搜索到另一个芯片位置上结束，得到每条导线的图像位置，并提取出每条导线，将点胶位置数据传给导轨电机控制器，控制导轨运行到指定位置完成点胶操作。

　　而且，步骤1中，提取内轮廓上端点和外轮廓上端点在设计图形坐标系下的设计坐标，实现方式包括以下步骤，

　　步骤1.2，若有圆或者闭合的多段线处于图形边界上，则该圆或闭合的多段线；否则，外轮廓是由直线，从直线、圆弧、和多段线的图元数据中寻找出一条图元处于图形边界上，以该条图元为外轮廓图元，其两个端点为外轮廓端点，在剩余图元中搜索，若某条图元的端点与外轮廓端点重合，则该条图元的另一个端点和另一个外轮廓端点组成新的外轮廓端点，按此不断搜索，直到得到一个闭合的外轮廓；

　　步骤1.4，在得到外轮廓后，从剩余的图元中提取内轮廓；若剩余的图元存在不处于图形边界上的圆或闭合的多段线图元，则这些圆或闭合的多段线，独自构成内轮廓；去除这些圆或闭合多段线图元后，在剩余的图元中，内轮廓是由多个图元组成，取其中一条图元记为内轮廓图元，端点为内轮廓端点，在剩余图元中搜索，若某条图元的端点与内轮廓端点重合，该条图元的另一个端点和另一个内轮廓端点组成新的内轮廓端点，以此类推，直到得到一个闭合的内轮廓，按此提取出所有的内轮廓位置。

　　而且，步骤2中，计算出相机坐标系到点胶机坐标系的转换关系实现方式为，拍摄已知点胶位置坐标的胶点的图像，计算出胶点在相机坐标系下的坐标，然后用最小二乘法计算出这些胶点从相机坐标系到点胶机坐标系的平移和旋转变换的矩阵参数。

　　步骤3.11，在设计图形的外轮廓上找到一条与X方向或者Y方向平行的直线图元，在图像的相同方向上搜索到该条边界，然后开一个窗口将该边界包含进来；

　　步骤3.12，对步骤3.11所得窗口内的图像用Canny算子提取边缘，包括用圆形模板在边缘上移动，搜索圆形模板与二值化后图像的重叠面积局部最小的两个位置，得到端点位置；

　　步骤3.13，提取步骤3.12所得两个端点对应设计坐标，任取其中一端点记为P1，另一端点记为P2，设P1的图像坐标为(xe1,ye1)，设计坐标为(Xe1,Ye1)，P2的图像坐标为(xe2,ye2)，设计坐标为(Xe2,Ye2)，P1到P2的连线与x轴在图像坐标系下的夹角为α12，P1到P2的连线与X轴在设计图形坐标系下的夹角为β12，片状物体的图像相对于点(xe1,ye1)与设计图形位置比较，旋转的角度近似为则

　　12=arctanYe2-Ye1Xe2-Xe1---(3)]]步骤3.14，计算出剩余外轮廓端点在图像中的大概位置，记外轮廓其它端点为Pi，i＝2,3,…W，W为外轮廓端点的个数，Pi的图像坐标为(xei,yei)，在图像中的大概位置采用近似图像坐标记为设计坐标为(Xei,Yei)，端点P1到Pi的设计图形中的距离为L1i，P1到Pi的连线与X轴在设计图形坐标系下的夹角为β1i，则![cdata[

　　i=(Xe1-Xei)2+(Ye1-Yei)2---(6)]]式（4）（5）中，t为图像距离与对应实际距离的比例系数；步骤3.15，在近似图像坐标附近开个窗口，对窗口内图像用Canny算子提取边缘，在边缘上移动一个半径为R的圆形模板，将该圆形模板与二值化后图像的重叠面积最小的位置定为端点Pi的图像坐标(xei,yei)。而且，步骤3中，计算出图像中片状物体的位置相对于设计图形位置关于某个外轮廓端点的旋转量，实现方式如下，以端点P1为基准点，计算出其它每个端点Pi与P1的连线相对于设计图形中相应连线,…W，W为外轮廓端点的个数，再计算加权平均值得到最终角度旋转量θ，则![cdata[

　　(i)=(Xe1-Xei)2+(Ye1-Yei)2---(9)]]式（8）中，α1i为P1到Pi的连线与x轴在图像坐标系下的夹角，β1i为P1到Pi的连线与X轴在设计图形坐标系下的夹角；式（7）（9）中，q(i)为端点的权值，i＝2,3,…W，W为外轮廓端点的个数。而且，步骤3中，结合设计图形中芯片端点在设计图形坐标系下的设计坐标的坐标数据，提取出芯片端点的实际位置，实现方式如下，记芯片上的端点为Qj，j＝1,2,…U，U为芯片端点个数，Qj图像坐标为(xhj,yhj)，近似图像坐标为设计坐标为(Xhj,Yhj)，P1的图像坐标为(xe1,ye1)，设计坐标为(Xe1,Ye1)，点P1到Qj的设计图形坐标系下的距离为D1j，γ1j为P1到芯片上端点Qj的连线与X轴在设计图形坐标系下的夹角，片状物体摆放实际位置相对于设计图形的旋转量为θ，则![cdata[

　　j=(Xe1-Xhj)2+(Ye1-Yhj)2---(12)]]式（10）（11）中，t为图像距离与对应实际距离的比例系数；在近似图像坐标附近开个窗口，对窗口内的图像用Canny算子提取边缘，用一个半径为R的圆形模板在边缘上移动，将圆形模板与二值化后图像的重叠面积最小的地方定为端点Qj的图像坐标(xhj,yhj)，并将图像坐标(xhj,yhj)转换到点胶机坐标系下，得到芯片上端点Qj的实际点胶位置坐标，记为而且，步骤4中，在每个芯片边缘位置上搜索导线的起始点的实现方式为，芯片每条边上的像素灰度值的方差，当高于预设数值K时，则这条边上连接有导线，导线的起始点位置是灰度值最小的像素位置处。而且，步骤4中，在8领域范围搜索灰度值最低的相邻像素作为导线像素，直到搜索到另一个芯片位置上结束，所采取的策略如下，（1）从导线的起始点位置搜索导线像素，导线像素是取待选像素中灰度值最低的像素；（2）待选像素由导线方向确定，若当前导线像素的坐标为(x,y)，当导线)，则待选像素坐标为(x+Δx,y-1)、(x+Δx,y)和(x+Δx,y+1)；当导线,Δy)，则待选像素坐标为(x-1,y+Δy)、(x,y+Δy)和(x+1,y+Δy)；当导线方向为(Δx,Δy)，则待选像素坐标为(x+Δx,y+Δy)、(x+Δx,y)和(x,y+Δy)；（3）每搜索到下一个导线像素，需要在该像素开一个大小为b×b的窗口，计算窗口内最大灰度与最小灰度之差，当低于预设数值H时，停止搜索，b为预设数值；

　　而且，步骤4中，得到每条导线的图像位置后，在导线上取导线起点、终点以及等间距位置的点，并转换为点胶机坐标系下坐标，得到导线上的点胶位置。

　　本发明提供的技术方案的有益效果为：（1）将机器视觉和图像测量的方法引入到点胶位置的识别上，提高了点胶工作的智能化程度，减少了人的参与，提高了工作效率；（2）点胶过程比传统方法更快捷，点胶工作幅面大，并且点胶形状更加规范；（3）整个系统结构简单，自动化程度较高，便于推广应用。实验证明，该系统能在片状基片上自动识别点胶位置，并智能完成点胶，其点胶范围为2000mm×1400mm，点胶速度300mm/秒，点胶位置误差小于1mm。

　　为了更好地理解本发明的技术方案，下面结合附图对本发明做进一步的详细说明。本发明的实施例是对一个形状不规则的片状物体进行点胶操作。

　　如图1，自主定位智能点胶系统由相机1、支架2、X轴导轨3、Y轴导轨4、Z轴导轨5、导轨电机控制器6、光学平台7、底座8、机头备板9、胶筒10、点胶头11及计算机12组成。在底座8的上方安装带亮度可调背光源光学平台7，在平台长边位置安装X轴导轨3，在短边位置处位于X轴导轨3上方安装Y轴导轨4，在Y轴导轨4上安装着Z轴导轨5，三个导轨的方向相互垂直，在Z轴导轨5上固定有机头备板9，机头备板9上固定有胶筒10和点胶头11。在基座边上固定着一个单臂梁支架2，支架2顶部安装有相机1，相机1位置处于光学平台7的正上方，在底座8内部放置有导轨电机控制器6，导轨电机控制器6可通过网线建立通讯连接，这样计算机12采用基于机器视觉和图像测量的数据处理算法来处理相机拍摄的图像并结合设计图形数据，自动识别点胶位置，向导轨电机控制器6发出指令，控制导轨运行到指定的位置进行点胶操作，并能实现2000mm×1400mm大幅面和位置误差小于1mm的点胶。为便于实时处理图像，相机1连接计算机12。

　　上述相机1光轴与光学平台7表面垂直，视场覆盖光学平台7，相机1可通过穿越支架2内部和底座8内部的USB数据线执行基于机器视觉和图像测量的数据处理过程控制点胶操作，对拍摄需点胶的片状物体的图像数据和相应的设计图形数据进行处理，可采用软件技术实现自动运行流程。实施例中流程主要步骤如下：

　　步骤1，读取设计图形文件。设计图形主要包含片状物体的外轮廓和内轮廓，其中外轮廓确定了片状物体的形状，内轮廓表示芯片的位置。这里设计图形坐标系是一个二维直角正交坐标系，内外轮廓的端点通常位于设计图形坐标系正方向下，属于平面坐标。在设计图形文件中，内外轮廓位置数据是由直线种图元数据组成，因此需要按照图元的位置关系从中分别提取出内外轮廓位置，得到内外轮廓端点的设计坐标，方法如下：

　　步骤1.1，导入设计图形文件，读取直线种图元数据，以及图形的边界数据即X坐标最大最小值和Y坐标的最大最小值。

　　步骤1.2，若有圆或者闭合的多段线处于图形边界上，则该圆或闭合的多段线为外轮廓，读取轮廓上的端点设计坐标，转入步骤1.4；否则，则说明外轮廓是由直线，从直线、圆弧、和多段线数据中寻找出一条图元处于图形边界上，以该条图元为外轮廓图元，其两个端点为外轮廓端点，在剩余图元中搜索，若某条图元的端点与外轮廓端点重合，则说明这条图元与外轮廓图元相连，该条图元的另一个端点和另一个外轮廓端点组成新的外轮廓端点，以此方法不断搜索，直到得到一个闭合的外轮廓。

　　步骤1.4，在得到外轮廓后，从剩余的图元中提取内轮廓。若剩余的图元存在不处于图形边界上的圆或闭合的多段线图元，则这些圆或闭合的多段线，独自构成内轮廓。去除这些圆或闭合多段线图元后，在剩余的图元中，内轮廓是由多个图元组成。先取其中一条图元记为内轮廓图元，端点为内轮廓端点，在剩余图元中搜索，若某条图元的端点与内轮廓端点重合，则说明这条图元与内轮廓图元相连，该条图元的另一个端点和另一个内轮廓端点组成新的内轮廓端点，以此类推，直到得到一个闭合的内轮廓。去除找到的内轮廓的图元，若还存在剩余图元，继续按照上述的方法，提取内轮廓，直到提取所有的内轮廓。

　　步骤2，确保相机已标定过（即确定图像坐标系到相机坐标系的转换关系）以及计算出相机坐标系到点胶机坐标系的转换关系，并获取片状物体图像，对其进行阈值分割，提取出芯片。

　　这里，图像坐标系是与相机拍摄的数字图像有关的二维平面坐标系，图像中像素在图像坐标系下的x坐标和y坐标分别用像素所在的列数和行数表示，记为图像坐标，坐标系原点为图像左上角像素位置，坐标轴正方向为向右行方向和向下列方向；相机坐标系是用来表示图像中像素的实际空间坐标位置的物方坐标系，由于是平面测量，具体定义为二维平面坐标系，坐标系原点为标定图像中左上角标定点的位置，坐标轴正方向分别为标定点矩阵相对于图像中摆放位置的向右行方向和向下列方向；点胶机坐标系是与导轨运行位置相关的三维坐标系，坐标系原点为导轨的起点位置，坐标轴正方向为三个导轨从起点向外运行的方向。在实际测量中，将目标位置从图像坐标系下坐标转换到相机坐标系下坐标，再转换到点胶机坐标系下坐标。

　　若相机已标定，进一步判断相机坐标系到点胶坐标系转化关系是否已计算，是则获取相机拍摄的图像，对图像进行阈值分割；否则计算相机坐标系到点胶机坐标系的转换关系，然后获取相机拍摄的图像，对图像进行阈值分割；

　　若相机未标定，则标定相机，然后进一步判断相机坐标系到点胶坐标系转化关系是否已计算，是则获取相机拍摄的图像，对图像进行阈值分割；否则计算相机坐标系到点胶机坐标系的转换关系，然后获取相机拍摄的原始图像，对图像进行阈值分割。

　　相机标定可采用畸变模型法标定，这种标定方法是通过计算相机的内外参数完成标定，该方法比较成熟和常见，本发明不予不赘述。

　　相机坐标系到点胶坐标系的转换关系的计算，具体实现方法可为：拍摄已知点胶位置坐标的胶点的图像，计算出胶点在相机坐标系下的坐标，然后用最小二乘法计算出这些胶点从相机坐标系到点胶坐标系的平移和旋转变换的矩阵参数，即可确定相机坐标系到点胶坐标系的转换关系。

　　原始片状物体图像中芯片的灰度一般比连接芯片的导线和基片的灰度值低，采用阈值分割可以将基片和大部分导线去除掉，分割阈值Ns可由实验预先确定。

　　步骤3，提取出原始图像的外轮廓上的端点位置，计算出图像中目标（片状物体）的位置相对于设计图形位置关于某个外轮廓端点的旋转量，结合设计图形中芯片上端点的坐标数据，提取出芯片端点的实际位置，即为点胶位置。

　　步骤3.11，在设计图形的外轮廓上找到一条与设计图形坐标系的X方向或者Y方向平行的直线图元，在图像的相同方向上搜索到该条边界，然后开一个小窗口将该边界包含进来。该窗口可采用矩形。

　　步骤3.12，对窗口内的图像用Canny算子提取边缘，用一个半径为R的小圆形模板在边缘上移动，搜索圆形模板与二值化后图像的重叠面积局部最小的两个位置即为端点位置。具体实施时，本领域技术人员可根据经验预先设定步骤3.11所开窗口尺寸和步骤3.12的圆形模板半径R，窗口大小满足能包含边缘上移动的圆形模板。

　　步骤3.13，将这两个端点与其设计坐标对应起来，任取其中一点记为P1，另一点记为P2，若P1的图像坐标为(xe1,ye1)，设计坐标为(Xe1,Ye1)；P2的图像坐标为(xe2,ye2)，设计坐标为(Xe2,Ye2)，P1到P2的连线与x轴在图像坐标系下的夹角为α12，P1到P2的连线与X轴在设计图形坐标系下的夹角为β12，片状物体图像相对于点(xe1,ye1)与设计图形位置比较，旋转的角度近似为，则

　　arctanYe2-Ye1Xe2-Xe1---(3)]]步骤3.14，计算出剩余外轮廓端点在图像中的大概位置，记外轮廓其它端点为Pi（i＝2,3,…W，W为外轮廓端点的个数），Pi的图像坐标为(xei,yei)，在图像中的大概位置采用近似图像坐标记为，设计坐标为(Xei,Yei)，点P1到Pi的设计图形中的距离为L1i，P1到Pi的连线与X轴在设计图形坐标系下的夹角为β1i，则![cdata[x

　　1=(Xe1-Xei)2+(Ye1-Yei)2---(6)]]式（4）（5）中，t为图像距离与对应实际距离的比例系数，由实验学习可预先得到确定。步骤3.15，在点附近开个小窗，对窗口内图像用Canny算子提取边缘，在边缘上移动一个半径为R的圆形模板，将该圆形模板与二值化后图像的重叠面积最小的位置定为Pi的图像坐标(xei,yei)，即端点Pi在图像坐标系下的位置。步骤3.15和步骤3.12的圆形模板半径大小一致。步骤3.15的窗口可采用矩形，本领域技术人员可根据经验预先设定步骤3.15所开窗口尺寸，无需和步骤3.11一致。片状物体摆放实际位置相对于设计图形的旋转量，是以点P1为基准点，计算出其它每个端点Pi与P1的连线的相对于设计图形中连线i，再计算加权平均值得到最终角度旋转量θ，则![cdata[θ

　　i)=(Xe1-Xei)2+(Ye1-Yei)2---(9)]]式（8）中，α1i为P1到Pi的连线与X轴在图像坐标系下的夹角，β1i为P1到Pi的连线与X轴在设计图形坐标系下的夹角。式（7）（9）中，q(i)为端点Pi的权值，可采用端点Pi到P1的距离表示权值的大小。芯片的端点位置（即内轮廓上端点位置）是通过在计算出芯片上的每个端点的近似位置附近处搜索得到。记芯片上的端点为Qj(j＝1,2,…U，U为芯片端点个数)，Qj图像坐标为(xhj,yhj)，近似图像坐标为设计坐标为(Xhj,Yhj)，P1的图像坐标为(xe1,ye1)，设计坐标为(Xe1,Ye1)，点P1到Qj的设计图形坐标系下的距离为D1j，γ1j为P1到芯片上端点Qj的连线与X轴在设计图形坐标系下的夹角，片状物体摆放实际位置相对于设计图形的旋转量为θ，则![cdata[

　　1=(Xe1-Xhj)2+(Ye1-Yhj)2---(12)]]式（10）（11）中，t为图像距离与对应实际距离的比例系数，同式（4）（5）中的t。在计算出来的点附近开个小窗，对窗口内的图像用Canny算子提取边缘，用一个半径为R的小圆形模板在边缘上移动，圆形模板与二值化后图像的重叠面积最小的地方即为Qj的图像坐标(xhj,yhj)，并将图像坐标转换到点胶机坐标系下，得到芯片上端点的实际点胶位置坐标，记为。窗口和步骤3.15中窗口形状尺寸可一致，圆形模板半径可和步骤3.12的圆形模板半径大小一致。步骤4，芯片之间通过导线连接，也需要提取导线上的点胶位置。在每个芯片边缘位置上，搜索导线领域范围搜索灰度值最低的相邻像素作为导线像素，直到搜索到另一个芯片位置上结束，由此完成每条导线的图像位置的搜索，并提取出每条导线上的点胶位置。导线起始点的位置通常位于芯片边缘处灰度值最小的位置上，可以计算芯片每条边上的像素灰度值的方差，当高于预设数值K时，则这条边上连接有导线，导线的起始点位置是灰度值最小的像素位置处。数值K经实验学习可预先得到。搜索导线像素所采取的策略如下：（1）从导线的起始点位置搜索导线像素，导线像素是取待选像素中灰度值最低的像素；（2）待选像素由导线方向确定，若当前导线像素的坐标为(x,y)，Δx为x坐标的变化方向（Δx＝-1,1），Δy为y坐标的变化方向（Δy＝-1,1），当导线)，则待选像素坐标为(x+Δx,y-1)、(x+Δx,y)和(x+Δx,y+1)；当导线,Δy)，则待选像素坐标为(x-1,y+Δy)、(x,y+Δy)和(x+1,y+Δy)；当导线方向为(Δx,Δy)，则待选像素坐标为(x+Δx,y+Δy)、(x+Δx,y)和(x,y+Δy)；根据灰度值，即可从3个待选像素中选择下一导线）每搜索到下一个导线像素，需要在该像素开一个大小为b×b的窗口，计算窗口内最大灰度与最小灰度之差，当低于预设数值H时，停止搜索；数值H和b可经实验学习预先设定。（4）搜索到芯片边缘位置，停止搜索；

　　搜索处一条导线后，导线上胶点一般取导线起点、终点以及等间距位置的点，并将其转换为点胶机坐标系下坐标，即点胶位置数据。

　　步骤5，将点胶位置数据传给导轨电机控制器，控制导轨运行到指定位置完成点胶操作。

　　实验：对一片外接尺寸为1400mm×1000mm的具有不规则形状的片状物体进行点胶操作，按照设计图纸的要求，共有27个芯片需要点胶。用相机对其拍摄图像，然后导入设计图纸，按照上述的操作步骤进行相应的数据处理，自动识别出点胶位置，控制导轨运动到指定的位置完成点胶操作。

　　评价指标：对本系统从点胶时间和点胶位置识别错误率识别准确率两个方面进行评价。

　　（1）点胶时间：系统从点胶图像中识别出点胶位置到完成点胶工作所需要花费的时间。

　　（2）点胶位置识别错误率：系统从点胶图像中识别错误的点胶位置数量占识别出的点胶位置总数量的比率。

　　点胶时间可以反映出本系统完成画线和点胶操作的时间效率，而点胶位置识别错误率可以较好的反映出本系统对数据处理方法的有效性。

　　识别出的点胶位置总数量点胶位置识别错误率23分59秒42771.44%从表1实验结果可以看出，点胶时间为23分59秒，而相同工作任务采取人工点胶要花费1个小时左右，可见本发明所提出的方法比人工点胶花费时间少很多，极大提高工作时间效率。另外，点胶位置识别错误率较低，由此可以反映出本发明对数据处理方法的是有效的。综上所述，本发明具有如下的优点：（1）将机器视觉和图像测量的方法引入到点胶位置的识别上，提高了点胶工作的智能化程度，减少了人的参与，提高了工作效率。（2）点胶过程比传统方法更快捷，点胶工作幅面大，并且点胶形状更加规范。（3）整个系统结构简单，自动化程度高，便于推广应用。与传统点胶方法相比，本发明的点胶过程具有很明显的优势，既有较高的智能化程度，又有较高点胶效率和较低的错误率，是一个可行的自主定位智能点胶系统。

　　《自主定位智能点胶系统.pdf》由会员分享，可在线阅读，更多相关《自主定位智能点胶系统.pdf（16页珍藏版）》请在专利查询网上搜索。

　　1、(10)申请公布号 CN 103846192 A (43)申请公布日 2014.06.11 CN 103846192 A (21)申请号 2.5 (22)申请日 2014.03.21 B05C 5/02(2006.01) B05C 11/10(2006.01) G05B 19/19(2006.01) (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山武 汉大学 (72)发明人 仲思东 熊杰 (74)专利代理机构 武汉科皓知识产权代理事务 所 ( 特殊普通合伙 ) 42222 代理人 严彦 (54) 发明名称 自主定位智能点胶系统 (57) 摘要 本发明。

　　2、提供一种自主定位智能点胶系统， 包 括相机 （1） 、 支架 （2） 、 X 轴导轨 （3） 、 Y 轴导轨 （4） 、 Z 轴导轨 （5） 、 导轨电机控制器 （6） 、 光学平台 （7） 、 底座 （8） 、 机头备板 （9） 、 胶筒 （10） 、 点胶头 （11） 和 计算机 （12） 。计算机 （12） 基于机器视觉和图像 测量的数据处理过程控制点胶操作， 处理相机拍 摄的图像并结合设计图形数据， 自动识别点胶位 置， 向导轨电机控制器 （6） 发出指令， 控制导轨运 行到指定的位置进行点胶操作。本发明提高了点 胶工作的智能化程度， 提高了工作效率， 点胶工作 幅面大， 点胶形状更加。

　　3、规范， 系统结构组成比较简 单， 自动化程度较高， 便于推广应用。 (51)Int.Cl. 权利要求书 4 页 说明书 9 页 附图 2 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书4页 说明书9页 附图2页 (10)申请公布号 CN 103846192 A CN 103846192 A 1/4 页 2 1. 一种自主定位智能点胶系统， 其特征在于 ： 包括相机 （1） 、 支架 （2） 、 X 轴导轨 （3） 、 Y 轴导轨 （4） 、 Z 轴导轨 （5） 、 导轨电机控制器 （6） 、 光学平台 （7） 、 底座 （8） 、 机头备板 （9） 、 胶筒 （10。

　　4、） 、 点胶头 （11） 和计算机 （12） ， 在底座 （8） 的上方安装光学平台 （7） ， 在光学平台 （7） 的长边位置安装 X 轴导轨 （3） ， 在 短边位置处位于 X 轴导轨 （3） 上方安装 Y 轴导轨 （4） ， 在 Y 轴导轨 （4） 上安装 Z 轴导轨 （5） ， 三个导轨的方向相互垂直， 在 Z 轴导轨 （5） 上固定机头备板 （9） ， 机头备板 （9） 上固定胶筒 （10） 和点胶头 （11） ； 在底座 （8） 边上固定着支架 （2） ， 支架 （2） 顶部安装相机 （1） ， 相机 （1） 位置处于光学平 台 （7） 的正上方， 在底座 （8） 内部放置导轨电机。

　　5、控制器 （6） ， 导轨电机控制器 （6） 、 相机 （1） 分 别连接计算机 （12） 。 2.根据权利要求1所述的自主定位智能点胶系统， 其特征在于 ： 相机 （1） 光轴与光学平 台 （7） 表面垂直， 视场覆盖光学平台 （7） ， 相机 （1） 通过 USB 数据线） 内部连接计算机 （12） 。 3. 根据权利要求 1 所述的自主定位智能点胶系统， 其特征在于 ： 计算机 （12） 执行基于 机器视觉和图像测量的数据处理过程控制点胶操作， 包括以下步骤， 步骤 1， 读取设计图形， 提取内轮廓上端点和外轮廓上端点在设计图形坐标系下的设 计坐标 ； 所。

　　6、述外轮廓确定待点胶的片状物体的形状， 所述内轮廓表示片状物体上芯片的位 置 ； 步骤 2， 确定图像坐标系到相机坐标系的转换关系， 计算出相机坐标系到点胶机坐标系 的转换关系， 从相机获取待点胶的片状物体的图像， 对其进行阈值分割， 提取出芯片 ； 步骤 3， 提取出图像中外轮廓上的端点位置， 计算出图像中片状物体的位置相对于设计 图形位置关于某个外轮廓端点的旋转量， 内轮廓端点为芯片端点， 结合设计图形中芯片上 端点在设计图形坐标系下的设计坐标， 提取出芯片端点的点胶位置 ； 步骤 4， 在每个芯片边缘位置上， 搜索导线 领域范围搜索灰度值最 低的相邻像素作为导线、 直到搜索到另一个芯片位置上结束， 得到每条导线的图像位 置， 并提取出每条导线上的点胶位置 ； 步骤 5， 将点胶位置数据传给导轨电机控制器， 控制导轨运行到指定位置完成点胶操 作。 4. 根据权利要求 3 所述的自主定位智能点胶系统， 其特征在于 ： 步骤 1 中， 提取内轮廓 上端点和外轮廓上端点在设计图形坐标系下的设计坐标， 实现方式包括以下步骤， 步骤 1.1， 导入设计图形的文件， 读取直线、 圆弧、 多段线 种图元数据， 及图形 边界的数据 ； 步骤 1.2， 若有圆或者闭合的多段线处于图形边界上， 则该圆或闭合的多段线为外轮 廓， 转入步骤 1.4 ； 否则， 外轮廓。

　　8、是由直线、 圆弧和多段线组合而成， 进入步骤 1.3 ； 步骤 1.3， 从直线、 圆弧、 和多段线的图元数据中寻找出一条图元处于图形边界上， 以该 条图元为外轮廓图元， 其两个端点为外轮廓端点， 在剩余图元中搜索， 若某条图元的端点与 外轮廓端点重合， 则该条图元的另一个端点和另一个外轮廓端点组成新的外轮廓端点， 按 此不断搜索， 直到得到一个闭合的外轮廓 ； 步骤 1.4， 在得到外轮廓后， 从剩余的图元中提取内轮廓 ； 若剩余的图元存在不处于图 权 利 要 求 书 CN 103846192 A 2 2/4 页 3 形边界上的圆或闭合的多段线图元， 则这些圆或闭合的多段线， 独自构成内轮廓。

　　9、 ； 去除这 些圆或闭合多段线图元后， 在剩余的图元中， 内轮廓是由多个图元组成， 取其中一条图元记 为内轮廓图元， 端点为内轮廓端点， 在剩余图元中搜索， 若某条图元的端点与内轮廓端点重 合， 该条图元的另一个端点和另一个内轮廓端点组成新的内轮廓端点， 以此类推， 直到得到 一个闭合的内轮廓， 按此提取出所有的内轮廓位置。 5. 根据权利要求 3 所述的自主定位智能点胶系统， 其特征在于 ： 步骤 2 中， 计算出相机 坐标系到点胶机坐标系的转换关系实现方式为， 拍摄已知点胶位置坐标的胶点的图像， 计 算出胶点在相机坐标系下的坐标， 然后用最小二乘法计算出这些胶点从相机坐标系到点胶 机坐标系。

　　10、的平移和旋转变换的矩阵参数。 6. 根据权利要求 3 所述的自主定位智能点胶系统， 其特征在于 ： 步骤 3 中， 提取出图像 中外轮廓上的端点位置， 实现方式包括以下步骤， 步骤3.11， 在设计图形的外轮廓上找到一条与X方向或者Y方向平行的直线图元， 在图 像的相同方向上搜索到该条边界， 然后开一个窗口将该边界包含进来 ； 步骤 3.12， 对步骤 3.11 所得窗口内的图像用 Canny 算子提取边缘， 包括用圆形模板在 边缘上移动， 搜索圆形模板与二值化后图像的重叠面积局部最小的两个位置， 得到端点位 置 ； 步骤 3.13， 提取步骤 3.12 所得两个端点对应设计坐标， 任取其中一。

　　11、端点记为 P1， 另一 端点记为 P2， 设 P1的图像坐标为 (xe1,ye1)， 设计坐标为 (Xe1,Ye1)， P2的图像坐标为 (xe2,ye2)， 设计坐标为 (Xe2,Ye2)， P1到 P2的连线与 x 轴在图像坐标系下的夹角为 12， P1到 P2的连线 与 X 轴在设计图形坐标系下的夹角为 12， 片状物体的图像相对于点 (xe1,ye1) 与设计图形 位置比较， 旋转的角度近似为则 步骤 3.14， 计算出剩余外轮廓端点在图像中的大概位置， 记外轮廓其它端点为 Pi， i 2,3,W， W 为外轮廓端点的个数， Pi的图像坐标为 (xei,yei)， 在图像中的大概位置采。

　　12、用近似 图像坐标记为， 设计坐标为 (Xei,Yei)， 端点 P1到 Pi的设计图形中的距离为 L1i， P1到 Pi的连线与 X 轴在设计图形坐标系下的夹角为 1i， 则 式 （4） （5） 中， t 为图像距离与对应实际距离的比例系数 ； 步骤 3.15， 在近似图像坐标附近开个窗口， 对窗口内图像用 Canny 算子提取边 权 利 要 求 书 CN 103846192 A 3 3/4 页 4 缘， 在边缘上移动一个半径为 R 的圆形模板， 将该圆形模板与二值化后图像的重叠面积最 小的位置定为端点 Pi的图像坐标 (xei,yei)。 7. 根据权利要求 6 所述的自主定位智能点胶系统，。

　　13、 其特征在于 ： 步骤 3 中， 计算出图像 中片状物体的位置相对于设计图形位置关于某个外轮廓端点的旋转量， 实现方式如下， 以端点 P1为基准点， 计算出其它每个端点 Pi与 P1的连线相对于设计图形中相应连线,W， W 为外轮廓端点的个数， 再计算加权平均值得到最终角度旋转 量 ， 则 1i 1i-1i （8） 式 （8） 中， 1i为 P1到 Pi的连线与 x 轴在图像坐标系下的夹角， 1i为 P1到 Pi的连线 与 X 轴在设计图形坐标系下的夹角 ； 式 （7） （9） 中， q(i) 为端点 Pi的权值， i 2,3,W， W 为外轮廓端点的个数。 8.。

　　14、 根据权利要求 7 所述的自主定位智能点胶系统， 其特征在于 ： 步骤 3 中， 结合设计图 形中芯片端点在设计图形坐标系下的设计坐标的坐标数据， 提取出芯片端点的实际位置， 实现方式如下， 记芯片上的端点为Qj， j1,2,U， U为芯片端点个数， Qj图像坐标为(xhj,yhj)， 近似图 像坐标为设计坐标为 (Xhj,Yhj)， P1的图像坐标为 (xe1,ye1)， 设计坐标为 (Xe1,Ye1)， 点 P1到 Qj的设计图形坐标系下的距离为 D1j， 1j为 P1到芯片上端点 Qj的连线与 X 轴在设 计图形坐标系下的夹角， 片状物体摆放实际位置相对于设计图形的旋转量为 ， 则 式 。

　　15、（10） （11） 中， t 为图像距离与对应实际距离的比例系数 ； 在近似图像坐标附近开个窗口， 对窗口内的图像用 Canny 算子提取边缘， 用一 个半径为 R 的圆形模板在边缘上移动， 将圆形模板与二值化后图像的重叠面积最小的地方 定为端点 Qj的图像坐标 (xhj,yhj)， 并将图像坐标 (xhj,yhj) 转换到点胶机坐标系下， 得到芯 片上端点 Qj的实际点胶位置坐标， 记为 9. 根据权利要求 3 或 4 或 5 或 6 或 7 或 8 所述的自主定位智能点胶系统， 其特征在于 ： 步骤 4 中， 在每个芯片边缘位置上搜索导线的起始点的实现方式为， 芯片每条边上的像素 灰度值的。

　　16、方差， 当高于预设数值 K 时， 则这条边上连接有导线， 导线的起始点位置是灰度值 最小的像素位置处。 权 利 要 求 书 CN 103846192 A 4 4/4 页 5 10. 根据权利要求 3 或 4 或 5 或 6 或 7 或 8 所述的自主定位智能点胶系统， 其特征在 于 ： 步骤 4 中， 在 8 领域范围搜索灰度值最低的相邻像素作为导线像素， 直到搜索到另一个 芯片位置上结束， 所采取的策略如下， （1） 从导线的起始点位置搜索导线像素， 导线像素是取待选像素中灰度值最低的像 素 ； （2）待选像素由导线方向确定， 若当前导线像素的坐标为 (x,y)， 当导线、 则待选像素坐标为 (x+x,y-1)、 (x+x,y) 和 (x+x,y+1) ； 当导线,y)， 则待选像素坐标为 (x-1,y+y)、 (x,y+y) 和 (x+1,y+y) ； 当导线方向为 (x,y)， 则待选像素坐标为 (x+x,y+y)、 (x+x,y) 和 (x,y+y) ； （3） 每搜索到下一个导线像素， 需要在该像素开一个大小为 bb 的窗口， 计算窗口内 最大灰度与最小灰度之差， 当低于预设数值 H 时， 停止搜索， b 为预设数值 ； （4） 搜索到芯片边缘位置， 停止搜索。 11. 根据权利要求 3 或 4 或 5 或 6 或 7 或 8 所述的自主定位。

　　18、智能点胶系统， 其特征在 于 ： 步骤 4 中， 得到每条导线的图像位置后， 在导线上取导线起点、 终点以及等间距位置的 点， 并转换为点胶机坐标系下坐标， 得到导线上的点胶位置。 权 利 要 求 书 CN 103846192 A 5 1/9 页 6 自主定位智能点胶系统 技术领域 0001 本发明属于自动点胶技术领域， 用于对片状物体表面粘贴物进行加固， 特别涉及 一种基于机器视觉与图像测量的自主定位智能点胶系统。 背景技术 0002 在片状基片上粘贴不同规格的片状芯片是现代电子制造领域及精密加工领域的 重要工艺之一， 主要包含按照设计图纸标注位置在基片上粘贴片状芯片和为进一步加固而 进行点。

　　19、胶两个工作。 传统方法是由人工量出芯片位置， 粘贴芯片， 然后手动在基片和导线上 点胶， 整个过程都是人工手动完成， 不仅劳动强度大， 工作效率低， 而且点胶的质量不能确 保， 尤其是在大尺寸、 大范围工作场合， 完成这一工作变得更加艰苦。后来随着点胶机设备 的发展， 出现自动点胶机， 可以通过教导盒向点胶机发出指令， 使其按照一定路径， 自动完 成各种类型的点胶， 但是针对不同规格的产品， 因无法完成基片的自动定位与定姿， 整个过 程不能实现自动化和智能化， 并且编写点胶指令需要花费大量时间， 影响点胶工作的效率。 发明内容 0003 针对现有技术的问题， 本发明的目的是提供一种基于机器视觉。

　　20、与图像测量的自主 定位智能点胶系统。 0004 为实现上述目的， 本发明的技术方案提供一种自主定位智能点胶系统， 包括相机 1、 支架 2、 X 轴导轨 3、 Y 轴导轨 4、 Z 轴导轨 5、 导轨电机控制器 6、 光学平台 7、 底座 8、 机头 备板 9、 胶筒 10、 点胶头 11 和计算机 12， 0005 在底座 8 的上方安装光学平台 7， 在光学平台 7 的长边位置安装 X 轴导轨 3， 在短 边位置处位于 X 轴导轨 3 上方安装 Y 轴导轨 4， 在 Y 轴导轨 4 上安装 Z 轴导轨 5， 三个导轨 的方向相互垂直， 在Z轴导轨5上固定机头备板9， 机头备板9上固定胶筒1。

　　21、0和点胶头11 ； 0006 在底座 8 边上固定着支架 2， 支架 2 顶部安装相机 1， 相机 1 位置处于光学平台 7 的正上方， 在底座 8 内部放置导轨电机控制器 6， 导轨电机控制器 6、 相机 1 分别连接计算机 12。 0007 而且， 相机1光轴与光学平台7表面垂直， 视场覆盖光学平台7， 相机1通过USB数 据线 而且， 计算机 12 执行基于机器视觉和图像测量的数据处理过程控制点胶操作， 包 括以下 步骤， 0009 步骤 1， 读取设计图形， 提取内轮廓上端点和外轮廓上端点在设计图形坐标系下的 设计坐标 ； 。

　　22、所述外轮廓确定待点胶的片状物体的形状， 所述内轮廓表示片状物体上芯片的 位置 ； 0010 步骤 2， 确定图像坐标系到相机坐标系的转换关系， 计算出相机坐标系到点胶机坐 标系的转换关系， 从相机获取待点胶的片状物体的图像， 对其进行阈值分割， 提取出芯片 ； 0011 步骤 3， 提取出图像中外轮廓上的端点位置， 计算出图像中片状物体的位置相对于 说 明 书 CN 103846192 A 6 2/9 页 7 设计图形位置关于某个外轮廓端点的旋转量， 内轮廓端点为芯片端点， 结合设计图形中芯 片上端点在设计图形坐标系下的设计坐标， 提取出芯片端点的点胶位置 ； 0012 步骤 4， 在每个芯片。

　　23、边缘位置上， 搜索导线 领域范围搜索灰度 值最低的相邻像素作为导线像素， 直到搜索到另一个芯片位置上结束， 得到每条导线的图 像位置， 并提取出每条导线， 将点胶位置数据传给导轨电机控制器， 控制导轨运行到指定位置完成点胶 操作。 0014 而且， 步骤 1 中， 提取内轮廓上端点和外轮廓上端点在设计图形坐标系下的设计 坐标， 实现方式包括以下步骤， 0015 步骤 1.1， 导入设计图形的文件， 读取直线、 圆弧、 多段线 种图元数据， 及 图形边界的数据 ； 0016 步骤 1.2， 若有圆或者闭合的多段线处于图形边界上，。

　　24、 则该圆或闭合的多段线为外 轮廓， 转入步骤 1.4 ； 否则， 外轮廓是由直线、 圆弧和多段线组合而成， 进入步骤 1.3 ； 0017 步骤 1.3， 从直线、 圆弧、 和多段线的图元数据中寻找出一条图元处于图形边界上， 以该条图元为外轮廓图元， 其两个端点为外轮廓端点， 在剩余图元中搜索， 若某条图元的 端点与外轮廓端点重合， 则该条图元的另一个端点和另一个外轮廓端点组成新的外轮廓端 点， 按此不断搜索， 直到得到一个闭合的外轮廓 ； 0018 步骤 1.4， 在得到外轮廓后， 从剩余的图元中提取内轮廓 ； 若剩余的图元存在不处 于图形边界上的圆或闭合的多段线图元， 则这些圆或闭合的多段。

　　25、线， 独自构成内轮廓 ； 去除 这些圆或闭合多段线图元后， 在剩余的图元中， 内轮廓是由多个图元组成， 取其中一条图元 记为内轮廓图元， 端点为内轮廓端点， 在剩余图元中搜索， 若某条图元的端点与内轮廓端点 重合， 该条图元的另一个端点和另一个内轮廓端点组成新的内轮廓端点， 以此类推， 直到得 到一个闭合的内轮廓， 按此提取出所有的内轮廓位置。 0019 而且， 步骤 2 中， 计算出相机坐标系到点胶机坐标系的转换关系实现方式为， 拍摄 已知 点胶位置坐标的胶点的图像， 计算出胶点在相机坐标系下的坐标， 然后用最小二乘法 计算出这些胶点从相机坐标系到点胶机坐标系的平移和旋转变换的矩阵参数。 0。

　　26、020 而且， 步骤 3 中， 提取出图像中外轮廓上的端点位置， 实现方式包括以下步骤， 0021 步骤3.11， 在设计图形的外轮廓上找到一条与X方向或者Y方向平行的直线图元， 在图像的相同方向上搜索到该条边界， 然后开一个窗口将该边界包含进来 ； 0022 步骤 3.12， 对步骤 3.11 所得窗口内的图像用 Canny 算子提取边缘， 包括用圆形模 板在边缘上移动， 搜索圆形模板与二值化后图像的重叠面积局部最小的两个位置， 得到端 点位置 ； 0023 步骤 3.13， 提取步骤 3.12 所得两个端点对应设计坐标， 任取其中一端点记为 P1， 另一端点记为 P2， 设 P1的图像坐标。

　　28、xei,yei)， 在图像中的大概位置采用 近似图像坐标记为设计坐标为 (Xei,Yei)， 端点 P1到 Pi的设计图形中的距离为 L1i， P1到 Pi的连线与 X 轴在设计图形坐标系下的夹角为 1i， 则 0028 0029 0030 0031 式 （4） （5） 中， t 为图像距离与对应实际距离的比例系数 ； 0032 步骤 3.15， 在近似图像坐标附近开个窗口， 对窗口内图像用 Canny 算子提 取边缘， 在边缘上移动一个半径为 R 的圆形模板， 将该圆形模板与二值化后图像的重叠面 积最小的位置定为端点 Pi的图像坐标 (xei,yei)。 0033 而且， 步骤 3 中， 计。

　　29、算出图像中片状物体的位置相对于设计图形位置关于某个外 轮廓端点的旋转量， 实现方式如下， 0034 以端点 P1为基准点， 计算出其它每个端点 Pi与 P1的连线相对于设计图形中相应 连线,W， W 为外轮廓端点的个数， 再计算加权平均值得到最终角度 旋转量 ， 则 0035 0036 1i 1i-1i （8） 0037 0038 式 （8） 中， 1i为 P1到 Pi的连线与 x 轴在图像坐标系下的夹角， 1i为 P1到 Pi的 连线与 X 轴在设计图形坐标系下的夹角 ； 式 （7） （9） 中， q(i) 为端点的权值， i 2,3,W， W 为外轮廓端点的个数。

　　30、。 0039 而且， 步骤 3 中， 结合设计图形中芯片端点在设计图形坐标系下的设计坐标的坐 标数据， 提取出芯片端点的实际位置， 实现方式如下， 0040 记芯片上的端点为 Qj， j 1,2,U， U 为芯片端点个数， Qj图像坐标为 (xhj,yhj)， 近似图像坐标为设计坐标为 (Xhj,Yhj)， P1的图像坐标为 (xe1,ye1)， 设计坐标为 (Xe1,Ye1)， 点 P1到 Qj的设计图形坐标系下的距离为 D1j， 1j为 P1到芯片上端点 Qj的连线与 X 轴在设计图形坐标系下的夹角， 片状物体摆放实际位置相对于设计图形的旋转量为 ， 说 明 书 CN 103846192 。

　　31、A 8 4/9 页 9 则 0041 0042 0043 0044 式 （10） （11） 中， t 为图像距离与对应实际距离的比例系数 ； 0045 在近似图像坐标附近开个窗口， 对窗口内的图像用 Canny 算子提取边缘， 用一个半径为 R 的圆形模板在边缘上移动， 将圆形模板与二值化后图像的重叠面积最小的 地方定为端点 Qj的图像坐标 (xhj,yhj)， 并将图像坐标 (xhj,yhj) 转换到点胶机坐标系下， 得 到芯片上端点 Qj的实际点胶位置坐标， 记为 0046 而且， 步骤 4 中， 在每个芯片边缘位置上搜索导线的起始点的实现方式为， 芯片每 条边上的像素灰度值的方差， 当高。

　　32、于预设数值 K 时， 则这条边上连接有导线， 导线的起始点 位置是灰度值最小的像素位置处。 0047 而且， 步骤 4 中， 在 8 领域范围搜索灰度值最低的相邻像素作为导线像素， 直到搜 索到另一个芯片位置上结束， 所采取的策略如下， 0048 （1） 从导线的起始点位置搜索导线像素， 导线像素是取待选像素中灰度值最低的 像素 ； 0049 （2）待选像素由导线方向确定， 若当前导线像素的坐标为 (x,y)， 当导线)， 则待选像素坐标为 (x+x,y-1)、 (x+x,y) 和 (x+x,y+1) ； 当导线,y)， 则待选像素坐标为 (x-1,y+y)、 。

　　33、(x,y+y) 和 (x+1,y+y) ； 当导线方向为 (x,y)， 则待选像素坐标为 (x+x,y+y)、 (x+x,y) 和 (x,y+y) ； 0050 （3） 每搜索到下一个导线像素， 需要在该像素开一个大小为 bb 的窗口， 计算窗 口内最大灰度与最小灰度之差， 当低于预设数值 H 时， 停止搜索， b 为预设数值 ； 0051 （4） 搜索到芯片边缘位置， 停止搜索。 0052 而且， 步骤 4 中， 得到每条导线的图像位置后， 在导线上取导线起点、 终点以及等 间距位置的点， 并转换为点胶机坐标系下坐标， 得到导线 本发明提供的技术方案的有益效果为 ：（。

　　34、1） 将机器视觉和图像测量的方法引入 到点胶位置的识别上， 提高了点胶工作的智能化程度， 减少了人的参与， 提高了工作效率 ； （2） 点胶过程比传统方法更快捷， 点胶工作幅面大， 并且点胶形状更加规范 ；（3） 整个系统 结构简单， 自动化程度较高， 便于推广应用。实验证明， 该系统能在片状基片上自动识别点 胶位置， 并智能完成点胶， 其点胶范围为 2000mm1400mm， 点胶速度 300mm/ 秒， 点胶位置误 差小于 1mm。 附图说明 0054 图 1 为本发明实施例的系统结构组成示意图。 0055 图 2 为本发明实施例的数据处理流程图。 说 明 书 CN 103846192 A。

　　35、 9 5/9 页 10 具体实施方式 0056 为了更好地理解本发明的技术方案， 下面结合附图对本发明做进一步的详细说 明。本发明的实施例是对一个形状不规则的片状物体进行点胶操作。 0057 如图 1， 自主定位智能点胶系统由相机 1、 支架 2、 X 轴导轨 3、 Y 轴导轨 4、 Z 轴导轨 5、 导轨电机控制器6、 光学平台7、 底座8、 机头备板9、 胶筒10、 点胶头11及计算机12组成。 在底座 8 的上方安装带亮度可调背光源光学平台 7， 在平台长边位置安装 X 轴导轨 3， 在短 边位置处位于 X 轴导轨 3 上方安装 Y 轴导轨 4， 在 Y 轴导轨 4 上安装着 Z 轴导轨。

　　36、 5， 三个导 轨的方向相互垂直， 在Z轴导轨5上固定有机头备板9， 机头备板9上固定有胶筒10和点胶 头 11。在基座边上固定着一个单臂梁支架 2， 支架 2 顶部安装有相机 1， 相机 1 位置处于光 学平台 7 的正上方， 在底座 8 内部放置有导轨电机控制器 6， 导轨电机控制器 6 可通过网线 建立通讯连接， 这样计算机 12 采用基于机器视觉和图像测量的数据处理算法 来处理相机拍摄的图像并结合设计图形数据， 自动识别点胶位置， 向导轨电机控制器 6 发 出指令， 控制导轨运行到指定的位置进行点胶操作， 并能实现 2000mm1400mm 大幅面和位 置误差小于 1m。

　　37、m 的点胶。为便于实时处理图像， 相机 1 连接计算机 12。 0058 上述相机 1 光轴与光学平台 7 表面垂直， 视场覆盖光学平台 7， 相机 1 可通过穿越 支架 2 内部和底座 8 内部的 USB 数据线 执行基于机器视觉和图像测量的数据处理过程控制点胶操 作， 对拍摄需点胶的片状物体的图像数据和相应的设计图形数据进行处理， 可采用软件技 术实现自动运行流程。实施例中流程主要步骤如下 ： 0060 步骤 1， 读取设计图形文件。设计图形主要包含片状物体的外轮廓和内轮廓， 其中 外轮廓确定了片状物体的形状， 内轮廓表示芯片的位。

　　38、置。这里设计图形坐标系是一个二维 直角正交坐标系， 内外轮廓的端点通常位于设计图形坐标系正方向下， 属于平面坐标。 在设 计图形文件中， 内外轮廓位置数据是由直线、 圆弧、 多段线 种图元数据组成， 因此需 要按照图元的位置关系从中分别提取出内外轮廓位置， 得到内外轮廓端点的设计坐标， 方 法如下 ： 0061 步骤 1.1， 导入设计图形文件， 读取直线、 圆弧、 多段线 种图元数据， 以及图 形的边界数据即 X 坐标最大最小值和 Y 坐标的最大最小值。 0062 步骤 1.2， 若有圆或者闭合的多段线处于图形边界上， 则该圆或闭合的多段线为外 轮廓， 读取轮廓上的端点设计坐。

　　39、标， 转入步骤 1.4 ； 否则， 则说明外轮廓是由直线、 圆弧和 多段线组合而成， 进入步骤 1.3。 0063 步骤 1.3， 从直线、 圆弧、 和多段线数据中寻找出一条图元处于图形边界上， 以该条 图元为外轮廓图元， 其两个端点为外轮廓端点， 在剩余图元中搜索， 若某条图元的端点与外 轮廓端点重合， 则说明这条图元与外轮廓图元相连， 该条图元的另一个端点和另一个外轮 廓端点组成新的外轮廓端点， 以此方法不断搜索， 直到得到一个闭合的外轮廓。 0064 步骤 1.4， 在得到外轮廓后， 从剩余的图元中提取内轮廓。若剩余的图元存在不处 于图形边界上的圆或闭合的多段线图元， 则这些圆或闭合的多。

　　40、段线， 独自构成内轮廓。 去除 这些圆或闭合多段线图元后， 在剩余的图元中， 内轮廓是由多个图元组成。 先取其中一条图 元记为内轮廓图元， 端点为内轮廓端点， 在剩余图元中搜索， 若某条图元的端点与内轮廓端 点重合， 则说明这条图元与内轮廓图元相连， 该条图元的另一个端点和另一个内轮廓端点 说 明 书 CN 103846192 A 10 6/9 页 11 组成新的内轮廓端点， 以此类推， 直到得到一个闭合的内轮廓。去除找到的内轮廓的图元， 若还存在剩余图元， 继续按照上述的方法， 提取内轮廓， 直到提取所有的内轮廓。 0065 步骤 2， 确保相机已标定过 （即确定图像坐标系到相机坐标系的转换。

　　41、关系） 以及计 算出相机坐标系到点胶机坐标系的转换关系， 并获取片状物体图像， 对其进行阈值分割， 提 取出芯片。 0066 这里， 图像坐标系是与相机拍摄的数字图像有关的二维平面坐标系， 图像中像素 在图像坐标系下的x坐标和y坐标分别用像素所在的列数和行数表示， 记为图像坐标， 坐标 系原点为图像左上角像素位置， 坐标轴正方向为向右行方向和向下列方向 ； 相机坐标系是 用来表示图像中像素的实际空间坐标位置的物方坐标系， 由于是平面测量， 具体定义为二 维平面坐标系， 坐标系原点为标定图像中左上角标定点的位置， 坐标轴正方向分别为标定 点矩阵相对于图像中摆放位置的向右行方向和向下列方向 ； 点。

　　42、胶机坐标系是与导轨运行位 置相关的三维坐标系， 坐标系原点为导轨的起点位置， 坐标轴正方向为三个导轨从起点向 外运行的方向。 在实际测量中， 将目标位置从图像坐标系下坐标转换到相机坐标系下坐标， 再转换到点胶机坐标系下坐标。 0067 首先判断相机是否已标定。 0068 若相机已标定， 进一步判断相机坐标系到点胶坐标系转化关系是否已计算， 是则 获取相机拍摄的图像， 对图像进行阈值分割 ； 否则计算相机坐标系到点胶机坐标系的转换 关系， 然后获取相机拍摄的图像， 对图像进行阈值分割 ； 0069 若相机未标定， 则标定相机， 然后进一步判断相机坐标系到点胶坐标系转化关系 是否已计算， 是则获取。

　　43、相机拍摄的图像， 对图像进行阈值分割 ； 否则计算相机坐标系到点胶 机坐标系的转换关系， 然后获取相机拍摄的原始图像， 对图像进行阈值分割。 0070 具体实施时， 0071 相机标定可采用畸变模型法标定， 这种标定方法是通过计算相机的内外参数完成 标定， 该方法比较成熟和常见， 本发明不予不赘述。 0072 相机坐标系到点胶坐标系的转换关系的计算， 具体实现方法可为 ： 拍摄已知点胶 位置坐标的胶点的图像， 计算出胶点在相机坐标系下的坐标， 然后用最小二乘法计算出这 些胶点从相机坐标系到点胶坐标系的平移和旋转变换的矩阵参数， 即可确定相机坐标系到 点胶坐标系的转换关系。 0073 原始片状物。

　　44、体图像中芯片的灰度一般比连接芯片的导线和基片的灰度值低， 采用 阈值分割可以将基片和大部分导线去除掉， 分割阈值 Ns可由实验预先确定。 0074 步骤 3， 提取出原始图像的外轮廓上的端点位置， 计算出图像中目标 （片状物体） 的 位置相对于设计图形位置关于某个外轮廓端点的旋转量， 结合设计图形中芯片上端点的坐 标数据， 提取出芯片端点的实际位置， 即为点胶位置。 0075 提取片状物体图像的外轮廓上的端点位置方法如下 ： 0076 步骤 3.11， 在设计图形的外轮廓上找到一条与设计图形坐标系的 X 方向或者 Y 方 向平行的直线图元， 在图像的相同方向上搜索到该条边界， 然后开一个小窗口。

　　45、将该边界包 含进来。该窗口可采用矩形。 0077 步骤3.12， 对窗口内的图像用Canny算子提取边缘， 用一个半径为R的小圆形模板 在边缘上移动， 搜索圆形模板与二值化后图像的重叠面积局部最小的两个位置即为端点位 说 明 书 CN 103846192 A 11 7/9 页 12 置。 具体实施时， 本领域技术人员可根据经验预先设定步骤3.11所开窗口尺寸和步骤3.12 的圆形模板半径 R， 窗口大小满足能包含边缘上移动的圆形模板。 0078 步骤 3.13， 将这两个端点与其设计坐标对应起来， 任取其中一点记为 P1， 另一点记 为 P2， 若 P1的图像坐标为 (xe1,ye1)， 设计。

　　46、坐标为 (Xe1,Ye1) ； P2的图像坐标为 (xe2,ye2)， 设计 坐标为 (Xe2,Ye2)， P1到 P2的连线与 x 轴在图像坐标系下的夹角为 12， P1到 P2的连线与 X 轴在设计图形坐标系下的夹角为 12， 片状物体图像相对于点 (xe1,ye1) 与设计图形位置比 较， 旋转的角度近似为 ， 则 0079 0080 0081 0082 步骤 3.14， 计算出剩余外轮廓端点在图像中的大概位置， 记外轮廓其它端点为 Pi （i 2,3,W， W 为外轮廓端点的个数） ， Pi的图像坐标为 (xei,yei)， 在图像中的大概位置采 用近似图像坐标记为， 设计坐标为 (X。

　　47、ei,Yei)， 点 P1到 Pi的设计图形中的距离为 L1i， P1到 Pi的连线与 X 轴在设计图形坐标系下的夹角为 1i， 则 0083 0084 0085 0086 式 （4） （5） 中， t 为图像距离与对应实际距离的比例系数， 由实验学习可预先得到 确定。 0087 步骤 3.15， 在点附近开个小窗， 对窗口内图像用 Canny 算子提取边缘， 在 边缘上移动一个半径为 R 的圆形模板， 将该圆形模板与二值化后图像的重叠面积最小的位 置定为 Pi的图像坐标 (xei,yei)， 即端点 Pi在图像坐标系下的位置。步骤 3.15 和步骤 3.12 的圆形模板半径大小一致。步骤 3。

　　48、.15 的窗口可采用矩形， 本领域技术人员可根据经验预先 设定步骤 3.15 所开窗口尺寸， 无需和步骤 3.11 一致。 0088 片状物体摆放实际位置相对于设计图形的旋转量， 是以点 P1为基准点， 计算出其 它每个端点 Pi与 P1的连线的相对于设计图形中连线i， 再计算加权平均值得到 最终角度旋转量 ， 则 0089 0090 1i 1i-1i （8） 说 明 书 CN 103846192 A 12 8/9 页 13 0091 0092 式 （8） 中， 1i为 P1到 Pi的连线与 X 轴在图像坐标系下的夹角， 1i为 P1到 Pi的 连线与 X 轴在设计图形坐标系下的夹角。式 （7） （9） 中， q(i) 为端点 Pi的权值， 可采用端 点 Pi到 P1的距离表示权值的大小。 0093 芯片的端点位置 （即内轮廓上端点位置） 是通过在计算出芯片上的每个端点的近 似位置附近处搜索得到。记芯片上的端点为 Qj(j 1,2,U， U 为芯片端点个数 )， Qj图像 坐标为(xhj,yhj)， 近似图像坐标为设计坐标为(Xhj,Yhj)， P1的图像坐标为(xe1,ye1)， 设计坐标为 (Xe1,Ye1)， 点 P1到 Qj的设计图形坐标系下的距离为 D1j， 1j为 P1到芯片上端点 Qj的连线与 X 轴在设计图形坐标系。