从检测需求到技术选型怎么选?

前几天我接到一个客户电话,他们主营汽车注塑件这类产品,提出了这样一个困扰:

核心需求评估

“终端客户想要用 CCD相机 检测产品外观,设别织物纹理,识别不同颜色,你能否帮我判断一下,是不是可行?”

这个问题很复杂,我没办法在电话里用一两句话说明白,所以决定用一篇文章详细回答。

为了解决这个复杂问题,我认为不仅要了解客户的具体需求,也要对当前行业生态和技术趋势有一定的认识,才能给出精准的决策建议。首先,行业发展历程和视觉生态全景图能够很好地帮助我快速构建全局视野。

计算机看懂图像,改变了整个工业

从1960s年代至今,工业视觉已经发展了六十年。站在时间线这条脉络上观察,2000年以前的核心技术是传统算法:Canny边缘检测和模板匹配。

🏛️ 历史原点:开启新的工业视界

Canny算法是计算机视觉(CV)的起点。1966年,MIT的博士生艾伦在实验室第一次让计算机看懂了图片。后来,艾伦在有IBM芯片的计算机上把视觉技术带入了工业检测,从此开启了一个新的工业世界(视界),工业视觉由此诞生。

那时候工业相机采集的图像是黑白的,算法通过像素的「灰度值」和「梯度」找缺陷,描出不同缺陷的轮廓。另外,系统支持预设特定位置的形状和大小,算法可以自动识别那些不一样的地方,从而实现产品的异常检测。这种模式适合用来做尺寸测量、精确定位、存在性检测(错漏反),识别固定的静态的特征。一旦检测环境发生一点变化,比如光照变亮或变暗、摆放角度旋转、产品背景轻微改变,传统算法就会失效,造成大量误判,要么就无法识别。

现在总听到行业内的前辈常说的“CCD检测”,其实是在这个阶段发展起来的相机技术,那个时候大多数工业相机的传感器是CCD。而在2008年以后,CCD芯片完全退出历史舞台,被技术更先进成本更低的CMOS传感器替代。

深度学习(DL),改变工业视觉格局

目光聚焦到 2000s-2010s 近二十年间,新的技术崛起,特别是深度学习(Deep Learning)在视觉领域的成熟应用,让机器也能像人一样地去学习那些随机的变化的复杂缺陷,其中最难最复杂的就是表面外观的缺陷。这是当前工厂最头疼的检测问题,依靠大量人工目检判定良品和不良品,不仅效率低难管理,而且容易出现质量溢出的黑天鹅事件,有很大的赔偿风险。

🤔 深度学习这种AI算法与传统算法有什么区别呢?

答案是:从“被动”变“主动”,让机器变得会学习会思考。

传统算法是基于确定的规则(Rule-Based),被动地执行任务;而AI深度学习算法能够学习各种随机的缺陷,主动识别和判断。

举个我曾经遇到过的场景:

🎬 真实场景解析:螺丝随机掉落检测

一台基于传统算法的AOI设备专门检测笔记本电脑后盖掉落的螺丝,需要靠工程师预先设定螺丝的形状、掉落的位置,以及判断后盖有螺丝的规则,然后这套算法就能按照预设的多个模板与逻辑规则进行螺丝异物的检测。可问题是,螺丝掉落的位置都是随机的,怎么可能事先穷尽得了。

那么,AI算法的检测方式比传统算法的操作简单很多,不用预设那么多模板和规则,而是直接投喂后盖有螺丝的图像(5-10张左右),并且告诉它,这些属于NG的螺丝异物,必须把螺丝找出来。AI机器学习后,以后无论螺丝掉落在后盖的什么地方,它都能准确地找出。这才叫有效解决问题!

从这个场景中可以看出,传统AOI想要以有限的模板和规则去检测一颗“随机掉落”的螺丝,必然会存在局限性。因为工程师不可能预测螺丝每一次掉落的位置和姿态,只要有一种情况没有被写入模板,那么就无法检出,这种情况几乎天天都在发生。而使用AI算法的机器则不需要这些繁琐的步骤,只要提供清晰的螺丝异物样本,它就能一下子都学会了。以后出现任何螺丝掉落的情况,它都不会漏检或误判。对工厂来说,基于深度学习的AI 视觉技术能够解决那些随机的老大难问题,而且还能省去工程师的编程时间,提升检测效率和准确率。

人工智能时代,AI+工业视觉是工厂的未来

时间来到2020年,疫情改变了全球发展的轨道。人都在家里隔离,工厂却要生产,催生了“去人工化”的非接触式的生产模式,工厂需要更多自动化、智能化的设备,质检设备也不例外。这个时候要面对的全是复杂度高的视觉检测场景,因为简单的几乎都被做完了。

看一个典型的外观检测场景:

💎 极限检测场景:手机阳极外观缺陷检测

手机外壳(包括中框与底壳)的阳极外观缺陷检测。常见的缺陷有20多种,TOP5缺陷:DDS(划伤、碰伤、压伤)、亮面、异色、吐酸、白点。检测难度绝对可以排得上「最难」的“Highest”等级。不但缺陷项众多,连最小可检出精度也要达到0.05mm,而且节拍要求极快(3s/pcs)——要求“严”、检得“快”、品类“多”。

客户在国内的那家工厂有4条人工检测线,总共64人,专门检测阳极后的外观瑕疵。他们计划把这条专线搬到越南,可这几十个工人没办法带过去。越南当地招聘很难找到这么多吃苦耐劳的质检工人,加上人员管理成本高,所以才决定用机器替代人工检测,哪怕替代60%的检测工作也能接受。自动化设备的负责人说,他们找了好多家厂商评估,都说做不了。但是,摆在他们面前的是一个必答题,怎么想办法换成一条自动化检测线?

当时,我第一次接触手机外框和中框这类项目,做了不少调研工作,了解产品和工艺、缺陷特征、光学成像特点、技术难点、潜在友商等。一通分析下来,发现想要找出三家真正具备一流技术实力的视觉厂商真不容易。有些厂商只是提供光学方案,有些厂商只有算法软件,有些厂商本质上做的是集成和拼凑的活。而阳极外观缺陷检测这个场景,核心在「光学+算法」能够高度耦合,就得像人类的“灵活”双眼和“智能”大脑那样协同工作。