娱乐活动

3D视觉用于农产品收割

来源:http://www.lzswfw.com 责任编辑:环亚娱乐平台 2017-10-20 14:40

  

  超市对提供准确的分量、尺度、形状和质量的产品需求正日益增长。为满足这些需求,自动收割体系有必要查看如土豆、胡萝卜和西兰花等产品以上的特征,以及任何缺陷和疾病的表征。

现在,许多收割办法都是人工完成的。但是,由于超市可能只需求特定分量的产品,搜集很多农作物再分类区分出哪些是合适出售的产品,可能会形成糟蹋。

为战胜这个问题,分类任务能够在田间进行,以便在收割之前对产品进行分级,从而进步良率。


利用3D激光扫描仪、机器人、图画处理技能和深度学习软件的结合,Capture Automation公司正在开发西兰花球的自动收割体系

开发用于检测、辨认和丈量此类产品的算法是杂乱的。一般,运用基于边缘的检测办法时,产品有必要坐落图画中。在不同的环境照明条件下,暗影效应会导致2D办法的失败。但是,通过3D成像,产品的边缘是在体积表示中界说的,这样就不需求照明,能够依据形状和巨细挑选如生菜或西兰花球等蔬菜。

由于2D体系被校准到一个特定的平面上,产品的高度不同使得用于这样的任务的2D图画处理体系愈加杂乱。但是,通过预先校准的3D成像体系,能够对产品的角度和歪斜进行剖析,以便在产品被拾取之前,机器人能够被输入正确的角坐标,这样产品不会遭到损坏。

从Gocator高度图方式生成的数据发生的灰度图画(左)在像素数据越小的情况下,西兰花球就越接近摄像头,反之亦然

现在,该3D自动收割体系正被Capture Automation公司(坐落英国东萨塞克斯郡赫福市)开发。该公司利用3D激光扫描仪、机器人、图画处理技能和深度学习软件,正在开发一个西兰花球的自动收割体系。

3D激光扫描仪的长处之一是它们能够被连续地用来捕捉能够在传输进程中的图画。运用装置在迁延机上的编码器,方位坐标能够发送给机器人,追寻在机器人头下移动的产品,然后拾取它们。于农产品收割为了从移动体系取得如此准确的信息,有必要运用准确的编码器。在该体系的第一个原型机中,一个旋转编码器轮被装在迁延机的前部。

不幸的是,这种旋转编码器轮在雨天可能打滑,使体系的校准失效。为战胜这个问题,一种基于防滑钉的编码器被开发用来提供更准确的方位信息。

然后,收割机能够依据不同的分量和巨细挑选不同类型的西兰花球,并将不同的花球放在不同的箱子里。该体系还能够报告哪些花球可能还留在地上,或可能合适后来采摘。虽然栽培西兰花要花费好几个月的时间,但有一个成熟或过熟的大约3天的时间窗口,所以搜集这样的数据是很重要的。

机器收割机进行3D扫描,是将LMI Technologies公司(坐落加拿大哥伦比亚省本那比市)的Gocator扫描仪装置在迁延机前面,并连接到PC主机。这种扫描仪的一个长处是多个扫描仪能够同时运用,用于掩盖宽广的视野。

与定制激光/相机三角体系需求校准以确保正确的丈量比较,Gocator扫描仪的预校准允许体系立即提供毫米级精度的丈量。Gocator扫描仪在迁延机上以毫米/秒的速度快速运转,运用来自编码器提供的信息数据,允许捕捉的成像数据用于丈量农作物的巨细,并向机器人提供正确的方位和深度信息,以盯梢每一个西兰花球,并在正确的时间采摘。

运用如Genicam传输层等规范的软件图画流是有利的,由于它提供了挑选软件进行图画剖析的灵活性。在图画被捕捉后,Teledyne DALSA公司(坐落加拿大滑铁卢市)的Sherlock软件进行2D和3D图画处理。为检测西兰花球,自界说算法被用作Sherlock软件的插件。

从Gocator高度图生成的数据产成的灰度图画,像素数据越小,西兰花球越接近摄像头,反之亦然。运用2D算法减少一些缩放会导致西兰花球的巨细相似。因而,3D视觉用为了分类的意图,没有必要运用过大或过小的西兰花球进行批改,由于在这种情况下,树叶或杂草可能被检测到,错误率会添加。

有了这样的收割体系,由于分类需求快速执行,需求快速的图画处理。例如,在一个迁延机上,如果操作者不完全直线行进,摄像机会在某一方位辨认西兰花头,但当机器人头部抵达西兰花球时,采摘臂就会不在适当的方位。

利用2D图画处理算法,能够辨认西兰花球,然后3D算法能够辨认西兰花球的中心。要辨识出这些西兰花球,深度学习技能运用Polimago形式匹配工具进行运用,是来自Stemmer Imaging(坐落德国普赫海姆市)的Common VisionBlox(CVB)软件的一部分。

一般,自动收割如西兰花等有机产品是困难的。有了计算机视觉,许多不同的变量有必要被批改并加入到体系中,例如形状和口感不同的特大或特小西兰花球。

由于每一个西兰花球看起来稍有不同,体系需求通过批改,以断定它们到底是完美的圆形还是形状稍许不完美的。这种图画辨认的最大应战之一是将西兰花球与叶子分隔,由于叶子一般会与西兰花的头部混合在一起。因而,有必要运用许多不同的图画来批改该体系,这一进程包括基于体系的迁延机在田间辨认不同类型的西兰花球的生长进程。

一旦体系断定了西兰花球,它需求按巨细分级。不幸的是,这不是一件容易的事,由于西兰花球可能部分被叶子掩盖,因而叶子需求从西兰花球别离出来。利用3D成像,纹理切割能够将叶子与西兰花球别离开来,其结果是仅包括西兰花球数据的图画,以便能够丈量其直径。

运用PC上的图形用户界面(GUI),操作者能够挑选哪个尺度的西兰花球被挑选出来。在西兰花球被正确辨识出后,他们的方位信息被从迁延机上的PC发送到装置有定制采摘头的Fanuc机器人(坐落日本忍野市)。那些未被选中的西兰花球能够被辨认和标记,以便往后剖析。