利用智能相機(jī)為工業(yè)機(jī)器人實(shí)現(xiàn)精確抓取
北京現(xiàn)代擁有3座整車(chē)生產(chǎn)工廠、3座發(fā)動(dòng)機(jī)生產(chǎn)工廠和1座承擔(dān)自主研發(fā)的技術(shù)中心。北京現(xiàn)代擁有近300 臺(tái)機(jī)器人,分別應(yīng)用在車(chē)身焊接、車(chē)身沖壓、發(fā)動(dòng)機(jī)組裝、涂裝等各種關(guān)鍵工位中。公司依靠先進(jìn)的自動(dòng)化制造裝備,保障100%焊接與運(yùn)輸自動(dòng)化率,100%自動(dòng)化沖壓生產(chǎn),確保車(chē)身焊接質(zhì)量與車(chē)身強(qiáng)度。
在發(fā)動(dòng)機(jī)生產(chǎn)工廠,汽車(chē)發(fā)動(dòng)機(jī)的缸體搬運(yùn)工作是由韓國(guó)現(xiàn)代公司制造的機(jī)器人來(lái)進(jìn)行。在引導(dǎo)機(jī)器人進(jìn)行缸體搬運(yùn)時(shí),采用的是由韓方定制的工業(yè)相機(jī)+視覺(jué)軟件的方式。在生產(chǎn)過(guò)程中,遇到了棘手問(wèn)題,主要是:相機(jī)拍照一次檢測(cè)不成功,需要多次拍照才有可能檢測(cè)成功,影響了工作效率。因此,北京現(xiàn)代決定進(jìn)行技術(shù)改造,以實(shí)現(xiàn)機(jī)器人對(duì)缸體的高效精確抓取。
在改造時(shí),這個(gè)問(wèn)題一直困擾著北京現(xiàn)代的技術(shù)人員。在應(yīng)用現(xiàn)場(chǎng),缸體是碼放在一層層的拖盤(pán)上,每隔一層缸體碼放的方向不同(如圖1 所示)。由于缸體只有一個(gè)抓取位置(如圖2 所示),所以機(jī)器人在抓取時(shí),會(huì)自動(dòng)將爪具旋轉(zhuǎn)0 度、90 度、180 度或270 度,然后根據(jù)每層托盤(pán)上每個(gè)缸體的大概位置去拍照抓取,同時(shí)相機(jī)也會(huì)跟著爪具進(jìn)行旋轉(zhuǎn)。這樣,得到的圖像都是一個(gè)方向的,而相機(jī)卻跟著機(jī)器人改變了拍照方向,這直接影響了抓取的準(zhǔn)確性。
圖1
圖2
因此,要成功實(shí)現(xiàn)技改,就要搬掉這個(gè)攔路虎,北京現(xiàn)代的技術(shù)人員詳細(xì)分析了迫切需要解決的兩個(gè)技術(shù)難點(diǎn)。 第一:機(jī)器人坐標(biāo)系與圖像坐標(biāo)系的對(duì)應(yīng)關(guān)系(N 點(diǎn)校準(zhǔn))。
從理論上來(lái)說(shuō),如果機(jī)器人旋轉(zhuǎn)0 度、90 度、180 度或270 度時(shí)的旋轉(zhuǎn)中心是一致的,那么,就可以只針對(duì)0 度時(shí)的坐標(biāo)對(duì)應(yīng)關(guān)系做N 點(diǎn)Calibrate,其他三個(gè)角度時(shí)的坐標(biāo)系對(duì)應(yīng)只是象限不一樣。
1)機(jī)器人坐標(biāo)系與圖像坐標(biāo)系都是0 度時(shí),兩個(gè)坐標(biāo)系是重合的(如圖3 所示)。這時(shí),在做完N 點(diǎn)Calibrate 后,機(jī)器人坐標(biāo)與圖像坐標(biāo)可直接一一對(duì)應(yīng)。
2)機(jī)器人坐標(biāo)分別旋轉(zhuǎn)90 度、180 度和270 度時(shí),圖像坐標(biāo)系雖然沒(méi)有改變,但是卻與機(jī)器人坐標(biāo)系的其他象限有了對(duì)應(yīng)關(guān)系(如圖4、圖5、圖6 所示)。
3)如果機(jī)器人的旋轉(zhuǎn)中心是一樣的,就可以得到一個(gè)擬合圓(如圖7 所示)。
圖3
圖4
圖5
圖6
圖7
需要注意的是:機(jī)器人在抓取位置旋轉(zhuǎn)四個(gè)方向拍照時(shí),必須是以同一固定點(diǎn)為圓心進(jìn)行旋轉(zhuǎn),只有這樣四個(gè)方向(象限)的點(diǎn)才能對(duì)應(yīng)起來(lái),這時(shí)只要在一個(gè)方向做9 點(diǎn)標(biāo)定即可。否則,如果機(jī)器人在抓取位置旋轉(zhuǎn)四個(gè)方向拍照時(shí),不是以同一點(diǎn)為圓心進(jìn)行旋轉(zhuǎn),那每個(gè)方向(象限)都要重新做9 點(diǎn)標(biāo)定,因?yàn)槊總€(gè)方向的點(diǎn)是不能對(duì)應(yīng)。
最終經(jīng)過(guò)確認(rèn),機(jī)器人夾具在旋轉(zhuǎn)0 度、90 度、180 度和270 度時(shí)的旋轉(zhuǎn)中心很難保持一致,所以只校準(zhǔn)一次并對(duì)應(yīng)象限的方法就不能使用了。這樣,四個(gè)角度時(shí)都要分別做N 點(diǎn)Calibrate。
第二:拍照后,必須確定圖像特征的旋轉(zhuǎn)中心的偏移量,圖像特征旋轉(zhuǎn)中心與偏移量的和,必須與機(jī)器人夾具的旋轉(zhuǎn)中心保持一致,否則抓取時(shí)就會(huì)產(chǎn)生很大誤差。
為解決技術(shù)改造中遇到的這些難點(diǎn),并選擇一個(gè)令人信任的技術(shù)解決方案,北京現(xiàn)代的技改部門(mén)在綜合比較技術(shù)實(shí)力、產(chǎn)品性價(jià)比、售后服務(wù)能力和服務(wù)質(zhì)量等多種考慮下,決定選擇機(jī)器視覺(jué)領(lǐng)域內(nèi)的領(lǐng)軍企業(yè)——康耐視公司。
雖然康耐視In-Sight 產(chǎn)品支持多種工業(yè)通訊協(xié)議,但是在本次應(yīng)用中與機(jī)器人只是采用最簡(jiǎn)單的RS-232 串口通訊方式(見(jiàn)圖10)。
圖8
在現(xiàn)場(chǎng),機(jī)器人有兩個(gè)位置比較重要,一個(gè)是拍照位置,另一個(gè)是抓取位置,這兩個(gè)位置都有固定坐標(biāo)。對(duì)關(guān)鍵的圖像定位問(wèn)題,康耐視In-Sight 產(chǎn)品有其創(chuàng)新的解決方案。
1)得到基準(zhǔn)模型圖像。機(jī)器人由拍照位置走到抓取位置,然后把缸體移到夾具正好能夠正確抓到的位置,這個(gè)位置就是抓取的基準(zhǔn)位置。固定好缸體后,機(jī)器人從抓取位置回到照相位置,然后進(jìn)行拍照,得到的這張圖像就可以作為基準(zhǔn)模型圖像。
2)得到兩張抓取位置旋轉(zhuǎn)某個(gè)角度的圖像。在得到基準(zhǔn)模型圖像后,機(jī)器人由拍照位置再走到抓取位置,抓住缸體逆時(shí)針或順時(shí)針旋轉(zhuǎn)某個(gè)角度(例如CCW-10 度或CW-10 度),然后松開(kāi)缸體,再回到拍照位置進(jìn)行拍照,得到第二張圖像。同樣再按此步驟操作得到第三張圖像。
3)得到這三張圖像后,就可以在這三張圖像上用PatMax 工具查找同一特征點(diǎn),根據(jù)得到的三個(gè)點(diǎn)就可以擬合出一個(gè)圓,這個(gè)圓的圓心坐標(biāo)就是機(jī)器人夾具的旋轉(zhuǎn)中心。
具體如圖9、圖10 所示。
圖9
圖10
In-Sight 相機(jī)與機(jī)器人實(shí)現(xiàn)了完美的無(wú)縫配合,具體工作過(guò)程如下。
1)工件分層碼放在旁邊,每次只將一層工件放到拍照與抓取位置(如圖11 所示)。
2)機(jī)器人在拍照前會(huì)事先知道這一層是如何擺放的。每個(gè)工件的拍照位置都是在機(jī)器人程序中事先設(shè)置好的。例如:抓取工件(0 度)時(shí),機(jī)器人不需要旋轉(zhuǎn),直接到拍照位置進(jìn)行拍照后抓取。在抓取工件(180 度)時(shí),機(jī)器人會(huì)自動(dòng)旋轉(zhuǎn)180 度,然后再到拍照位置進(jìn)行拍照后抓取。同理,下一層的工件是以90 度和270 度進(jìn)行擺放的。
3)機(jī)器人到達(dá)拍照位置后,首先向相機(jī)發(fā)送START1,讓相機(jī)進(jìn)行拍照檢測(cè)。如果定位成功,相機(jī)給機(jī)器人返回OK。機(jī)器人在收到OK 后,再向相機(jī)發(fā)送SHIFT8。相機(jī)再把定位坐標(biāo)和角度返回給機(jī)器人。如果定位失敗,相機(jī)給機(jī)器人返回NG。機(jī)器人會(huì)自動(dòng)微調(diào)當(dāng)前位置,然后再次發(fā)送START1,讓相機(jī)重新拍照。直到檢測(cè)成功。相機(jī)拍照后,會(huì)把工件的當(dāng)前坐標(biāo)與當(dāng)初訓(xùn)練的基準(zhǔn)抓取位置坐標(biāo)相減,然后把坐標(biāo)差值和角度傳送給機(jī)器人,機(jī)器人以當(dāng)初訓(xùn)練的基準(zhǔn)抓取位置坐標(biāo)為基礎(chǔ)進(jìn)行調(diào)整,然后再去抓取工件。
經(jīng)過(guò)一系列的現(xiàn)場(chǎng)測(cè)試,北京現(xiàn)代采用康耐視的In-Sight 智能相機(jī)后,成功解決了令人撓頭的技術(shù)難題?!翱的鸵暤腜atMax 工具提出了視覺(jué)行業(yè)最佳的定位算法,即使在比較復(fù)雜的情況下也能提供非常準(zhǔn)確的定位。而且還提供了非常豐富的通訊方式,便于集成到現(xiàn)有系統(tǒng)中?!北本┈F(xiàn)代保全部的沈劍表示。
他對(duì)In-Sight智能相機(jī)的表現(xiàn)給出了極高的評(píng)價(jià),“經(jīng)過(guò)改造后,機(jī)器人工作很流暢,且抓取都很準(zhǔn)確,幾乎沒(méi)有定位不到的情況。在調(diào)試過(guò)程中,PatMax 工具的優(yōu)越性得到了淋漓盡致的體現(xiàn),我們非常滿意?!鄙騽ψ詈蟊硎荆诂F(xiàn)場(chǎng)還有四臺(tái)現(xiàn)代機(jī)器人,情況與被改造工位很相似?!霸谶@臺(tái)機(jī)器人調(diào)試完畢時(shí),我們就已經(jīng)開(kāi)始準(zhǔn)備改造其他四臺(tái)機(jī)器人的視覺(jué)系統(tǒng)了?!?/p>
來(lái)源:機(jī)器人庫(kù)

提交
新大陸自動(dòng)識(shí)別精彩亮相2024華南國(guó)際工業(yè)博覽會(huì)
派拓網(wǎng)絡(luò)被Forrester評(píng)為XDR領(lǐng)域領(lǐng)導(dǎo)者
智能工控,存儲(chǔ)強(qiáng)基 | ??低晭?lái)精彩主題演講
展會(huì)|Lubeworks路博流體供料系統(tǒng)精彩亮相AMTS展會(huì)
中國(guó)聯(lián)通首個(gè)量子通信產(chǎn)品“量子密信”亮相!