自動(dòng)駕駛汽車偶爾會(huì)發(fā)生撞車事故，因?yàn)樗鼈兊囊曈X系統(tǒng)無(wú)法始終處理 3D 空間中的靜態(tài)或慢速移動(dòng)物體。在這方面，它們就像許多昆蟲的單眼視覺，它們的復(fù)眼提供出色的運(yùn)動(dòng)跟蹤和廣闊的視野，但深度感知較差。

螳螂除外。

螳螂的視野也在其左眼和右眼之間重疊，從而形成具有 3D 空間深度感知的雙目視覺。

弗吉尼亞大學(xué)工程與應(yīng)用科學(xué)學(xué)院的研究人員將這一見解與一些精妙的光電工程和創(chuàng)新的“邊緣”計(jì)算(在捕獲數(shù)據(jù)的傳感器內(nèi)或附近處理數(shù)據(jù))相結(jié)合，開發(fā)出了人工復(fù)眼，克服了機(jī)器目前收集和處理現(xiàn)實(shí)世界視覺數(shù)據(jù)的方式中令人煩惱的限制。這些限制包括準(zhǔn)確性問題、數(shù)據(jù)處理滯后時(shí)間以及對(duì)大量計(jì)算能力的需求。

查爾斯布朗大學(xué)電氣與計(jì)算機(jī)工程系博士生 Byungjoon Bae 表示：“在研究了螳螂眼睛的工作原理后，我們意識(shí)到復(fù)制其生物能力的仿生系統(tǒng)需要開發(fā)新技術(shù)。”

關(guān)于那些仿生窺視者

該團(tuán)隊(duì)精心設(shè)計(jì)的“眼睛”模仿自然，集成了微透鏡和多個(gè)光電二極管，當(dāng)暴露在光線下時(shí)會(huì)產(chǎn)生電流。該團(tuán)隊(duì)使用柔性半導(dǎo)體材料來(lái)模擬螳螂眼的凸形和刻面位置。

Bae 表示：“將傳感器制成半球形并保持其功能是一項(xiàng)最先進(jìn)的成就，它提供了廣闊的視野和卓越的深度感知。”

“該系統(tǒng)可實(shí)時(shí)提供精確的空間感知，這對(duì)于與動(dòng)態(tài)環(huán)境交互的應(yīng)用程序至關(guān)重要。”

這些用途包括低功率汽車和無(wú)人機(jī)、自動(dòng)駕駛汽車、機(jī)器人組裝、監(jiān)控和安全系統(tǒng)以及智能家居設(shè)備。

Bae 的導(dǎo)師是該系的副教授 Kyusang Lee，兼任材料科學(xué)與工程系的兼職教授，他是該團(tuán)隊(duì)最近在《科學(xué)機(jī)器人》雜志上發(fā)表的論文的第一作者。

該團(tuán)隊(duì)在實(shí)驗(yàn)室原型系統(tǒng)方面取得的重要發(fā)現(xiàn)之一是，與傳統(tǒng)視覺系統(tǒng)相比，其功耗可能降低 400 多倍。

邊緣計(jì)算的好處

Lee 的系統(tǒng)不使用云計(jì)算，而是可以實(shí)時(shí)處理視覺信息，幾乎消除了數(shù)據(jù)傳輸和外部計(jì)算的時(shí)間和資源成本，同時(shí)最大限度地減少了能源使用。

Bae 表示：“這項(xiàng)工作的技術(shù)突破在于柔性半導(dǎo)體材料、可在設(shè)備內(nèi)保持精確角度的保形設(shè)備、傳感器內(nèi)存儲(chǔ)組件以及獨(dú)特的后處理算法的集成。”

關(guān)鍵是傳感器陣列持續(xù)監(jiān)測(cè)場(chǎng)景的變化，識(shí)別哪些像素發(fā)生了變化，并將這些信息編碼為更小的數(shù)據(jù)集進(jìn)行處理。

這種方法模仿了昆蟲通過(guò)視覺線索感知世界的方式，通過(guò)區(qū)分場(chǎng)景之間的像素來(lái)理解運(yùn)動(dòng)和空間數(shù)據(jù)。例如，螳螂和其他昆蟲以及人類一樣，可以利用運(yùn)動(dòng)視差現(xiàn)象快速處理視覺數(shù)據(jù)，其中較近的物體似乎比遠(yuǎn)處的物體移動(dòng)得更快。只需要一只眼睛就能達(dá)到這種效果，但僅靠運(yùn)動(dòng)視差不足以實(shí)現(xiàn)準(zhǔn)確的深度感知。

螳螂的眼睛很特殊，因?yàn)楹臀覀円粯樱鼈兂死冒肭蛐螐?fù)眼幾何形狀和運(yùn)動(dòng)視差來(lái)了解周圍環(huán)境之外，還使用立體視覺(用雙眼觀察以感知深度)。

“這些先進(jìn)材料和算法的無(wú)縫融合實(shí)現(xiàn)了實(shí)時(shí)、高效和準(zhǔn)確的三維時(shí)空感知，”李說(shuō)道，他是薄膜半導(dǎo)體和智能傳感器領(lǐng)域一位多產(chǎn)的早期研究員。

他說(shuō)：“我們團(tuán)隊(duì)的工作代表了重要的科學(xué)見解，通過(guò)展示巧妙的仿生解決方案來(lái)解決復(fù)雜的視覺處理難題，可以啟發(fā)其他工程師和科學(xué)家。”