2021-07-08 09:56:13
來源:雷鋒網
席卷全球的缺芯大潮,讓"芯片"、"缺芯"幾乎舉國皆知。
在轟轟烈烈的國產替代浪潮中,除了備受關注的后端處理器芯片,作為數據的直接來源,前端傳感器芯片也將成為未來的重頭戲。
傳感器芯片領域,長久以來都是國外半導體巨頭的盛宴,中國嚴重依賴進口,中高端產品的進口占比達80%。
這讓傳感器芯片的國產替代這條路,雖然步履稍顯蹣跚,但也更加篤定。
籍由此,AI掘金志與視覺傳感器芯片初創公司銳思智芯的CEO鄧堅進行了一場對話,借其視角一探該市場現況。
當CIS芯片成為「傳統」一代
"銳思智芯2019年才成立,是否會覺得時機較晚?"
銳思智芯CEO鄧堅認為,其實不晚,甚至恰是時候:因傳統圖像傳感器用于機器視覺存在缺陷。
此前市場大多聚焦于后端處理芯片,AI也更多基于此升級賦能;但前端的傳感器芯片發展緩慢,現在已經成為機器視覺進一步升級的瓶頸。
具體來看,當下市場需求,前端傳統CIS的幀率、數據量和動態范圍三個核心要素已經難以滿足計算機視覺的需求。
首先,幀率有限。
傳統CIS是對場景內所有物體無差別地進行采集,然后以幀為單位的圖像進行信號處理后輸出到后端。
這個過程中,從曝光到數模轉換,再到數據傳輸都需要時間,過程耗時越長,形成圖像的幀率也就越低。
而幀與幀之間的因非連續性造成的信息缺失,增加了機器判斷的難度。
第二,數據量大但有效性低。
通常傳統CIS圖像分辨率在百萬像素以上輸出幀圖像,數據量非常大。而每幀之間存在大量的重復冗余信息,如不變的背景圖像。由此產生了龐大的數據量,但有效性非常低。
第三,動態范圍不足,環境的適應能力弱。
傳統CIS的動態范圍一般不超過70dB,遠小于人眼的動態范圍。在明暗變化很劇烈的情況下,傳統視覺傳感器經常會失效。因此,在機器視覺的應用中,經常出現環境光影響機器判斷的情況。
鄧堅表示,傳統圖像傳感器帶來的視覺系統本就不是為機器視覺而生,甚至很多特性與機器視覺的需求背道而馳。
以智慧城市的車輛識別應用為例,安裝監控攝像頭的目的,是為了準確捕獲并識別車輛和駕駛員信息。
但在車輛高速運動以及拍攝環境都不可控的場景下,傳統圖像傳感器不僅因低幀率和"超載"的數據量影響了圖像瞬時截取,成像模糊成常態,也常因動態范圍的限制,使得圖像常出現過曝或清晰度不足的問題。
在過去十幾年的拍攝時代,傳統CIS的目標是拍出給人看的、色彩豐富的、靜態的圖片。但在人工智能時代的大背景下,機器視覺對傳感器的幀率、數據量、動態范圍以及功耗都有很高的要求,唯有革新前端CIS,才能更好地促進后端AI的發展。
銳思智芯認識到這一點,采用"Hybrid Vision"技術,研發出仿生視覺傳感器芯片ALPIX。
ALPIX的目標,正是以機器視覺為核心,基于視覺傳感器端進行革新。
銳思智芯ALPIX芯片
產業大佬們看中它什么?
銳思智芯成立于2019年7月,是一家專注于新一代計算機視覺傳感領域的芯片研發及整體方案提供商。
銳思智芯從新型傳感器與機器視覺行業的發展狀態切入,自主研發了仿生視覺傳感器芯片ALPIX。
在行業中,與ALPIX類似的仿生視覺傳感器也稱為Event-based camera (事件驅動型相機)。
與傳統圖像傳感器基于快門曝光,以幀的形式輸出圖像信息不同,仿生視覺傳感器芯片是模仿人眼視網膜的工作原理,每個像素獨立工作,通過感知外界光強變化,輸出變化的脈沖信號,而光強無變化即不輸出。這個輸出的變化信號又稱為事件信號。
傳統CIS與事件驅動型相機工作原理示意
與傳統CIS相比,仿生視覺傳感器具有速度快(>5000 幀/s)、功耗低(幾十mw)、數據量少、動態范圍大(>120dB)的特點,能很好解決前面所述計算機視覺當前面臨的一些痛點。
這些都使得仿生視覺傳感器一經面市就引來巨頭們增資加持,比如三星、索尼、華為、博世等皆進行相關芯片及應用的研發,而法國的創業公司Prophesee創立之初也獲得Intel、博世等大廠投資。
然而在實際使用過程當中,很多場景既需要事件流信號來做快速預判,也需要傳統圖像來做精細判斷。
銳思智芯意識到,融合仿生視覺傳感器芯片及高端圖像傳感器芯片技術,或許是個突破口。
他們據此思路,將仿生視覺傳感器芯片及高端圖像傳感器芯片技術融合,創造了"Hybrid Vision"技術。并基于該技術設計研發芯片ALPIX,既可輸出事件流信號,也兼容輸出高質量的圖像信號。
這種二合一的功能,擁有仿生視覺傳感器的低功耗、高速、數據效率高、動態范圍高的特點。并且與同類競品相比,ALPIX有效提高了芯片信噪比,改善噪聲問題及暗光性能,滿足客戶的性能需求。
同時還可以輸出傳統圖像信號,與現有的機器視覺算法完全兼容,讓客戶更易于開發相關算法及應用 ,且有效降低視覺系統方案的成本。
此外,由于底層芯片結構的不同,ALPIX在同樣工藝情況下,像素面積更小,意味著更低的價格,更適合用于消費電子。
"市場上對這種融合的視覺傳感器有非常大的需求,但是至今還沒有能實現產品化的方案。現有的仿生視覺傳感器雖然有些可以輸出圖像信息,但是其質量達不到跟傳統CIS對標的程度,因此很多應用無法落地。"鄧堅表示。
以上改善,都是安防監控、消費電子、手機、機器人、自動駕駛等等領域目前所需。
以安防為例,當前的安防系統,主要還是將前端的海量圖像數據傳輸至后端服務器或云端進行存儲或計算。
由于數據量太大,導致傳輸、存儲及計算成本過高,并且很難進行數據追溯。
鄧堅表示,基于ALPIX,可以在終端設置smart trigger(智能觸發)功能,基于特定事件喚醒整個監控系統,并且通過邊緣AI基于事件信息提取特征數據并標注,將數據高效傳輸給云端進行存儲和計算,大幅下降整個系統的傳輸、存儲、計算及檢索的成本。
此外,由于ALPIX的高動態范圍,使其在極端光照環境亦可連續地監控場景內人及物的變化,解決傳統CIS環境適應力不足的痛。
ALPIX在安防領域應用示意
在智能家居領域,AlPIX的特性還可滿足用戶對隱私保護、低功耗、低系統成本等需求。
比如,ALPIX可以選擇只輸出事件流信號給機器"看",可用于看護、育嬰等應用場景里的私密場所進行特定事件的探測及報警功能;還可用于智能門鎖、門鈴,通過事件流信號判別是否有人到訪,再打開圖像信號傳輸給用戶;又或者用于空調、電視上,進行智能喚醒、智能調風或手勢控制。
ALPIX在智能家居領域應用
在自動駕駛領域上,相比傳統傳感器,因ALPIX傳感器從感知到制動所需的時間大大減少,縮短了汽車剎車時的反應時間,減少剎車距離,進一步提高行車安全;在動態范圍上,ALPIX在像素設計上進行了優化,即便汽車在出隧道或夜間行駛時,也不會因環境的光線條件變化使得傳感器失效。
作為機器視覺系統信息的直接來源,圖像傳感器與機器視覺有著"榮辱與共"的血脈關系。它決定了收集數據的有效性和質量,也間接決定了整個系統的能力。
"如果數據源頭不佳,后端算法再高強大,都很難去彌補源頭上信息的詮釋。"鄧堅補充說。
如今已有多家知名公司投身仿生視覺傳感器芯片領域,如Sony(收購瑞士 Insightness)、 三星(投資瑞士 Inivation)、法國的 Prophesee 等。
中國不少大佬顯然早也意識到了這一點,當銳思智芯帶著特有的技術實力出現時,也吸引來產業鏈上巨頭的目光。
市場潛力、技術稀缺性、產品化能力是大多數投資方考慮的核心要素。
近日銳思智芯宣布完成近億元 Pre-A 輪融資。投資方中,有海康威視、耀途資本、追遠創投、訊飛創投、舜宇中央研究院、全志科技、同創偉業,此外老股東聯想創投、中科創星持續跟投。
生于巨頭壟斷之地
銳思智芯挑的這塊地,既是蘊藏潛在萬億市場的寶庫,也是各大國際汽車廠商、手機廠商角逐的地盤,這江湖,波譎云詭,也著實險惡。
長期以來,CMOS市場被索尼、三星等日韓廠商主導。IHS Market數據顯示,目前全球CMOS圖像傳感器市場,索尼的市場份額為50.1%,三星為20.5%,兩個頭部廠商就占據了超過70%的市場份額。兩大巨頭在傳感器領域建立起銅墻鐵壁,割據一方。
同時,三星和索尼通過兼并、收購等方式積極整合新的傳感技術,迅速進入新的傳感器領域。
"這幾年他們把可以收購的技術、公司都進行了收購。"鄧堅說。
技術的稀缺性、技術高門檻,讓愿意深耕且能作出成績的企業寥寥。
年輕的銳思智芯如何抗衡?
技術是銳思智芯的決戰武器之一。
據悉,其目前已經申請超10項核心專利(歐盟及PCT專利),將從底層原理、數據格式等方面全方位保護公司的核心技術。
"在視覺傳感器AI芯片領域,我們應該是中國唯一一家擁有完整核心技術獨立自主專利的公司。"
銳思智芯雖然不足兩歲,團隊成員的資歷卻并不"年輕",實力強勁:
既有劍橋、瑞士蘇黎世聯邦高等理工學院、曼切斯特大學等知名院校的科研派,又有CSEM、NXP、ARM、安森美、飛思卡爾、Magic Leap、Intel等世界知名企業的技術派、經驗派。
要知道,國際上該技術研究機構主要有瑞士聯邦理工大學(ETH)、麻省理工大學(MIT)等,而銳思的技術源頭就在瑞士,此前在此領域積累頗深。
"傳感器芯片的設計鏈長,注重時間積累,事件相機上,團隊至少有7年以上的經驗。"
而三星和索尼等以收購為核心戰略,一部分原因也因此前積累較少。
再者,與競品相比,銳思智芯技術特點獨特。
鄧堅表示,"Hybrid Vision"技術使其芯片ALPIX可同時輸出事件流信號及傳統圖像信號,更適合各種類型場景的視覺感知需求。并且用戶開發難度降低,整個視覺系統的成本也有所下降。目前這是競品還不具備的特點。
第三,市場夠大。機器視覺領域之廣,涉及消費電子、監控、自動駕駛、工業應用等等領域。
據Yole Development報告顯示,2019年全球CIS市場規模約193億美元,預計2021年達230億美元。
但是如此廣闊的市場,卻沒有真正的從信息采集端的智能化的解決方案,仿生視覺傳感器芯片作為變革性技術,未來市場潛力不俗。
市場足夠大,容納得下足夠多的玩家,這是三星、索尼們的機會,也是銳思智芯們的機會。
據悉,目前銳思已經有2顆芯片,目前正在迭代優化,即將進入量產階段。
芯片缺貨至此,作為一個創業公司為何能拿到產能?
鄧堅解釋,傳感器產能的確非常有限,但這又是一個非常被看好的市場,各大代工廠愿意開放一部分產能給其看好的擁有新型傳感器技術的初創公司。
促未來之事
機器視覺已無處不在。據統計,全世界80%的數據都是視頻圖像等非結構化數據,其體量將持續擴大。專家預測,全球機器視覺技術市場規模將于2023年增至248億美元。
"產品不是設計出來的,產品是用出來。"鄧堅強調,一個新的技術沒辦法去改變生活,只有新的產品才會改變生活。
在巨頭布陣的市場中求生存,銳思對前輩保持尊敬同時,也不放棄自身的信仰,他們以夯實技術為基,在實踐的應用中不斷反饋、優化,努力把技術變成一個優秀的產品,一個能改變生活的產品。
未來,機器人、智能手機、無人駕駛、無人機、安防等領域,潛在市場規模在萬億級。
這個浩瀚的市場,未來的機器感知時代,需要更多的銳思智芯。