天天新資訊:去除馬賽克(反馬賽克技術分析)

2023-05-11 15:43:29

來源:互聯網

去除馬賽克(真的可以一鍵去除馬賽克嗎?)

說白了,AI就是用機器代替人力的技術。離我們最近,最常用的軟件應該是美圖。眾所周知,在美顏相機、美圖秀秀等軟件誕生之前,照片的美化需要專業美工通過PS進行調整?,F在和以往不同的是,很多美圖app都加入了“一鍵AI修圖”功能,免去了傳統ps修圖復雜的操作流程。

5G時代的到來,推動了AI技術的進一步發展。近年來, *** 上出現了“AI變臉”的技術,讓人目瞪口呆。AI可以直接捕捉一個人的面部動作,然后轉換成另一個人的臉。這樣,即使在直播中,也能達到Youyou.com視頻中的假的地步..


(相關資料圖)

這還不是最厲害的。近日,有網友利用AI技術開發了一款“一鍵去除馬賽克”軟件。發布后沒多久,這款軟件就在網上迅速走紅。這么神奇的技術,到底是怎么實現的?

反馬賽克技術分析

在普及這項技術之前,我們首先要了解馬賽克的概念。早期的馬賽克是指古希臘的拼貼鑲嵌工藝,現在是指惡化圖像特定區域的色階細節,導致色塊被打亂,使人看不清具體畫面的效果。

馬賽克就像一把雙刃劍。對于那些需要馬賽克的影片,既能保護個人隱私,又能通過模糊或遮擋敏感信息的方式,去除暴力、恐怖等一些讓人不舒服的畫面。對于觀眾來說,可能就沒那么友好了。這就像手機上的劉海平。有些內容被覆蓋真的很難受。

目前比較流行的反馬賽克軟件有兩個,分別是JavPlayer和PULSE。

JavPlayer利用深度學習優優學習到的視頻超可變性算法對視頻中的每一幀進行采樣,然后通過AI算法還原馬賽克的像素。有些朋友可能會表示懷疑。還原出來的圖像會不會是假的?

回答:不會,因為這個軟件是通過CPU和GPU的大量AI運算來還原圖像,對馬賽克模糊進行銳化,然后進行插值來補償丟失的源圖像。但是需要注意的是,JavPlayer只能修復細碼視頻,也就是說馬賽克網格比較大,丟失的像素比較少,這樣插值補償的圖像誤差會小。

杜克大學的去馬賽克方法不同。他們開發了一種叫做脈沖的算法。雖然它也使用了視頻超分辨率算法,可以把低分辨率的圖像變成高清的,但是它不是像素,而是填充一個大的高清圖像,然后降低圖像的分辨率,和原圖進行比較,找出匹配度更高的圖像。

脈沖算法可以在短短幾秒內將一張1616像素的低分辨率圖像提升到10241024級別,效果確實不錯。但是,恢復的圖像與原始圖像之間存在較大的誤差。例如,下圖中的馬賽克奧巴馬在使用脈沖算法后變成了一個白人。

簡單來說,PULSE算法就是通過AI算法合成一張與原圖匹配度更高的照片,而不是對原圖進行修復和還原,這一點與JavPlayer有很大區別。

反馬賽克技術的多領域應用

當然,反馬賽克技術不僅僅局限于恢復圖片或視頻,在其他領域也有廣泛的應用。

在光線跟蹤技術中,為了提高高質量圖像的輸出速度,還需要對圖像進行去噪處理。英偉達在這方面做得很好。此前,Nvidia與麻省理工學院和阿爾托大學的AI研究人員一起創建了一個名為Noise2Noise的項目。

該項目團隊從mageNet數據庫中獲得了50萬張圖像,并對其進行了噪聲增強處理。然后,將這些圖像用于降噪,訓練AI的降噪能力。

Noise2Noise非常適用于醫學領域,比如掃描核磁共振圖像??梢杂脕斫档蛨D像的噪聲,方便醫生看到更清晰的圖像。

此外,英偉達的DLSS 2.0技術類似于Noise2Noise,可以使用AI修復圖像。借助DLSS 2.0技術,該顯卡可以將1080P畫面模擬到4K顯示器上。

除了Nvidia,Adobe在反馬賽克技術上也有很多研究。

去年6月,Adobe正式公布了PS逆向還原技術。利用AI算法和機器學習,可以判斷圖像是否被修改過。在確認圖像變化后,這項技術會將圖像恢復到原來的樣子。也就是說,即使圖像被拼接,也是可以恢復的。

實際上,去馬賽克是一種圖像增強技術。這就好比vivo X50系列配備的超清修復功能,可以修復舊照片,同時實現vivo相冊中的文檔擦除、照片去路人等功能。

摘要

目前市面上還沒有一種技術可以完全有效的去除馬賽克?,F階段所有技術都是通過AI在數據庫中模擬比較相似的圖像。雖然有些技術是基于原始圖像進行恢復,但本質上并不是原始圖像。AI能做的就是無限接近,還原的圖像不能等同于原圖像。

一般來說,對于馬賽克圖像,你可以理解為刪除圖像的子像素。一旦丟失了一個子像素,即使是AI也無法計算出它的原始狀態。因此,沒有任何工具可以實現真正的去馬賽克。

但是,除了網友開發的反馬賽克工具,其實很少有科技公司關心AI技術是否真的可以解碼。他們的最終目的是讓低分辨率的圖像變得高清,反馬賽克只是順便完成的任務。

關鍵詞: 若其網