引述外媒報道,先進的AI和機器學習算法可以生成逼真的位置和物體圖像,但它們也擅長將人與人之間的面孔互換,并發現復雜的深造假品。在微軟研究院和北京大學的團隊發表的兩篇學術論文中,研究人員提出了FaceShifter和Face X-Ray,這是一種用于高保真度和遮擋意識的面部交換框架,以及一種用于檢測偽造面部圖像的表示形式。他們說,在不犧牲性能的前提下,兩者均與多個基準相比均達到了行業領先的結果,并且與以前的方法相比,它們所需的數據要少得多。
FaceShifter解決了將目標圖像中的一個人替換為源圖像中的另一個人的問題,同時保留了頭部姿勢,面部表情,光線,顏色,強度,背景和其他屬性。像Reflect和FaceSwap這樣的應用程序聲稱可以相當準確地完成此操作,但是Microsoft論文的合著者斷言,它們對姿勢和透視圖變化敏感。
FaceShifter通過生成對抗網絡(GAN)來增強人臉交換的保真度-一種由生成器組成的AI模型,該生成器試圖欺騙鑒別器以將合成樣本歸類為真實樣本,稱為自適應嵌入集成網絡(AEI-Net),該引擎提取屬性在各種空間分辨率下。新穎的是,該生成器結合了研究人員所謂的注意力非正規化(AAD)層,可自適應地學習在哪里整合面部屬性,而單獨的模型(啟發式錯誤確認細化網絡(HEAR-Net))則利用了重建圖像及其輸入之間的差異。
該團隊表示,在一項定性測試中,FaceShifter保留了臉部形狀并忠實地尊重了目標的照明和圖像分辨率。此外,即使在從互聯網上刮掉的“狂野面孔”上,該框架也學會了在不依賴于人類注釋數據的情況下恢復異常區域(包括眼鏡,陰影和反射效果以及其他不常見的遮擋)。
“所提出的框架顯示出在給定任何面部對的情況下生成逼真的面部圖像的卓越性能,而無需經過特定學科的培訓。大量的實驗表明,所提出的框架明顯優于以前的人臉交換方法。”研究小組寫道。
與FaceShifter相比,Face X-Ray嘗試檢測爆頭何時可能是偽造的。正如相應論文中的研究人員所指出的那樣,確實需要諸如此類的工具-偽造的圖像可能出于惡意目的而被濫用。2019年6月,一份報告顯示,一名間諜使用AI生成的個人資料照片來欺騙LinkedIn中的聯系人。就在去年12月,Facebook發現了數百個帳戶,其中包含使用AI合成的假臉的個人資料照片。
與現有工作不同,FaceShifter不需要掌握操作方法或人工監督。相反,它生成灰度圖像,揭示給定的輸入圖像是否可以分解為來自不同來源的兩個圖像的混合。該團隊聲稱這是可行的,因為大多數臉部操作方法在將更改過的臉部融合到現有背景圖像中共享一個共同的步驟。每個圖像都有從硬件(如傳感器和鏡頭)或軟件組件(如壓縮和合成算法)中引入的自己獨特的標記,并且這些標記在整個圖像中趨向于類似呈現。
因此,人臉X射線不需要依賴與特定人臉操作技術相關的偽像的知識,并且可以在不使用任何方法生成偽圖像的情況下訓練構成其基礎的算法。
在一系列實驗中,研究人員在FaceForensics ++上對Face X-Ray進行了訓練,FaceForensics ++是一種大型視頻語料庫,其中包含使用四種最新的面部操作方法進行操作的1,000多個原始剪輯,以及包含從真實圖像構建的混合圖像。他們評估了Face X-Ray歸納四個數據集的能力,其中包括上述FaceForensics ++語料庫的一個子集。Google發行了成千上萬的可視化Deepfake視頻,以促進Deepfake檢測方法的發展;來自Deepfake檢測挑戰的圖像; 以及Celeb-DF,這是一個包含408個真實視頻和795個具有減少的視覺假象的合成視頻的語料庫。
結果表明,Face X-Ray能夠區分以前看不見的偽造圖像并可靠地預測混合區域。研究小組指出,他們的方法依賴于混合步驟的存在,因此可能不適用于完全合成的圖像,并且可能會被對抗性樣本擊敗。除此之外,他們說這是邁向普通人臉偽造檢測器的有希望的一步。
二維碼