導讀乾明安妮發自凹非寺量子位出品|公眾號QbitAI城里新來了個AI修圖師，可以說有求必應。拍了一張美美的照片，但是我還不滿意。想瘦臉，想按照我想要的弧線瘦臉；....

乾明 安妮 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

城里新來了個AI修圖師，可以說有求必應。

拍了一張美美的照片，但是我還不滿意。想瘦臉，想按照我想要的弧線瘦臉；還想讓眉毛俏皮上挑、鼻子也挺一點。

AI修圖師，行不行？

行。

簡單。把不滿意的地方涂掉，接著想怎么改，就怎么簡單勾勒一下線條。

然后，點一下按鈕。效果你看看，行不行？

求大神幫忙：幫我P成咧嘴微笑，以及眼珠換個顏色。

行。

世間P圖的要求不過爾爾，對于這個AI修圖師來說，簡直信手拈來。只要你提好需求，然后一鍵就能完美實現。

來個實戰演示，譬如給美女加個劉海、畫個眼影。也是輕輕松松快速完成。

給小伙去掉墨鏡、露出眼睛。沒問題，分分鐘搞定。

真的，這都不算難事兒。

加首飾、換發型、補全臉

其實，過去我們也介紹過一些類似的神經網絡P圖大師。

不過這次的AI修圖師，還有一些新本領。

例如，對于色彩的掌握。

可以根據要求，改變眼球的顏色，輕松告別美瞳或者紅眼。

還能改變發型。

甚至，給光頭P上秀發，而且頭發可以是不同顏色的混搭，直接生成一種挑染的風范~

不僅如此，這個AI還能按照需求，定制生成搭配的首飾。

耳墜啊什么的，全都不在話下。

當然，以上種種還都是小兒科。

這個AI能腦補的范圍可不只是一點點，而是一大片。

即便你給它這樣一張圖片。

只要給出要求。

AI修圖師也能很好的重建出來。

左邊是腦補的結果，右邊是真實的照片，對比一下，你會點贊的……

再展示一組。

甚至，只給一個帶顏色的簡筆畫，AI修圖師也能生成接近原照片的結果。

你看：

這是怎么做到的？

原理解讀

其實這個最新出現的AI修圖大師，來自韓國電子通信研究院（ETRI）。背后是一個名叫SC-FEGAN的模型，可以分為生成器、鑒別器兩大部分。

輸入一張不完整的圖片，加上蒙版、線稿或者顏色信息，生成器就能推斷出編輯后的照片。然后，鑒別器來判斷這張照片是不是P得天衣無縫。

生成器基于英偉達推出的圖像修復模型U-net，一共有16個卷積層，所有卷積層都使用3x3大小的門控卷積（gated convolution）。

除了輸入和輸出之外，所有卷積層之后都應用英偉達在2017年提出的局部響應歸一化（LRN）。

生成器中還引入了各種損失訓練，包括每像素損失、感知損失、風格損失、總方差損失以及通用的GAN損失函數。

鑒別器，使用的是伊利諾伊大學厄巴納-香檳分校（UIUC）和Adobe研究團隊在2018年提出SN-PatchGAN中的架構。

使用了3x3大小的卷積核并應用了梯度懲罰損失項，并沒有將ReLu函數應用到GAN損失之中。

數據集

在這項研究中，訓練使用的是香港中文大學湯曉鷗組收集的人臉數據集CelebA-HQ數據集。

在其中隨機選擇兩組共29000張圖像用于訓練，1000張圖像用于測試。

將圖像統一調整為了512x512像素之后，通過自由蒙版和加州大學聯合Adobe推出的面部圖像生成算法GFC創建對應的草圖和顏色數據。

創建顏色數據時，使用直方圖均衡化來避免光反射和陰影造成的顏色污染。

然后，使用加州大學HED邊沿檢測器，來生成與用戶輸入相對應的草圖數據，修改面部圖像，然后平滑曲線，并擦除修改圖像產生的細小邊緣。

效果怎么樣？

研究中，與伊利諾伊大學厄巴納-香檳分校和Adobe研究團隊的網絡Deepfillv1進行了對比。

在對人物面部進行了大面積胡抹亂畫之后，Deepfillv1雖然對整體進行了復原，但是各種涂抹痕跡，以及細節處理，都遠遠不及新提出的SC-FEGAN。

此外，與其他的研究相比，SC-FEGAN對數據的依賴并沒有那么高。

哪怕是是輸入一幅完全涂抹掉的圖像，也能生成一些頭發絲出來。

傳送門

這篇論文，來自韓國電子通信研究院，作者是Youngjoo Jo和Jongyoul Park。

這項研究的模型代碼，已經在GitHub上開源了，并且提供了帶有圖形界面的Demo，但需要下載安裝。

如果你對這項研究感興趣，請收好傳送門：

SC-FEGAN: Face Editing Generative Adversarial Network with User’s Sketch and Color

https://arxiv.org/pdf/1902.06838.pdf

GitHub項目地址：

https://github.com/JoYoungjoo/SC-FEGAN

— 完 —

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

?? ? 追蹤AI技術和產品新動態