黑科技軟件:
CodeFormer瞬間將模糊人像高清化
最近,人工智能(AI)話題火熱,其實,AI 也分為不同類型,有 ChatGPT 這類通用智能,幾乎甚麼話題都能和你聊上兩句,也有專門針對特定領域的定向智能。CodeFormer 就屬於後者,它專精於人像修復,可以將人像圖片“無損”放大、模糊變清晰、修補破損等。
人像修復的應用場景十分廣泛,早期的智能手機或者數碼相機的攝像頭像素不高,人們留下的寶貴照片都是數碼格式,這些照片一放大便會變得模糊。遇到這種情況,若利用 CodeFormer 將照片進行轉換,便可獲得令人驚喜的效果。這項技術也可以用於視頻中,將低像素視頻中的人像轉為高清。
一般低像素照片轉高清是通過插值的方法,在放大的畫面中補上原本不存在的像素,並經過特定的算法對這些插入的數值進行優化,從而近似地將畫面轉成高清。 尋常算法不能分清哪些是人像,哪些是背景,有可能誤將人像和背景融合,令畫面看起來不自然。其根本原因是信息的缺失,畫面本身不包含高清的畫面信息,大多數插值算法只能近似地模擬可能的顏色,並不能識別畫面中的物體。
CodeFormer 使用高清人臉數據集 FFHQ(全稱Flickr-Faces-Hight-Quality)進行訓練,它在轉換圖片時,對畫面中的人像特別敏感,能對常見的人像特徵,如眼耳口鼻進行聯想插值,從而補上更貼近一般人印象中的內容,令畫面更逼真。近期 AI 根據文字生成圖片的話題也都火出圈,那些看起來不自然的生成圖,經過轉換後真實度獲到大幅提高。
如果圖片過於模糊,CodeFormer 則會根據自己的“想法”對畫面進行“腦補”,這或會導致轉換出來的人像雖然清晰,但和原始內容完全不同的情況。
CodeFormer 這項技術由南洋理工大學——商湯科技聯合研究中心 S-Lab 提出,基於深度學習(Deep Learning) 中的 Codebook Lookup Transformer 技術開發。
開發團隊將源碼開源放在 GitHub 上,使用方法也很簡單,有興趣的朋友可以登入https://github.com/sczhou/CodeFormer根據官方說明運行程式試玩(需要基本 Python 知識)。
鄭劍輝