能無痕 ps，能將文字轉(zhuǎn)為圖像，新一代的 DALL·E 2 有著什么樣的魔力？

去年 1 月，OpenAI 推出了一個名為 DALL·E 的 GPT-3 最強應用。一年后，二代的 DALL·E 2 也驚艷亮相。DALL·E 2 可以將文字轉(zhuǎn)換生成更真實、更準確的圖像，相比上一代產(chǎn)品，其分辨率提高了 4 倍，最為關(guān)鍵的是 DALL·E-2 還進化出了一項新技能——可以根據(jù)文字描述將圖像自動 PS，而這種 PS 修改目前還很難被察覺，足夠“以假亂真”。

原圖

PS 后

比如上圖中的「狗狗」就是由 DALL·E 2 后加上去的，兩幅圖對比下，幾乎看不出什么破綻。

可以說 DALL·E 2 帶給業(yè)界的震撼在于這是一款有著獨立創(chuàng)造力的跨模態(tài)生成模型。之前不管是可以一鍵切換為卡通風格的 CycleGAN，還是以自動修復圖像的 Partialconv，其中運用的 AI 技術(shù)只能在圖像或者文字的單一模式下進行生成和模仿，而時下將文字轉(zhuǎn)換成圖像、甚至根據(jù)文字對于圖像進行修改，這種“腦補”的能力也是一次創(chuàng)新性突破。

從 DALL·E-2 展示出的效果來看，其聯(lián)想能力已經(jīng)接近人類六歲的兒童，其藝術(shù)加工尤其是 PS 能力也已經(jīng)達到了人類設(shè)計師的巔峰水平，按照 OpenAI 以往的調(diào)性，他們往往是三代產(chǎn)品最強，在未來繼續(xù)擴大參數(shù)規(guī)模的情況下，DALL·E 2 還預示著DALL·E 3 將會有無限可能，這也不禁讓我們想進一步了解人工智能的邊界到底在哪。
DALL·E 2 的前世今生

DALL-E 是藝術(shù)家“Dalí”和機器人“WALL-E”的結(jié)合詞。雖然在 DALL·E 2 的論文中，OpenAI 的科學家們并沒有給出這個模型的具體規(guī)模與訓練所需要的算力，不過考慮到第一代 DALL·E 就已經(jīng)是基于 GPT-3 這種超大規(guī)模模型的項目了，那么我們有理由相信 DALL·E 2 的參數(shù)模型應該是 3000 億起步。

截至目前，OpenAI 團隊也尚未在公共 API 列表中提供 DALL·E 2 的相關(guān)功能或者預覽。據(jù)悉，OpenAI 的人員可能擔心 DALL·E 2 的超強功能被用到一些如換臉、圖像偽造等會對社會造成負面影響的方面，因此也正在設(shè)計限制 DALL·E 被用于負面圖像生成的方案，預計完成之后就會對外公開了。

與此同時，從另一個角度來看，這也推進了 AI 與云計算的結(jié)合，因為只有將 AI 云化才能讓普通玩家用得到 DALL·E 2，否則中小型公司憑借自己的力量，很難訓練出這種超大規(guī)模的模型。

DALL·E 2繼承了第一代產(chǎn)品將文本轉(zhuǎn)化為圖像的能力，并且提供了更高的分辨率和更低的延遲，還可以根據(jù)用戶的描述對于現(xiàn)有的圖像進行 PS，用戶可以從現(xiàn)有的圖片開始，選擇一個區(qū)域，并告訴模型編輯它。例如，你可以在客廳的墻上畫一幅畫，然后用另一幅畫代替它，或者在咖啡桌上放一瓶花。該模型可以填充（或刪除）對象，同時在 PS 過程中，DALL·E 2 還會考慮房間中陰影的方向等細節(jié)。

正如上文所說第一代的 DALL-E 是基于 GPT-3 模型的，它可以將圖像壓縮成文字，但圖像與文字的匹配往往會限制圖像的真實度。DALL·E 2 則引入了 CLIP/unCLIP 的機制，CLIP 類似于編碼器，它的工作原理是像人類一樣，查看圖像并總結(jié)圖像的內(nèi)容，而 unCLIP 則是 CLIP 的反向操作，是從文字描述生成圖像的過程。CLIP/unCLIP 的機制在一定程度上解決了 CLIP 一個非常有趣的弱點：人們可以通過給一個物體貼上一個標簽（比如 iPod)，這種方式往往會達到欺騙模型的目的。DALL·E 2 對于這種貼著標簽的蘋果有著比較好的識別能力，比如下列圖片基本都能被 DALL·E 2 正確處理。

DALL·E 2 的基本原理與背后趨勢

正如前文所說，DALL·E 2 是基于 CLIP/unCLIP 機制的，首先為了獲得完整的圖像生成模型，將 CLIP 圖像嵌入解碼器與一個先驗模型，它從給定的文本標題生成可能的 CLIP 圖像嵌入。而將完整文本條件圖像生成堆棧則稱為 unCLIP，因為它通過顛倒 CLIP 圖像編碼器生成圖像。訓練數(shù)據(jù)集由成對（x, y）的圖像 x 和它們對應的標題 y 組成。設(shè) zi 和 zt 分別為其 CLIP 圖像和文本嵌入，其基本的架構(gòu)如下：
筆者認為 DALL·E 2 快速發(fā)展的背后，其實是人工智能由感知智能到認知智能的全面升級，而這其中的創(chuàng)造性是 AI 今后發(fā)展的最大助力，比如金融行業(yè)的呼叫中心需要分析客戶的語氣，以快速處理投訴類案例；出行類 APP 遇到客戶說出某些關(guān)鍵詞時，則需要立刻與 110 聯(lián)動報警。這些應用場景其實都需要 AI 模型放棄原先死板僵硬的計算，而發(fā)展出某種活性。而一旦 AI 擁有創(chuàng)意，那么就可以和二次元特性進行結(jié)合，尤其是 90、00 后的年輕人們，在對話當中經(jīng)常使用表情圖、動態(tài)圖等方式來表達情感，而將這些非語言信息的語義提取并翻譯出來，就需要一定的創(chuàng)意了。

而再進一步，AI 未來很可能會達到比你自己更懂你的程度。比如前段時間筆者經(jīng)常熬夜加班，結(jié)果打開淘寶會發(fā)現(xiàn)總給我推薦防脫洗發(fā)水，當然目前已經(jīng)推薦枸杞了。

不過這其實也說明認知智能的終極發(fā)展就是讓用戶在使用過程中對于“人工智能”不斷淡化，甚至無感化?，F(xiàn)在用戶使用人工智能時還會明顯感受到它的存在，比如你打開電視還需要說“我要看XXX的電視劇”，還要對手機說“給XXX打電話”而真正實現(xiàn)認知智能之后，將會讓你覺得你的這些交互行為變?yōu)槎嘤?，比如你回到家，人工智能系統(tǒng)會根據(jù)你的步態(tài)，推薦一個適合你當下身體狀況的食譜，等你吃完飯下樓去超市的時候，你的手機會建議補充一些牛奶，因為你剛剛已經(jīng)把家里最一袋牛奶喝掉了。相信讀到這里讀者也就會明白，化有形于無形，就是用戶交互的最終奧義。

雖然短期來看，創(chuàng)造性 AI 還略顯遙不可及，但是 DALL·E 2 的出現(xiàn)，讓我們看到了希望，讓我們做好準備迎接新一代認知 AI 產(chǎn)品的到來。