生成式人工智能(AIGC)在文本和圖片生成方面已經(jīng)取得了顯著進(jìn)展。幾個(gè)月來，Dall-E、ChatGPT以及Stable Diffusion等服務(wù)創(chuàng)作了各種各樣的文字和圖片內(nèi)容?，F(xiàn)在，初創(chuàng)公司Runway AI正進(jìn)入AIGC的下一個(gè)前沿領(lǐng)域——AI生成視頻。

當(dāng)?shù)貢r(shí)間周一，總部位于紐約的Runway宣布推出名為Gen 2的系統(tǒng)，該系統(tǒng)可以根據(jù)少量用戶提示生成簡短視頻。用戶可以輸入他們想要看到的視頻描述，例如“一只貓行走在雨中”，Runway的系統(tǒng)將據(jù)此生成大約3秒鐘的視頻片段。此外，用戶也可以上傳圖片作為系統(tǒng)參考或提示。

Runway是專注于制作AI電影和剪輯工具的公司，該公司宣布，現(xiàn)在并非所有人都能體驗(yàn)Gen 2，但用戶可以提交申請。人們可以在Discord頻道上注冊并等待，該公司計(jì)劃每周都增加更多測試用戶。

不過，這次有限的發(fā)布代表了實(shí)驗(yàn)室外文本轉(zhuǎn)視頻生成的最成功案例。谷歌和Meta去年都展示了他們自己的文本轉(zhuǎn)視頻努力，利用AI生成了泰迪熊洗碗和在湖上泛舟等視頻，但這兩家公司都沒有宣布將相關(guān)技術(shù)推進(jìn)到研究階段以外的計(jì)劃。

自2018年以來，Runway始終致力于研發(fā)AI工具，并于去年年底籌集了5000萬美元資金。這家初創(chuàng)公司幫助創(chuàng)建了原始版本的Stable Diffusion，這是一種文本轉(zhuǎn)圖像AI模型，自推出以后大受歡迎，并由Stability AI公司進(jìn)一步開發(fā)。

Runway聯(lián)合創(chuàng)始人兼首席執(zhí)行官克里斯·瓦倫蘇拉(Cris Valenzuela)上周對Gen 2進(jìn)行了現(xiàn)場演示，比如生成“無人機(jī)拍攝的沙漠景觀”。在幾分鐘內(nèi)，Gen 2生成了只有幾秒鐘長的視頻，盡管畫面顯得有點(diǎn)扭曲，但不可否認(rèn)的是，視頻非常像是無人機(jī)在沙漠上拍攝的片段。地平線上可以看到藍(lán)天和白云，視頻畫面右下角的太陽剛剛升起(也可能是落下)，其光線突出了下面的棕色沙丘。

Gen 2還根據(jù)提示生成了其他幾個(gè)視頻：一段眼球的特寫視頻看起來很清晰，非常像人類眼睛;但一段徒步旅行者穿過叢林的視頻顯示，它在生成逼真的腿部和行走動作方面可能仍然存在問題。瓦倫蘇拉說，這個(gè)模型還沒有完全“弄清楚”如何準(zhǔn)確地描述物體的運(yùn)動。

雖然更長的提示可能會幫助生成更詳細(xì)的圖像，比如Dall-E或Stable Diffusion，但瓦倫蘇拉說，Gen 2越簡單越好。他認(rèn)為Gen 2為藝術(shù)家、設(shè)計(jì)師和電影制作人提供了新的工具，可以幫助他們完成創(chuàng)作過程，并讓這些工具的價(jià)格比過去更實(shí)惠，也更容易獲得。

Gen 2建立在Runway現(xiàn)有的、名為Gen 1的AI模型基礎(chǔ)之上，Runway于2月份開始在Discord上測試該模型。瓦倫蘇拉表示，Gen 1目前擁有數(shù)千名用戶。這種AI模型要求用戶上傳一段視頻作為輸入源，然后利用這段視頻(以及文本提示或圖片)來生成新的、無聲的3秒視頻。例如，你可以上傳一張貓追逐玩具的照片，并附上文字“可愛的鉤編風(fēng)格”，Gen 1就會生成一段鉤編貓追逐玩具的視頻。

用Gen 2 AI模型生成的視頻也是無聲的，但瓦倫蘇拉稱，該公司正在研究音頻生成技術(shù)，希望最終能創(chuàng)造出一種既能產(chǎn)生圖像又能產(chǎn)生聲音的系統(tǒng)。

Gen 2的首次亮相表明，初創(chuàng)公司在AIGC領(lǐng)域取得的進(jìn)展非?？?。AIGC可以吸收用戶輸入并生成文本或圖像等新內(nèi)容，其中Stable Diffusion、Open的圖像生成模型Dall-E和聊天機(jī)器人ChatGPT等系統(tǒng)，近幾個(gè)月來已經(jīng)公開發(fā)布并受到歡迎。

但與此同時(shí)，它們的擴(kuò)散也引發(fā)了法律和倫理方面的擔(dān)憂。數(shù)字取證專家、加州大學(xué)伯克利分校教授哈尼·法里德(Hany Farid)看了幾段由Gen 2生成的視頻，稱它們看起來“非常酷”，但他補(bǔ)充說，用這種技術(shù)制作的視頻遲早將被濫用。他斷言：“有些人會試圖用這種技術(shù)做壞事。”

Runway正在使用AI和人類控制相結(jié)合的方式來防止用戶使用Gen 2生成包含色情、暴力內(nèi)容或侵犯版權(quán)的視頻，但這種方法并非總是有效。

與AI行業(yè)的其他領(lǐng)域一樣，文本轉(zhuǎn)視頻技術(shù)正在快速發(fā)展。雖然Gen 2目前的圖像質(zhì)量看起來有點(diǎn)模糊、不太穩(wěn)定，很容易讓人發(fā)現(xiàn)破綻，但瓦倫蘇拉預(yù)計(jì)它會很快改善。他說：“這套系統(tǒng)還處于早期階段。隨著時(shí)間的推移，它會變得越來越好。”