

當(dāng)你試圖交流或理解某些想法時(shí),語言往往力有不逮。有時(shí)更高效的方式是繪制簡單的概念草圖——比如用電路圖來解析系統(tǒng)運(yùn)作原理。但若人工智能能協(xié)助我們探索這種可視化表達(dá)呢?當(dāng)前,多數(shù)AI系統(tǒng)雖擅長創(chuàng)作寫實(shí)油畫或卡通插畫,卻難以把握素描的精髓:那種逐筆勾勒、反復(fù)迭代的過程,正是人類借以頭腦風(fēng)暴并修正創(chuàng)意表達(dá)的關(guān)鍵。而接下來托普仕留學(xué)老師帶來了好消息,目前,MIT團(tuán)隊(duì)開發(fā)AI文生圖Agent,有助于更快理解,下面就詳細(xì)來看看吧!
近日,麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)與斯坦福大學(xué)聯(lián)合開發(fā)的新型繪圖系統(tǒng)“SketchAgent”改變了這一現(xiàn)狀。該系統(tǒng)采用多模態(tài)語言模型,可在數(shù)秒內(nèi)將自然語言指令轉(zhuǎn)化為草圖。無論是獨(dú)立創(chuàng)作還是人機(jī)協(xié)作,它都能完成繪制,既可以配合人類共同作畫,也能根據(jù)分段文字描述逐步構(gòu)建草圖。
該論文第一作者、CSAIL 博士后研究員 Yael Vinker 指出,這一系統(tǒng)開創(chuàng)了人機(jī)交互的更自然方式?!叭藗兺鶝]有意識到自己日常繪制了多少草圖。人類會(huì)用速寫來梳理思路或研討創(chuàng)意,我們的工具旨在模擬這一過程,讓多模態(tài)語言模型能更有效地輔助人類實(shí)現(xiàn)視覺化表達(dá)。”
雖然像DALL-E 3 這樣的文本轉(zhuǎn)圖像模型可以創(chuàng)作出引人入勝的繪畫,但它們?nèi)鄙偎孛璧囊粋€(gè)關(guān)鍵要素:自發(fā)的、富有創(chuàng)意的過程,在這個(gè)過程中,每一筆都可能影響整體設(shè)計(jì)。SketchAgent 的繪畫則被建模為一系列筆觸,看起來更自然流暢,就像人類的素描一樣。
先前的研究依賴人類繪制數(shù)據(jù)集進(jìn)行模型訓(xùn)練,其規(guī)模與多樣性往往受限。SketchAgent 則另辟蹊徑,直接調(diào)用預(yù)訓(xùn)練語言模型——這些模型雖掌握海量概念,卻不懂如何素描。當(dāng)研究者教會(huì)語言模型這種筆觸序列創(chuàng)作法后,SketchAgent 開始繪制它從未明確訓(xùn)練過的各種概念。
SketchAgent 通過獨(dú)創(chuàng)的“素描語言”教會(huì) AI 模型逐筆作畫——無需依賴訓(xùn)練數(shù)據(jù),而是將草圖轉(zhuǎn)化為網(wǎng)格上帶編號的筆觸序列。研究人員以房屋為例演示繪制過程:每道筆觸都標(biāo)注對應(yīng)元素,使模型能夠舉一反三理解新概念。
作為一種凍結(jié)參數(shù)的多模態(tài)大語言模型,SketchAgent 接收三類輸入:包含素描語言規(guī)范的系統(tǒng)提示;帶有具體任務(wù)指令的用戶提示(如“畫一條鯊魚”);空白繪圖畫布。根據(jù)任務(wù)要求,該系統(tǒng)會(huì)生成代表筆觸序列的文本響應(yīng)。這些筆觸數(shù)據(jù)經(jīng)處理轉(zhuǎn)化為矢量圖形后呈現(xiàn)在畫布上。畫布可被循環(huán)利用于兩種場景:配合更新后的提示重新輸入模型,用于執(zhí)行新增任務(wù)或修改草圖;供人類用戶調(diào)取以實(shí)現(xiàn)協(xié)作繪圖。
Vinker 團(tuán)隊(duì)也驗(yàn)證了 SketchAgent 究竟是與人類協(xié)同創(chuàng)作,還是在獨(dú)立創(chuàng)作。他們在協(xié)作模式下測試了該系統(tǒng):人類與 AI 需合力完成特定概念的繪制。移除 AI 貢獻(xiàn)的筆觸后,團(tuán)隊(duì)發(fā)現(xiàn)這些筆觸對最終成圖至關(guān)重要。例如刪除代表桅桿的人工筆觸后,整幅帆船草圖便難以辨認(rèn)。
也就是說,通過研究人員設(shè)計(jì)的基于 Web 的協(xié)作式草圖繪制環(huán)境,用戶可以和 SketchAgent 輪流在共享畫布上繪制,根據(jù)給定的文本概念創(chuàng)作出可識別的草圖。參與者以兩種模式繪制概念:單人模式(各自獨(dú)立繪制)和協(xié)作模式(用戶和 SketchAgent 協(xié)作繪制,每次添加一筆,直到雙方都對最終效果滿意為止)。綠色表示用戶繪制的筆觸,粉色表示 SketchAgent 繪制的筆觸 。
用戶還可以通過聊天對話反復(fù)編輯他們的草圖。研究團(tuán)隊(duì)演示了該系統(tǒng)創(chuàng)作的各種概念草圖:機(jī)器人、蝴蝶、DNA雙螺旋、流程圖,甚至悉尼歌劇院等抽象圖案。未來,該工具或可發(fā)展為互動(dòng)藝術(shù)游戲,既能輔助教師和研究者圖解復(fù)雜概念,也能為用戶提供快速繪畫教學(xué)。
此外,用戶還可以使用 SketchAgent 將草圖變?yōu)閯?dòng)圖。
在另一個(gè)實(shí)驗(yàn)中,研究者為 SketchAgent 接入不同多模態(tài)語言模型進(jìn)行測評。結(jié)果發(fā)現(xiàn),Claude 3.5 Sonnet 生成的矢量圖形(可轉(zhuǎn)換為高清圖像的文本文件)最具人類特質(zhì),表現(xiàn)優(yōu)于 GPT-4o 和 Claude 3 Opus 等模型?!斑@一結(jié)果暗示該模型處理視覺信息的方式與眾不同?!焙现?Tamar Rott Shaham 指出。
她補(bǔ)充道,SketchAgent 可能成為超越文本交互的新型人機(jī)協(xié)作界面:“隨著模型理解草圖等多元模態(tài)的能力提升,用戶將獲得更直覺化、類人的表達(dá)方式,這能顯著豐富交互體驗(yàn),提升 AI 的易用性與適應(yīng)性。”
盡管SketchAgent 展現(xiàn)出巨大的潛力,目前仍無法完成專業(yè)素描。它能用簡筆畫呈現(xiàn)基礎(chǔ)概念,但對徽標(biāo)、句子、獨(dú)角獸等復(fù)雜生物及特定人物形象的繪制仍力不從心。協(xié)作過程中,模型偶現(xiàn)理解偏差——例如畫出雙頭兔。Vinker 解釋,這可能源于其“思維鏈”推理機(jī)制:當(dāng)模型將繪圖任務(wù)分解為多個(gè)步驟時(shí),可能誤解人類對哪部分草圖做出貢獻(xiàn)。研究者考慮通過擴(kuò)散模型合成數(shù)據(jù)來優(yōu)化這些繪圖技能。
此外,該系統(tǒng)常需多輪提示才能生成擬人涂鴉。未來團(tuán)隊(duì)計(jì)劃優(yōu)化交互界面,簡化與多模態(tài)語言模型的協(xié)作繪圖流程。但該工具已證明:通過人機(jī)逐步協(xié)作,AI 有望以人類思維方式繪制多元概念,最終實(shí)現(xiàn)更契合設(shè)計(jì)意圖的成果。
以上是關(guān)于MIT團(tuán)隊(duì)開發(fā)AI文生圖Agent的全部內(nèi)容,如果還想了解更多關(guān)于美國留學(xué)申請方面的相關(guān)知識的,歡迎隨時(shí)聯(lián)系Tops6868或在線咨詢,托普仕留學(xué)專注美國前30高校申請,多年名校申請經(jīng)驗(yàn)助力你的留學(xué)申請。