你是否經(jīng)常因為文檔分類太復(fù)雜而苦惱，世界頂級理工院校麻省理工學(xué)院聯(lián)手IBM，解決了這個難題，他們認(rèn)為，這個方法只需要考慮一個人的歷史偏好，或一群人的偏好，就可以覆蓋數(shù)百萬的可能性。
即使是最好的文本解析推薦算法也會受到一定大小的數(shù)據(jù)集的阻礙。為了提供比大多數(shù)現(xiàn)有方法更快，更好的分類性能，MIT-IBM Watson AI 實(shí)驗室和 MIT 的 Geometric Data Processing Group 的團(tuán)隊設(shè)計了一種結(jié)合了嵌入式和最優(yōu)傳輸?shù)攘餍腥斯ぶ悄芄ぞ叩募夹g(shù)。
這項研究的主要作者、麻省理工學(xué)院的助理教授 Justin Solomon 在一份聲明中表示，互聯(lián)網(wǎng)上有大量文字，任何有助于貫穿這些材料的東西都是非常有用的。
為此， Justin Solomon 和他的同事使用算法將文本集合歸納成基于集合中常用單詞的主題。緊接著，它將每個文本分成 5 到 15 個最重要的主題，并通過排名顯示每個主題對整個文本的重要性。
另外，嵌入有助于使單詞之間的相似性顯而易見，而最佳傳輸則有助于計算在多個目的地之間移動對象(或數(shù)據(jù)點(diǎn))的最有效方式。同時，嵌入能夠讓“利用兩次最優(yōu)傳輸”成為可能：首先是比較集合中的主題，然后度量公共主題重疊的程度。
研究人員稱，這種方法在掃描大量書籍和文件時尤其有效。在 Gutenberg Project 數(shù)據(jù)集中的 1720 個標(biāo)題的評估工作中，該算法成功地在一秒鐘內(nèi)比較完所有標(biāo)題，比第二名快了近 800 倍。
此外，與其他方法相比，該算法在分類文檔方面做得更好。例如，按作者對古騰堡數(shù)據(jù)集中的書籍進(jìn)行分組;或是按部門對亞馬遜上的產(chǎn)品評論進(jìn)行分組。同時，該算法還提供了主題列表，能夠向用戶解釋推薦給定文檔的原因，便于用戶理解。
不過，研究人員并未滿足于現(xiàn)有的技術(shù)水平。他們還將繼續(xù)開發(fā)一種端到端的培訓(xùn)技術(shù)，這種技術(shù)可以聯(lián)合優(yōu)化嵌入、主題模型和最優(yōu)傳輸，而不是像當(dāng)前實(shí)現(xiàn)那樣單獨(dú)優(yōu)化。在應(yīng)用方面，他們還希望將他們的方法應(yīng)用于更大的數(shù)據(jù)集，并研究圖像或三維數(shù)據(jù)建模的應(yīng)用。
在論文總結(jié)工作報告中， Justin Solomon 表示，(我們的算法)捕捉差異的方式似乎與讓一個人比較兩個文檔的方式相同：先將每個文檔分解成容易理解的概念，然后比較概念······
對于更近一步的想法，Justin Solomon 說道：“讓單詞嵌入提供全局語義語言信息，主題模型提供特定于語料庫的主題和主題分布。從經(jīng)驗上看，這些因素結(jié)合在一起，可以在各種基于度量的任務(wù)中提供優(yōu)異的性能?！?/p>
相關(guān)推薦
最新資訊