智東西

【資料圖】

編譯 | 陳佳慧

編輯 | 徐珊

智東西9月6日消息，據The Information報道，雖然Meta發(fā)布的大語言模型Llama和Llama 2得到了廣泛好評，但有知情人士透露，2月份發(fā)表Llama原始研究論文的14名作者中，有一半以上已經離開了Meta。

ChatGPT發(fā)布后，Meta的AI研究部門FAIR開發(fā)壓力增加。而開發(fā)運用于生成式AI的大語言模型需要專門的芯片來進行計算，知情人士稱，在Meta的Llama團隊進行研發(fā)的同時，還有另一個團隊也在研發(fā)一個新的用來與谷歌PaLM模型競爭的模型，兩個團隊需要爭奪Meta內部的計算資源。Meta出現(xiàn)大量人才流失的情況，或許是因為Meta在AI研究與布局上存在計算資源分配問題、團隊士氣問題、以及公司人員與AI研究方向安排問題，本文將對這三大問題進行分析。

2013年，Meta聘請了法國科學家Yann LeCun擔任AI研究總監(jiān)，同時設立了FAIR。此后，Meta的AI研究工作都以FAIR為中心。

FAIR除了在加州的門洛帕克和LeCun所在的紐約設立了主要實驗室，還在蒙特利爾、巴黎、倫敦和西雅圖設立了其它實驗室。其中，蒙特利爾是Meta的AI研究實驗室Fundamental AI Research的負責人Joelle Pineau的所在地。

FAIR開展的研究項目涉及到使用AI進行語言翻譯和改進核磁共振（MRI）掃描等場景。在ChatGPT發(fā)布之前，Meta一直致力于開發(fā)自己獨立的大語言模型。但是當OpenAI在2022年初發(fā)布了基于GPT-3.5模型的用戶友好型聊天機器人ChatGPT后，Meta的領導層要求將AI研究融入更多產品，F(xiàn)AIR的研發(fā)壓力不斷增加。

Meta的首席執(zhí)行官馬克·扎克伯格（Mark Zuckerberg）曾說過，Meta在生成式AI的研發(fā)上落后于OpenAI后，他計劃將生成式AI作為Meta的核心優(yōu)先事項。此外，Meta還試圖通過定期發(fā)布關于其AI發(fā)展的新動態(tài)，引起人們對其AI工作的興趣，推動其AI工作宣傳。

2022年5月，F(xiàn)AIR中一個駐扎在美國的團隊公開發(fā)布了OPT-175B模型。Meta聲稱，雖然編碼訓練期間使用的內容數量相同，但OPT-175B模型的能耗比OpenAI的GPT-3要低。有兩位知情人士說，在幾個月后，因為要與谷歌的PaLM模型競爭，開發(fā)OPT-175B模型的團隊開始開發(fā)第二個更大的模型。

與此同時，F(xiàn)AIR駐扎在巴黎的團隊正在開發(fā)一種被稱為Llama的獨立大語言模型。相比OPT，這個模型更小。一位知情人士說，這個團隊認為較小的模型在生成對用戶問題的響應方面會更加高效。

因此，兩個研發(fā)團隊都需要使用Meta內部的計算資源，一些研究人員覺得這就像是一場競爭。兩位知情人士透露，F(xiàn)AIR的一些領導就曾質疑為什么會有兩個團隊同時開展類似的項目，對有限的計算資源的爭奪加劇了團隊之間的緊張關系，特別是相較于北美的OPT團隊，巴黎的Llama團隊獲得的計算資源較少，因此Llama團隊感覺被忽視了。

Pineau說，Meta的計算資源如何分配是由來自不同業(yè)務部門的一組領導者根據每月情況決定的。這些決定取決于組織的優(yōu)先事項以及項目距離發(fā)布的時間。如果FAIR的成員對資源分配提出異議，那么分配情況的爭議就將升級匯報到Pineau那里。

Joelle Pineau（圖源：領英）

根據The Information報道，在采訪中，Pineau承認Llama和OPT團隊在計算資源分配的問題上存在“一些緊張關系”，雖然他們不能完全同意每個人想要的東西，但現(xiàn)在他們正試圖找到一種方法讓大家都覺得自己的聲音被聽到了。

據知情人士透露，2月份發(fā)表Llama原始研究論文的14名作者中，一半以上已經離開了Meta。其中Timothée Lacroix、Guillaume Lample和Marie-Anne Lachaux目前在法國AI初創(chuàng)公司Mistral AI工作，這家公司是Lacroix和Lample于6月共同創(chuàng)立的。還有Llama的作者之一、FAIR的研究主任Armand Joulin也于5月離開了Meta，加入了蘋果公司。

Pineau在接受The Information采訪時提到，留住和吸引優(yōu)秀人才可能是她花費最多時間的地方，因為沒有優(yōu)秀的研究人員就什么都做不了。

而這些研究人員的離開提醒人們，無論是大型還是小型科技公司，在開發(fā)生成式AI時都面臨著計算能力短缺的緊張局勢，大型科技公司擁有比大多數公司更多的計算資源，但即便是這些公司，它們能提供的資源也是有限的。同時，隨著AI行業(yè)的發(fā)展，眾多企業(yè)都想要把AI融入其產品和服務中，對AI人才的需求在激增，Meta的大量研究人員離職也凸顯出，大型科技公司在留住珍貴的AI研究人員方面也面臨著挑戰(zhàn)。

除了計算資源分配問題讓人頭疼，不斷有人員離開也給FAIR的各個研究團隊的士氣造成了影響。

2月，F(xiàn)AIR發(fā)布了開源模型Llama，并授權用于研究。有知道內情的人士說，在Llam發(fā)布時間的前一周，F(xiàn)AIR巴黎分部負責人Antoine Bordes離開了Meta，他離開的理由是他在巴黎工作就像在加利福尼亞州工作一樣，工作時間顛倒混亂，這讓他感到疲憊不堪。

Antoine Bordes（圖源：彭博社）

Bordes的離職進一步孤立了遠在巴黎的Llama團隊，使其與北美總部的領導層隔閡更深。Pineau在The Information的采訪中承認，Bordes的離職確實讓他帶領的Llama團隊人心惶惶、士氣低落。

不過Llama團隊并不是唯一出現(xiàn)士氣問題的團隊。幾個月來，OPT團隊也不斷有人員離職，團隊的人才一直在流失。FAIR根據OPT團隊成員在職場社交平臺領英（LinkedIn）的個人資料發(fā)現(xiàn)，在2022年5月發(fā)表的一篇關于OPT的論文中列出了19位作者，這19位作者已經有差不多一半不在Meta工作了。

從去年11月開始，扎克伯格在全公司范圍內進行裁員，F(xiàn)AIR也未能幸免。

兩位知情人士透露，今年2月，F(xiàn)AIR領導決定將互相競爭資源的大模型研發(fā)團隊的一些成員聚集起來，集中精力開發(fā)后來的Llama 2模型。并且，OPT團隊正在開發(fā)的更大模型被放棄了。Pineau說，OPT團隊的人員流失是做出這個決定的原因之一，所有團隊都希望在某個時候擴展規(guī)模，這時候就必須要選擇一個團隊或者讓幾個團隊的成員一起工作。

同樣是2月，Meta成立了一個新團隊，專注于為Meta的應用程序開發(fā)生成式AI。這個新團隊由蘋果公司前高管艾哈邁德·阿爾·達赫勒（Ahmad Al-Dahle）作為負責任，從FAIR吸納了大量人員，據Pineau說，其中包括開發(fā)Llama 2的團隊成員，這進一步削弱了FAIR的團隊力量。

Llama 2（圖源:AI BUSINESS）

自從2月Llama被推出，該模型持續(xù)贏得收獲好評。據The Information之前的報道，在Llama發(fā)布后的幾個月，有AI研究人員使用Llama開發(fā)出了其它開源的大語言模型，如Vina，其功能幾乎與其它公司自主開發(fā)的模型不相上下。發(fā)布開源AI模型將使Meta受益匪淺，如扎克伯格所說，隨著開發(fā)者不斷改進模型，Meta公司可以將這些改進融入其廣告和消費產品中。

Meta在7月發(fā)布了Llama 2，8月發(fā)布了Llama的代碼生成版本。最近，在公司的門洛帕克園區(qū)舉辦的生成式AI社交活動中，Meta向與會者贈送了駱駝毛絨玩具。

盡管Llama系列取得了成功，但由于Meta對其AI研究發(fā)展方向的想法正在發(fā)生變化，研究人員之間的緊張關系仍然存在。FAIR一直以來都有由研究人員領導的自下而上的文化，他們以推動AI領域的突破為核心使命。但隨著扎克伯格越來越傾向于將AI融入Meta的應用程序，F(xiàn)AIR的關注點也隨之縮小。他們取消了一些不以產品為導向的研究，比如蛋白質折疊。

同時，項目在專注以產品為導向開發(fā)生成式AI的團隊與FAIR之間來回轉移。Pineau說，因為生成式AI發(fā)展得太快，大家正在共同探索，F(xiàn)AIR應該負責哪個項目？生成式AI團隊應該負責哪個項目？最終，人們應該會看到兩個團隊都發(fā)布工作成果。

根據The Information報道，因為計算資源分配問題、團隊士氣問題、以及公司人員與AI研究方向安排問題，Llama的原始研發(fā)團隊中一半以上的研究人員已經離開了Meta。

失去了大量熟練的研究人員可能會對Meta造成影響，在生成式AI這個競爭激烈的領域中，Meta需要積極采取措施來留住人才，以此保證其生成式AI的發(fā)展戰(zhàn)略能夠順利實施。

未來，Meta會采取哪些措施減少人才流失，我們將持續(xù)關注。

來源：The Information

關鍵詞：