機(jī)器之心報(bào)道

作者：澤南

(相關(guān)資料圖)

騰訊這個(gè)重量級(jí)玩家終于出手了。

上個(gè)星期，國(guó)內(nèi)首批大模型備案獲批，開(kāi)始面向全社會(huì)開(kāi)放服務(wù)，大模型正式進(jìn)入了規(guī)模應(yīng)用的新階段。在前期發(fā)布應(yīng)用的行列中，有些科技巨頭似乎還沒(méi)有出手。

很快到了 9 月 7 日，在 2023 騰訊全球數(shù)字生態(tài)大會(huì)上，騰訊正式揭開(kāi)了混元大模型的面紗，并通過(guò)騰訊云對(duì)外開(kāi)放。

作為一個(gè)超千億參數(shù)的大模型，混元使用的預(yù)訓(xùn)練語(yǔ)料超過(guò)兩萬(wàn)億 token，憑借多項(xiàng)獨(dú)有的技術(shù)能力獲得了強(qiáng)大的中文創(chuàng)作能力、復(fù)雜語(yǔ)境下的邏輯推理能力，以及可靠的任務(wù)執(zhí)行能力。

騰訊集團(tuán)副總裁蔣杰表示：「騰訊混元大模型是從第一個(gè) token 開(kāi)始從零訓(xùn)練的，我們掌握了從模型算法到機(jī)器學(xué)習(xí)框架，再到 AI 基礎(chǔ)設(shè)施的全鏈路自研技術(shù)。」

打開(kāi)大模型，全部都是生產(chǎn)力

騰訊一直表示在大模型的相關(guān)方向上早已有所布局，專項(xiàng)研究一直有序推進(jìn)。

這個(gè)不是「新技術(shù)」的大模型是什么級(jí)別？在大會(huì)上蔣杰通過(guò)直接詢問(wèn)混元大模型的方式透露了一些基本信息，它的參數(shù)量是千億級(jí)，訓(xùn)練用的數(shù)據(jù)截止到今年 7 月份，此外騰訊也表示大模型的知識(shí)將會(huì)每月更新。

騰訊在現(xiàn)場(chǎng)展示了「騰訊混元大模型小程序」、騰訊文檔中的 AI 助手以及騰訊會(huì)議 AI 助手的能力。

機(jī)器之心第一時(shí)間獲得測(cè)試資格嘗試了一番，首先是微信小程序。

一進(jìn)小程序，我們發(fā)現(xiàn)其中的內(nèi)容不亞于其他家大模型產(chǎn)品的獨(dú)立 APP。這里有一個(gè)「靈感發(fā)現(xiàn)」，看看混元都能做些什么：

從生產(chǎn)力、生活、娛樂(lè)到編程開(kāi)發(fā)，它開(kāi)放的能力可謂非常全面了，符合一個(gè)千億級(jí)大模型的身份。那么混元真的能有效地完成這些任務(wù)嗎？

我要寫(xiě)一份 PPT，只想好了主題卻不知從何寫(xiě)起，問(wèn)一下混元大模型。只需幾秒，AI 就給了一份分出七個(gè)部分的大綱，每一部分里也包含細(xì)分的點(diǎn)：

輸入一篇 arXiv 上 9 月份谷歌提交的論文《RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback》摘要和介紹部分，長(zhǎng)長(zhǎng)的好幾段，很多大模型根本不支持這么多輸入內(nèi)容，混元大模型直接進(jìn)行了總結(jié)順便翻譯成中文。

大概意思是在說(shuō)，大模型訓(xùn)練中人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）也是可以被 AI 替代的？

一個(gè)到了實(shí)用階段的大模型，是可以幫我們寫(xiě)代碼的。現(xiàn)在我們給 AI 一段代碼，讓它解釋一下其中看不懂也沒(méi)有注釋清楚的內(nèi)容：

它詳細(xì)解釋了平方根倒數(shù)算法里面數(shù)字的意義（不過(guò)對(duì)注釋理解得不太透徹）。或許過(guò)不了多久，我們做開(kāi)發(fā)的時(shí)候就離不開(kāi)大模型了。

然后是騰訊文檔。很多人已經(jīng)把 GPT-4 等大模型工具用在了自己的工作流程中，混元大模型在騰訊文檔推出的智能助手功能中已有應(yīng)用。在 PC 端新建智能文檔，輸入 “/”，就能根據(jù)需求實(shí)現(xiàn)內(nèi)容生成、翻譯、潤(rùn)色等操作。

隨后輸入自然語(yǔ)言指令，大模型的生成能力就可以幫你在騰訊文檔中進(jìn)行長(zhǎng)文本總結(jié)歸納：

看起來(lái)會(huì)對(duì)寫(xiě)論文很有用。

當(dāng)然，如果你給出了一個(gè)主題，它能進(jìn)行文本創(chuàng)作，你再選定生成內(nèi)容的一部分，AI 也可以多次細(xì)化編輯。寫(xiě)完了還能一鍵翻譯：

此外，表格的數(shù)據(jù)計(jì)算和圖表生成也都是一句話的事。

目前這些功能正在內(nèi)測(cè)階段，將在成熟后面向用戶開(kāi)放。

混元大模型在騰訊會(huì)議中的應(yīng)用可以幫助一時(shí)走神的你。比如在會(huì)議進(jìn)行當(dāng)中，你可以隨時(shí)問(wèn) AI 助手剛才發(fā)言的人說(shuō)了些什么，或是剛才那兩個(gè)人到底在爭(zhēng)論些什么，AI 可以悄悄把內(nèi)容幫你總結(jié)成一小段話，列出清楚的一二三條來(lái)。

當(dāng)然，會(huì)開(kāi)完以后混元大模型也可以更快更全面地總結(jié)會(huì)議內(nèi)容，標(biāo)注好待辦事項(xiàng)。

已覆蓋騰訊超過(guò) 50 個(gè)業(yè)務(wù)

蔣杰總結(jié)了混元大模型的三大特點(diǎn)：具備強(qiáng)大的中文創(chuàng)作能力、復(fù)雜語(yǔ)境下的邏輯推理能力以及可靠的任務(wù)執(zhí)行能力。

目前不少業(yè)內(nèi)大模型在場(chǎng)景中的應(yīng)用依然有限，主要問(wèn)題集中在容錯(cuò)率高，只適用于任務(wù)簡(jiǎn)單的休閑場(chǎng)景。騰訊在算法層面進(jìn)行了一系列自研創(chuàng)新，提高了模型可靠性和成熟度。

騰訊集團(tuán)副總裁蔣杰在活動(dòng)中。

針對(duì)大模型容易「胡言亂語(yǔ)」的問(wèn)題，騰訊優(yōu)化了預(yù)訓(xùn)練算法及策略，通過(guò)自研的「探真」技術(shù)，讓混元大模型的「幻覺(jué)」相比主流開(kāi)源大模型降低了 30-50%。

「業(yè)界的做法是提供搜索增強(qiáng)，知識(shí)圖譜等『外掛』來(lái)提升大模型開(kāi)卷考試的能力。這種方式增加了模型的知識(shí)，但在實(shí)際應(yīng)用中存在很多局限性，」蔣杰表示。「混元大模型在開(kāi)發(fā)初期就考慮完全不依賴外界數(shù)據(jù)的方式，進(jìn)行了大量研究嘗試，我們找到的預(yù)訓(xùn)練方法，很大程度上解決了幻覺(jué)的問(wèn)題。」

騰訊還通過(guò)強(qiáng)化學(xué)習(xí)的方法，讓模型學(xué)會(huì)識(shí)別陷阱問(wèn)題，通過(guò)位置編碼的優(yōu)化，提高了模型處理超長(zhǎng)文的效果和性能。在邏輯方面，騰訊提出了思維鏈的新策略，讓大模型能夠像人一樣結(jié)合實(shí)際的應(yīng)用場(chǎng)景進(jìn)行推理和決策。

騰訊混元大模型能夠理解上下文的含義，具有長(zhǎng)文記憶能力，可以流暢地進(jìn)行專業(yè)領(lǐng)域的多輪對(duì)話。除此之外，它還能進(jìn)行文學(xué)創(chuàng)作、文本摘要、角色扮演等內(nèi)容創(chuàng)作，做到充分理解用戶意圖，并高效、準(zhǔn)確的給出有時(shí)效性的答復(fù)。這樣的技術(shù)落地之后，才能真正提升生產(chǎn)力。

寫(xiě)一篇 4000 字的內(nèi)容，GPT-4 也達(dá)不到要求，混元大模型可以做到。

在中國(guó)信通院《大規(guī)模預(yù)訓(xùn)練模型技術(shù)和應(yīng)用的評(píng)估方法》的標(biāo)準(zhǔn)符合性測(cè)試中，混元大模型共測(cè)評(píng) 66 個(gè)能力項(xiàng)，在「模型開(kāi)發(fā)」和「模型能力」兩個(gè)領(lǐng)域的綜合評(píng)價(jià)獲得了當(dāng)前最高分。在主流的評(píng)測(cè)集 MMLU、CEval 和 AGI-eval 上，混元大模型均有優(yōu)異的表現(xiàn)，特別是在中文的理科、高考題和數(shù)學(xué)等子項(xiàng)上表現(xiàn)突出。?

構(gòu)建大模型的意義在于行業(yè)應(yīng)用。據(jù)了解，騰訊內(nèi)部已有超過(guò) 50 個(gè)業(yè)務(wù)和產(chǎn)品接入并測(cè)試了騰訊混元大模型，包括騰訊云、騰訊廣告、騰訊游戲、騰訊金融科技、騰訊會(huì)議、騰訊文檔、微信搜一搜、QQ 瀏覽器等，并取得了初步效果。騰訊的程序員們，已經(jīng)在用大模型工具提高開(kāi)發(fā)效率了。

此外，騰訊還通過(guò)自研機(jī)器學(xué)習(xí)框架 Angel，使模型的訓(xùn)練速度相比業(yè)界主流框架提升 1 倍，推理速度比業(yè)界主流框架提升 1.3 倍。?

用于構(gòu)建大模型的基礎(chǔ)設(shè)施也沒(méi)有拉下。此前騰訊曾表示已于今年年初構(gòu)建了大規(guī)模算力中心，近期 MiniMax 和百川智能旗下的大模型都使用了騰訊的算力。

騰訊也在致力于把行業(yè)數(shù)據(jù)與自身能力相結(jié)合，基于外部客戶的行業(yè)化數(shù)據(jù)來(lái)解決行業(yè)特定問(wèn)題，與實(shí)體行業(yè)結(jié)合，不斷推動(dòng)大模型的社會(huì)、經(jīng)濟(jì)利益和商業(yè)價(jià)值。

「根據(jù)公開(kāi)數(shù)據(jù)顯示，國(guó)內(nèi)已有 130 個(gè)大模型發(fā)布。其中既有通用模型也有專業(yè)領(lǐng)域模型。混元作為通用模型能夠支持騰訊內(nèi)部的大部分業(yè)務(wù)，今天我展示的幾個(gè)深度接入的業(yè)務(wù)都有很大的用戶量。大模型已在我們的核心領(lǐng)域獲得了深度應(yīng)用，」蔣杰說(shuō)道。「我大模型首先是服務(wù)企業(yè)本身，其次是通過(guò)騰訊云對(duì)外開(kāi)放。」

在開(kāi)放給客戶使用時(shí)，混元大模型將作為騰訊云模型即服務(wù) MaaS 的底座。客戶既可以直接調(diào)用混元 API，也能將混元作為基座模型，為不同的產(chǎn)業(yè)場(chǎng)景構(gòu)建專屬應(yīng)用。

可見(jiàn)，騰訊在大模型領(lǐng)域的策略講究的是一個(gè)穩(wěn)字：專注打好基礎(chǔ)，不急于拿出半成品展示。而這一出手，就展現(xiàn)出了過(guò)硬的實(shí)力。

不過(guò)大模型的發(fā)展還在繼續(xù)，正如蔣杰所言：「毫不夸張地說(shuō)，騰訊已經(jīng)全面擁抱大模型。我們的能力一直在演進(jìn)，相信 AIGC 的潛力是無(wú)限的，我們已在路上。」

關(guān)鍵詞：