新榜訊 3 月 24 日電,近期,螞蟻集團(tuán) Ling 團(tuán)隊(duì)發(fā)布了一篇技術(shù)成果論文。該論文指出,螞蟻集團(tuán)已推出兩款規(guī)模各異的 MoE 大語言模型,分別為百靈輕量版(Ling-Lite)與百靈增強(qiáng)版(Ling-Plus)。其中,百靈輕量版參數(shù)規(guī)模達(dá) 168 億(激活參數(shù) 27.5 億),而百靈增強(qiáng)版的基座模型參數(shù)規(guī)模更是高達(dá) 2900 億(激活參數(shù) 288 億),二者性能皆處于行業(yè)領(lǐng)先地位。不僅自研出性能卓越的大模型,此技術(shù)論文的最大亮點(diǎn)在于提出眾多創(chuàng)新方式,有效提升了資源受限環(huán)境中 AI 開發(fā)的效率與可及性。實(shí)驗(yàn)結(jié)果顯示,其 3000 億參數(shù)的 MoE(混合專家)大模型能夠在配備國(guó)產(chǎn) GPU 的低性能設(shè)備上實(shí)現(xiàn)高效訓(xùn)練,性能與完全采用英偉達(dá)芯片、同等規(guī)模的稠密模型及 MoE 模型不相上下。 (財(cái)聯(lián)社)
掃描二維碼
手機(jī)瀏覽
螞蟻集團(tuán)推出新款MoE大語言模型 使用國(guó)產(chǎn)AI芯片訓(xùn)練其性能與完全使用英偉達(dá)芯片、同規(guī)模稠密模型及MoE模型相當(dāng)
分享文章鏈接
相似推薦

消息稱螞蟻集團(tuán)AI訓(xùn)練取得突破:使用國(guó)產(chǎn)芯片,成本降低20%
新榜訊 據(jù)外媒報(bào)道,知情者透露,螞蟻集團(tuán)正在運(yùn)用中國(guó)制造的半導(dǎo)體來開展 AI 模型訓(xùn)練技術(shù)的開發(fā)工作,此舉預(yù)計(jì)能讓成本降低 20%。

字節(jié)對(duì)MoE模型訓(xùn)練成本再砍一刀 成本可節(jié)省40%
新榜訊 3 月 10 日,字節(jié)豆包大模型團(tuán)隊(duì)正式宣布開源一項(xiàng)針對(duì) MoE(混合專家模型)架構(gòu)的關(guān)鍵優(yōu)化技術(shù)。

騰訊公布大語言模型訓(xùn)練專利 可提高模型準(zhǔn)確性
新榜訊 財(cái)聯(lián)社 2 月 8 日電,據(jù)天眼查 App 披露,騰訊科技(深圳)有限公司于 2 月 7 日申請(qǐng)的“大語言模型的訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)”專利已公布。