新榜訊 近日,月之暗面研究員 FloodSung 公開分享了 k1.5 模型背后的詳盡思考?xì)v程,并透露,2024 年 9 月 12 日 OpenAIo1 發(fā)布所產(chǎn)生的震撼影響,致使其對(duì) Long-CoT 的有效性展開反思。 早在一年多前,月之暗面 Kimi 聯(lián)合創(chuàng)始人 Tim 周昕宇就已驗(yàn)證了 Long-CoT 的有效性,通過采用較小的模型,訓(xùn)練其進(jìn)行幾十位的加減乘除運(yùn)算,將細(xì)粒度的運(yùn)算過程整合為長的 CoT 數(shù)據(jù)進(jìn)行 SFT,能取得極佳效果。 FloodSung 稱,公司認(rèn)識(shí)到 LongContext 的重要性,率先著眼于將 Context 延長,然而對(duì) Long-CoT 之事重視不足,主要?dú)w因于成本考量。“LongContext 主要致力于長文本輸入,具備 Prefill 預(yù)填充及 Mooncake 支持,成本與速度可控,而 Long-CoT 屬于長文本輸出,成本高昂且速度緩慢,在此情形下,延長輸出未被列為優(yōu)先選項(xiàng)。” FloodSung 反思道:“但還有何事比性能(Performance)更為關(guān)鍵呢?成本和速度有摩爾定律支撐,能夠持續(xù)降低,只要將性能提升,其余皆非首要問題。”因此,必須開展 Long-CoT 及 o1 相關(guān)工作?!翱傊覀兙褪且?xùn)練模型能夠如人類一般自由思考?!盕loodSung 表示。 在月之暗面 Kimi 官網(wǎng),F(xiàn)loodSung 發(fā)表了一篇揭秘 o1 破解過程的萬字長文,標(biāo)志著公司關(guān)注并開始對(duì)標(biāo) o1 且推進(jìn)相關(guān)研究的實(shí)質(zhì)性舉措。(來源:IT 之家)
掃描二維碼
手機(jī)瀏覽
月之暗面:一年前就驗(yàn)證過長思維鏈,因成本高先搞了長文本
分享文章鏈接
上一篇

郭德綱回應(yīng)不讓德云社直播帶貨:浪費(fèi)時(shí)間
新榜訊 2 月 15 日晚,郭德綱于社交平臺(tái)展開 2025 年的首場(chǎng)直播,就德云社不讓直播帶貨的傳聞?dòng)枰曰貞?yīng)。
下一篇
紅果免費(fèi)短劇App月活達(dá)1.58億
綜合消息 2月18日,QuestMobile發(fā)布的數(shù)據(jù)顯示,短劇行業(yè)繼續(xù)保持高速增長態(tài)勢(shì),字節(jié)的紅果免費(fèi)短劇和點(diǎn)眾的河馬劇場(chǎng)進(jìn)入2024年12月在線視頻App月活躍用戶規(guī)模前十名。

上一篇

郭德綱回應(yīng)不讓德云社直播帶貨:浪費(fèi)時(shí)間
新榜訊 2 月 15 日晚,郭德綱于社交平臺(tái)展開 2025 年的首場(chǎng)直播,就德云社不讓直播帶貨的傳聞?dòng)枰曰貞?yīng)。
下一篇

紅果免費(fèi)短劇App月活達(dá)1.58億
綜合消息 2月18日,QuestMobile發(fā)布的數(shù)據(jù)顯示,短劇行業(yè)繼續(xù)保持高速增長態(tài)勢(shì),字節(jié)的紅果免費(fèi)短劇和點(diǎn)眾的河馬劇場(chǎng)進(jìn)入2024年12月在線視頻App月活躍用戶規(guī)模前十名。