6 月，三筆巨額融資掀開大模型戰(zhàn)事新篇章。
前腳，加拿大 Cohere 以 50 億美元估值攬獲 4.5 億美元融資，英偉達(dá)、思科助力；后腳，法國 Mistral AI 喜提 6 億歐元，General Catalyst 領(lǐng)投；隨后，日本 SakanaAI 也傳出即將斬獲超 1 億美元融資，估值飚至約 11.5 億美元。
春江水暖鴨先知，國際 VC 押注各地 AI 獨(dú)角獸強(qiáng)勢出圈背后，一個(gè)共性趨勢隨即浮現(xiàn)：PK OpenAI，他們正以小參數(shù)、低成本落地端側(cè)“突圍”。
Cohere 開源的新一代大模型 Aya 23，以 80 億和 350 億兩種參數(shù)，支持 23 種語言；
Mistral AI 去年發(fā)布的 Mistral 7B，以 70 億參數(shù)打敗了數(shù)百億參數(shù)的開源大語言模型霸主 Llama 2，另一款模型 Mistral Large 開發(fā)成本低于 2000 萬歐元（約 2200 萬美元），對比 GPT-4 的開發(fā)成本，更是打掉了超 4/5；
再到 Sakana 這邊，其以核心的“模型合并”技術(shù)來自動(dòng)化“進(jìn)化”算法，號(hào)稱對算力資源的需求極小、能將數(shù)據(jù)學(xué)習(xí)周期縮短數(shù)百倍。
群雄逐鹿之下，這場 AI 盛宴行至 2024，已然不再是一場堆算力、壘數(shù)據(jù)的“燒錢”游戲。
尋找 Transformer 外的可能，“天選”端模來了
身處大模型一線，近半年，劉凡平對底層技術(shù)架構(gòu)的創(chuàng)新和突破這一趨勢有著明顯的直接感受。
“在全球范圍內(nèi)，一直以來都有不少優(yōu)秀的研究者試圖從根本上解決對 Transformer 架構(gòu)的過度依賴，尋求更優(yōu)的辦法替代 Transformer。就連 Transformer 的論文作者之一 Llion Jones 也在探索‘Transformer 之后的可能’，試圖用一種基于進(jìn)化原理的自然啟發(fā)智能方法，從不同角度創(chuàng)造對 AI 框架的再定義�！�
他看到，技術(shù)變化永遠(yuǎn)走在最前面，需要時(shí)時(shí)刻刻保持“不被顛覆”的警惕，但一方面，這個(gè) 80 后創(chuàng)業(yè)者看到新技術(shù)帶來新產(chǎn)品、新市場機(jī)遇的出現(xiàn)，又對行業(yè)利好倍感興奮。
在這場對標(biāo) OpenAI 的競賽中，劉凡平也早就做好了準(zhǔn)備，其帶隊(duì)的 RockAI 亦走出了一條屬于自己的進(jìn)化路徑。
自成立伊始，RockAI 就不曾是 Transformer 學(xué)徒，即便是在“百模大戰(zhàn)”打得火熱的去年，劉凡平就意識(shí)到 Transformer 架構(gòu)底層設(shè)計(jì)邏輯對訓(xùn)練數(shù)據(jù)量的要求極大，雖是大模型的智能體現(xiàn)，卻難以避免“一本正經(jīng)的胡說八道”的幻覺問題，包括訓(xùn)練的資源消耗已成行業(yè)通病。
甚至連 Transformer 這個(gè)架構(gòu)的設(shè)計(jì)者 Aidan Gomez，都對“做了很多浪費(fèi)的計(jì)算”一聲嘆息，希望“Transformer 能被某種東西所取代，將人類帶到一個(gè)新的性能高原�！�
可謂，成也蕭何敗也蕭何。
但更大的挑戰(zhàn)在于，Transformer 在實(shí)際應(yīng)用中的高算力和高成本，讓不少中小型企業(yè)望而卻步。其內(nèi)部架構(gòu)的復(fù)雜性，讓決策過程難以解釋；長序列處理困難和無法控制的幻覺問題也限制了大模型在某些關(guān)鍵領(lǐng)域和特殊場景的廣泛應(yīng)用。
在行業(yè)對于高效能、低能耗 AI 大模型的需求不斷增長下，彼時(shí)，劉凡平就一直在思考“大模型動(dòng)輒上萬億的 token 訓(xùn)練是否真的必要”，對 Transformer 模型不斷的調(diào)研和改進(jìn)過程中，更讓他意識(shí)到了重新設(shè)計(jì)大模型的必要性。
以人類大腦幾十億的訓(xùn)練量來看，他判斷，數(shù)據(jù)、算力并不是最終的瓶頸，架構(gòu)、算法才是重要的影響因素，就此開啟了 RockAI“破壞式”自研突圍。
1 月，劉凡平帶著國內(nèi)首個(gè)非 Attention 機(jī)制的通用自然語言大模型——Yan1.0 模型公開露面。
當(dāng)時(shí)，1.0 版通過對 Attention 的替換，將計(jì)算復(fù)雜度降為線性，大幅降低了對算力的需求，用百億級參數(shù)達(dá)成千億參數(shù)大模型的性能效果——記憶能力提升 3 倍、訓(xùn)練效率提升 7 倍的同時(shí)，實(shí)現(xiàn)推理吞吐量的 5 倍提升。
更令人欣喜的是現(xiàn)場，Yan 1.0 模型在個(gè)人電腦端的運(yùn)行推理展示，證實(shí)了其可以“原生無損”在主流消費(fèi)級 CPU 等端側(cè)設(shè)備上運(yùn)行的實(shí)操性。
要知道，原生無損對應(yīng)的反面就是有損壓縮，后者是目前大模型部署到設(shè)備端的主流方式。
大熱的 AIPC 是把 Transformer 架構(gòu)的模型通過量化壓縮部署到了個(gè)人電腦，甚至 70 億參數(shù)的大模型還需要定制的 PC 芯片提供算力；就連 Llama3 8B 以每秒 1.89 個(gè) token 的速度運(yùn)行樹莓派 5，支持 8K 上下文窗口的戰(zhàn)績，也是止步于“有損壓縮”。
更大的模型效果更好，但是如果不通過量化壓縮是部署不到個(gè)人設(shè)備上的，恰好說明了 Scaling law 的局限。
同時(shí)，有損壓縮如同把平鋪的紙揉小后有褶皺般放入，讓多模態(tài)下的性能損失無法恢復(fù)到原有狀態(tài)去進(jìn)行模型訓(xùn)練，更直接導(dǎo)致卡住不動(dòng)、死機(jī)等不確定問題的出現(xiàn)，甚至三五分鐘才能蹦完一句話。
“去”量化壓縮這一步意味著 Yan 模型在設(shè)備端運(yùn)行避開了多模態(tài)下的性能損失，以及具備再學(xué)習(xí)的能力，也就是說在兼容更多低算力設(shè)備上，是“天選級”端側(cè)模型。
同步學(xué)習(xí)，讓模型邊跑邊進(jìn)化
“原生無損”部署到個(gè)人電腦，這只是 Yan 1.0 的表現(xiàn)。
劉凡平還有 2 個(gè)疑問待解，一是能不能在更低算力、更普適的設(shè)備上部署大模型；二是部署在端側(cè)以后，模型能不能個(gè)性化的即時(shí)學(xué)習(xí)。
而這兩個(gè)問題的實(shí)現(xiàn)，直接帶著 RockAI 朝著 Yan 2.0 進(jìn)發(fā)。
看到 AIPC 依然是云端大模型為主，離線狀態(tài)下模型基本只勉強(qiáng)可用，而用戶的個(gè)人隱私在云端模式下依然待解，劉凡平意識(shí)到要找到更低算力且可大部分時(shí)間離線使用的設(shè)備來做進(jìn)入設(shè)備的“敲門磚”。
“PC 或者高端手機(jī)其實(shí)模型量化都能跑，但是高端設(shè)備的 GPU 算力跟低端設(shè)備差距很大，所以 PK 得往更低端設(shè)備走，才能跟設(shè)備廠商獲得談的資格。”
于是，他的目光便落到了樹莓派上。
這個(gè)袖珍型小巧卻又性能強(qiáng)大的微型電腦，可廣泛應(yīng)用于物聯(lián)網(wǎng)、工業(yè)自動(dòng)化、智慧農(nóng)業(yè)、新能源、智能家居等場景及設(shè)備，譬如門禁、機(jī)器人等終端，同時(shí)，大部分情況沒有聯(lián)網(wǎng)。
這就意味著，跑通樹莓派，等同于打開了低算力設(shè)備端的大門以及不聯(lián)網(wǎng)的多場景應(yīng)用。
為了“拿下”樹莓派，劉凡平得進(jìn)一步實(shí)現(xiàn) Yan 模型的降本增效，于是在算法側(cè)，基于仿生神經(jīng)元驅(qū)動(dòng)的選擇算法便出現(xiàn)在了眼下的 Yan 1.2 模型上。
參考人腦的神經(jīng)元大概是 800-1000 億，功耗大概是 20-30 瓦，而一臺(tái) GPU 算力服務(wù)器功耗能到 2000 瓦，劉凡平認(rèn)為主流大模型的全參數(shù)激活，本身就是不必要的大功耗浪費(fèi)。
而基于仿生神經(jīng)元驅(qū)動(dòng)的選擇算法，便是使大模型可以根據(jù)學(xué)習(xí)的類型和知識(shí)的范圍分區(qū)激活，如同人開車跟寫字會(huì)分別激活腦部的視覺區(qū)域和閱讀區(qū)域一般，不僅可以減少數(shù)據(jù)訓(xùn)練量，同時(shí)也能有效發(fā)揮多模態(tài)的潛力。
據(jù)悉，在 3 月類腦分區(qū)激活的工作機(jī)制實(shí)現(xiàn)后，甚至 10 億級參數(shù)的 Yan 模型通過改進(jìn)在 0 壓縮和 0 裁剪的情況下在一臺(tái) 7 年前生產(chǎn)的 Mac 筆記本的 CPU 上跑通本地訓(xùn)練過程，5 月 Yan 1.2 模型便成功跑通樹莓派。
值得注意的是，模型分區(qū)激活不僅可以降低功耗，同時(shí)還能實(shí)現(xiàn)部分更新，也就意味著部署后還具備持續(xù)學(xué)習(xí)能力，而這又是 Transformer 一眾學(xué)徒的“軟肋”。
眾所周知，大模型的出現(xiàn)也帶來一種開發(fā)范式：先通過預(yù)訓(xùn)練讓大模型具備一定的基本能力，然后在下游任務(wù)中通過微調(diào)對齊，激發(fā)模型舉一反三的能力。
這就類似先花大量的時(shí)間和資源把 1 歲孩子封閉式培養(yǎng)到成為大學(xué)生，然后在不同的工作場景里進(jìn)行鍛煉對齊。
這種范式統(tǒng)一了以往處理不同自然語言任務(wù)需要訓(xùn)練不同模型的問題，但也限制了模型在不同場景的應(yīng)用。
如果換一個(gè)沒有經(jīng)過預(yù)訓(xùn)練的工作場景，一切都要從頭再來，兩個(gè)字概括：麻煩。
一個(gè)離自主進(jìn)化遙遠(yuǎn)的 Transformer 大模型，反映到現(xiàn)有實(shí)踐中，那就是一旦內(nèi)容變化，往往要 1-2 個(gè)月去把數(shù)據(jù)清掉后，再重新訓(xùn)練后進(jìn)行提交。
預(yù)訓(xùn)練完之后再大規(guī)模反向更新，無論從算力、時(shí)間還是經(jīng)濟(jì)成本，對企業(yè)而言“難以接受”，也讓劉凡平在低消耗、顯存受限的情況下，為實(shí)現(xiàn)端側(cè)訓(xùn)推同步，在模型分區(qū)可部分激活更新下，持續(xù)尋找反向傳播的更優(yōu)解，試驗(yàn)?zāi)芨痛鷥r(jià)更新神經(jīng)網(wǎng)絡(luò)的方案。
從反向傳播對參數(shù)的調(diào)節(jié)過程來看，只要模型調(diào)整足夠快、代價(jià)足夠小，就能更快達(dá)到預(yù)期，實(shí)現(xiàn)從感知到認(rèn)知再到?jīng)Q策這一循環(huán)的加速，對現(xiàn)有知識(shí)體系進(jìn)行快速更新。
如此一來，通過模型分區(qū)激活 + 尋找反向傳播更優(yōu)解“兩步走”，就能實(shí)現(xiàn)模型的邊跑邊進(jìn)化，“同步學(xué)習(xí)”的概念在 RockAI 逐步清晰。
尋找設(shè)備端的智能，誰能成為具身“大腦”？
如上，把一個(gè)訓(xùn)練完的 Transformer 大模型比作大學(xué)生，那么，一個(gè)可同步學(xué)習(xí)的 Yan 模型，在劉凡平看來，就是一個(gè)正在咿呀學(xué)語的孩子。
“從小在各種環(huán)境下學(xué)習(xí)，建立知識(shí)體系，又不斷推翻重建，每一天都有新的體悟，會(huì)成獨(dú)有的知識(shí)體系，最終個(gè)體多樣性會(huì)帶來群體智慧和分工協(xié)作�！�
而這樣個(gè)性化的端側(cè)模型有多重要呢？可以設(shè)想：在一個(gè)智能城市中，每個(gè)家庭的智能家居系統(tǒng)都具備了 Yan 模型這樣的能力。這些系統(tǒng)可以根據(jù)每個(gè)家庭成員的習(xí)慣、喜好以及環(huán)境變化進(jìn)行自主學(xué)習(xí)，并做出相應(yīng)的調(diào)整，個(gè)性化服務(wù)身邊的每一個(gè)人。
在劉凡平的設(shè)想中，智能“大腦”，關(guān)鍵在于實(shí)現(xiàn)模型在邊緣計(jì)算中的持續(xù)學(xué)習(xí)能力和適應(yīng)能力。具備同步學(xué)習(xí)能力的 Yan 2.0 模型部署到手機(jī)、電腦，甚至電視、音響等各類設(shè)備后，會(huì)根據(jù)你說的話和場景進(jìn)行自主學(xué)習(xí)，判斷出你喜歡的事情，通過跟用戶對齊，越來越具備個(gè)性化價(jià)值，最終形成可交互的多樣性智能生態(tài)。
不過，劉凡平也坦言，相較于 B 端，目前設(shè)備端依然是大模型的藍(lán)海市場，離終極的個(gè)性化 AI 還差一步。
但這，也給了具備低成本低算力基因的 RockAI，從“為設(shè)備而生”到“為設(shè)備而用”搶占先機(jī)的可能。
Yan2.0 會(huì)在年底或明年初面世， 在他看來，這些設(shè)備前期的適配工作做足至關(guān)重要，現(xiàn)階段是系統(tǒng)適配各種硬件，端側(cè)模型需要結(jié)合實(shí)際載體（即硬件）去做適配研究和迭代改進(jìn)。
在樹莓派跑通后，很多機(jī)器人廠商也找到了劉凡平，從某種意義上來說，他們也在尋找具身大腦的可能，一家教育機(jī)器人公司甚至給到了劉凡平“愿意第一時(shí)間集成 Yan 2.0”的回復(fù)。
對于具身智能這一爆火命題，劉凡平很坦率，從身到腦都需要攪局者，但他也有“野心”，去成為那個(gè)破局人：在技術(shù)創(chuàng)新、商業(yè)化同步發(fā)力。
四個(gè)月前，在 Yan 架構(gòu)的發(fā)布會(huì)上，他曾提出了打造“全模態(tài)實(shí)時(shí)人機(jī)交互系統(tǒng)”的理念，期望 Yan 模型未來向全模態(tài)、實(shí)時(shí)人機(jī)交互、訓(xùn)推同步的方向持續(xù)升級，使 AI 技術(shù)更加易于獲取和使用，推動(dòng)普惠人工智能的發(fā)展。
而如今，隨著 Yan 2.0 將逐步把多模態(tài)的視覺、觸覺和聽覺能力補(bǔ)齊，并結(jié)合同步學(xué)習(xí)的能力，一個(gè)在感知、認(rèn)知、決策、行動(dòng)四個(gè)方面得到全面提升的機(jī)器人似乎也在具象化。
可以預(yù)見：在感知方面更多模態(tài)輸入后，機(jī)器人同時(shí)擁有眼睛和耳朵，可以實(shí)時(shí)看到和聽到信息，然后把接受到的信息進(jìn)行認(rèn)知理解，隨著理解加深，能做出對應(yīng)的有傾向性的、個(gè)性化的判斷，并支配四肢行動(dòng)。
一個(gè)大模型在更加便攜的設(shè)備或終端中進(jìn)行無損部署的藍(lán)圖，正在徐徐展開。
（免責(zé)聲明：此文內(nèi)容為廣告，相關(guān)素材由廣告主提供，廣告主對本廣告內(nèi)容的真實(shí)性負(fù)責(zé)。本網(wǎng)發(fā)布目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)和對其真實(shí)性負(fù)責(zé)，請自行核實(shí)相關(guān)內(nèi)容。廣告內(nèi)容僅供讀者參考。）
【免責(zé)聲明】【廣告】本文僅代表作者本人觀點(diǎn)，與和訊網(wǎng)無關(guān)。和訊網(wǎng)站對文中陳述、觀點(diǎn)判斷保持中立，不對所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考，并請自行承擔(dān)全部責(zé)任。郵箱：news_center@staff.hexun.com
最新評論