【#區(qū)塊鏈# #5000美元迭代百億大模型，算力市場如何“卷”出新花樣#】

原文來源：大模型之家

作者：王昊達(dá)

圖片來源：由無界 AI生成

2023年，Colossal-AI團隊僅用85億tokens、15小時和幾百美元完成了對 LLaMA-2 7B的性能優(yōu)化。升級后的Chinese LLaMA-2 7B在多個基準(zhǔn)評估測試中都有著更出色的表現(xiàn)。

2024年伊始，Colossal-AI在初始框架的基礎(chǔ)上開啟模型的下一輪迭代，利用250億tokens構(gòu)建了一個更精致和全面的數(shù)據(jù)架構(gòu)，最終打造了一個精細(xì)化的13B模型——Colossal-LLaMA-2-13B-base。并且Colossal-AI開源了Colossal-LLaMA-2的模型代碼和特定權(quán)重。

圖源：Colossal-AI

在英文測試MMLU排名中，Colossal-LLaMA-2-13B-base在英文性能方面穩(wěn)步提升，這主要是因為Colossal-AI采用低成本的漸進(jìn)式預(yù)訓(xùn)練。值得注意的是，在GSM8k評估中，Colossal-LLaMA-2-13B-base的英文數(shù)學(xué)和推理能力有了顯著提升，位列所有參評的13B大模型第一。

在中文測試中，Colossal-LLaMA-2-13B-base在CMMLU、AGIEVAL、GAOKAO和C-Eval測試中都更優(yōu)于其他中文模型。甚至在介紹中Colossal-AI表示，團隊優(yōu)化的大模型比花費高昂研發(fā)經(jīng)費的國內(nèi)大廠推出的大模型更加優(yōu)秀。

圖源：Colossal-AI

通過模型訓(xùn)練過程中記錄下來的損失值的歷史數(shù)據(jù)，可以很明顯地發(fā)現(xiàn)，Colossal-LLaMA-2-13B-base在不同訓(xùn)練階段的性能表現(xiàn)，以及模型是如何逐漸學(xué)習(xí)提高預(yù)測準(zhǔn)確性的。Colossal-AI系統(tǒng)能夠為大模型開發(fā)降本增效的特性，可以確保模型在訓(xùn)練過程中逐漸趨于穩(wěn)定狀態(tài)。并且Colossal-AI僅需要250億tokens以及5000美元的訓(xùn)練費。與當(dāng)前市場中流行的要求使用數(shù)萬億個tokens進(jìn)行訓(xùn)練的大模型進(jìn)行對比，Colossal-AI將節(jié)省更多的算力開支。

優(yōu)化數(shù)據(jù)利用，節(jié)約算力成本

Colossal-AI認(rèn)為高質(zhì)量數(shù)據(jù)集是大模型降低訓(xùn)練成本的關(guān)鍵因素，特別是在增量預(yù)訓(xùn)練的背景下，對數(shù)據(jù)的質(zhì)量和分布有著嚴(yán)格的要求，早在Chinese LLaMA-2 7B訓(xùn)練期間，Colossal-AI團隊便建立了一個數(shù)據(jù)清理系統(tǒng)和工具包，以過濾高質(zhì)量的數(shù)據(jù)用于增量預(yù)訓(xùn)練。

與7B版本相比，Colossal-LLaMA-2-13B-base的訓(xùn)練采用了更精細(xì)的數(shù)據(jù)架構(gòu)，將數(shù)據(jù)分類為基于知識的、功能性的和內(nèi)存回放的數(shù)據(jù)?；谥R的數(shù)據(jù)細(xì)分為十幾個主要類別，包括金融、法律、教育等，每個主要類別進(jìn)一步劃分為子類別，以實現(xiàn)對不同數(shù)據(jù)的精確控制。此外，各個垂直領(lǐng)域的數(shù)據(jù)規(guī)模增加，以確保模型對來自多樣領(lǐng)域的數(shù)據(jù)具有牢固地把握。

為了滿足社區(qū)對大型模型功能性能的需求，Colossal-AI針對不同的自然語言處理任務(wù)進(jìn)行了有針對性地增強。確保了在預(yù)訓(xùn)練期間，模型在文本摘要、信息提取以及理解復(fù)雜問題解決鏈等常見自然語言處理任務(wù)中達(dá)到一定水平的理解和熟練度。同時，Colossal-AI還將Experience Replay（經(jīng)驗回放）數(shù)據(jù)作為實現(xiàn)模型對已獲知知識的掌握的關(guān)鍵組成部分，這也有效提升了模型的整體性能和泛化能力。

值得一提的是，考慮到為了社會對于大模型安全性日益增長的擔(dān)憂，Colossal-AI團隊實施了多維度的增強措施，以確保基礎(chǔ)大模型具有強大的安全性并符合正確的價值觀。

2024，算力為王？

根據(jù)大模型之家發(fā)布的《2024人工智能產(chǎn)業(yè)趨勢預(yù)測》中指出，隨著深度學(xué)習(xí)、機器學(xué)習(xí)等技術(shù)的廣泛應(yīng)用，對GPU算力的需求將持續(xù)飆升。預(yù)計2024年，智能算力將成為AI領(lǐng)域的主要瓶頸之一，引發(fā)算力市場的競爭加劇。

為了滿足不斷增長的計算能力需求，企業(yè)將增加投資，推動人工智能芯片技術(shù)的發(fā)展。與此同時，云計算業(yè)務(wù)將持續(xù)擴張，成為緩解計算能力不足的重要途徑。此外，國家級人工智能中心的興起，也將成為推動人工智能技術(shù)發(fā)展的重要動力。

2023年10月，工信部等六部門聯(lián)合印發(fā)《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動計劃》，其中提出2025年建成50個智能計算中心等量化指標(biāo)。而計算力方面，到2025年規(guī)模將超過300EFLOPS，智能算力占比達(dá)到35%。

圖源：工信部官網(wǎng)

在23年末的百度云智大會·智算大會上百度智能云表示，為滿足大模型落地需求，正在基于「云智一體」戰(zhàn)略重構(gòu)云計算服務(wù)，完成了從底層基礎(chǔ)設(shè)施到大模型開發(fā)與應(yīng)用再到AI原生應(yīng)用開發(fā)的端到端升級。

在云計算全面升級方面，百度智能云發(fā)布了20多款全棧產(chǎn)品，覆蓋了智能計算、通用計算、數(shù)據(jù)庫和大數(shù)據(jù)、分布式云、應(yīng)用開發(fā)平臺等五大領(lǐng)域。包括百舸·AI異構(gòu)計算平臺3.0，專門優(yōu)化了大模型的訓(xùn)練、推理等環(huán)節(jié)，提高了產(chǎn)品能力，實現(xiàn)了模型訓(xùn)練時長和帶寬有效性的顯著提升。

圖源：百度智能云

在數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域，百度智能云發(fā)布了一系列重磅新品，包括滄?！ご鎯Α⒃圃鷶?shù)據(jù)庫GaiaDB等，以滿足大模型落地對數(shù)據(jù)存儲、管理和分析的需求。為了解決算力的供給平衡問題，百度智能云還發(fā)布了智算網(wǎng)絡(luò)平臺，支持全域接入智算節(jié)點，通過算力調(diào)度算法智能分析和統(tǒng)一調(diào)度各類算力資源，實現(xiàn)智算資源的靈活、穩(wěn)定、高效地交付。

在未來的算力市場中，硬件技術(shù)的疾速演進(jìn)和云計算業(yè)務(wù)的蓬勃增長，是整個應(yīng)用環(huán)境的深刻變遷。大模型高歌猛進(jìn)的發(fā)展態(tài)勢正讓人們經(jīng)歷著前所未有的算力生態(tài)變革。

隨著算力技術(shù)浪潮的升騰，在算力大幅提升的同時，企業(yè)和社會必須更加關(guān)切數(shù)據(jù)隱私、安全性等方面的問題，確保人工智能技術(shù)的成功不僅止步于技術(shù)的巔峰，同時在倫理和社會的高度上實現(xiàn)平衡。

大模型之家認(rèn)為，未來的算力市場將由硬件和技術(shù)的單一競爭，演變?yōu)閷χ悄芩懔θ绾胃玫胤?wù)社會、推動創(chuàng)新、維護道德底線的深刻思考。在這個飛速發(fā)展的時代，我們期盼著算力市場和應(yīng)用環(huán)境的協(xié)同演進(jìn)，為構(gòu)建一個更加智能、可持續(xù)、人性化的未來奠定堅實基礎(chǔ)。