作者：Teng Yan，Chain of Thought；翻譯：喜來(lái)順財(cái)經(jīng)xiaozou

我有一大遺憾至今還在困擾著我，對(duì)任何關(guān)注它的人來(lái)說(shuō)，它無(wú)疑是最明顯的投資機(jī)會(huì)，但我沒(méi)有投入一分錢。不，我說(shuō)的不是下一個(gè)Solana killer，也不是帶著滑稽帽子的狗狗meme幣。

而是……NVIDIA。

在短短一年的時(shí)間里，NVDA的市值從1萬(wàn)億美元飆升至3萬(wàn)億美元，增長(zhǎng)了3倍，甚至超過(guò)了同期的比特幣。

這當(dāng)中當(dāng)然少不了人工智能炒作，但有很大一部分是有現(xiàn)實(shí)基礎(chǔ)的。NVIDIA公布其2024財(cái)年的收入為600億美元，比2023財(cái)年增長(zhǎng)了126%，表現(xiàn)驚人。

那我為什么錯(cuò)過(guò)了呢？

兩年來(lái)，我一直專注于加密領(lǐng)域，并沒(méi)有放眼看外面的世界，沒(méi)有關(guān)注到人工智能領(lǐng)域。我真是犯了個(gè)大錯(cuò)，至今仍令我耿耿于懷。

但我不會(huì)再犯同樣的錯(cuò)誤。

今天，Crypto AI給人的感覺(jué)非常相似。我們正處在創(chuàng)新大爆發(fā)的邊緣。這與19世紀(jì)中期加州淘金熱太像了，讓人難以忽視——工業(yè)和城市一夜之間興起，基礎(chǔ)設(shè)施以極快的速度發(fā)展，財(cái)富是由敢想敢干的人創(chuàng)造的。

就像早期的NVIDIA一樣，事后看來(lái)，Crypto AI也將是顯而易見(jiàn)的機(jī)會(huì)。

本文第一部分，我將闡述為什么Crypto AI對(duì)投資者和建設(shè)者來(lái)說(shuō)是當(dāng)今最令人興奮的弱者機(jī)會(huì)。

簡(jiǎn)單概述如下：

許多人仍然認(rèn)為它是幻想。

Crypto AI還處于早期階段，距離炒作頂峰可能還有1-2年的時(shí)間。

這個(gè)領(lǐng)域至少有2300億美元以上的增長(zhǎng)機(jī)會(huì)。

從本質(zhì)上講，Crypto AI是一種基于加密基礎(chǔ)設(shè)施的AI。這意味著它更有可能跟隨人工智能的指數(shù)增長(zhǎng)軌跡，而不是更廣泛的加密市場(chǎng)。因此，為了不掉隊(duì)，必須要關(guān)注Arxiv上最新的人工智能研究，并與那些相信自己正在創(chuàng)建下一個(gè)了不起的產(chǎn)品和服務(wù)的創(chuàng)始人交談。

本文第二部分，我將深入研究Crypto AI中最有前途的四個(gè)子領(lǐng)域：

去中心化計(jì)算：訓(xùn)練、推理和GPU市場(chǎng)

數(shù)據(jù)網(wǎng)絡(luò)

可驗(yàn)證AI

鏈上運(yùn)行的AI代理

為撰寫本文，我花了好幾周的時(shí)間進(jìn)行深入研究，與Crypto AI領(lǐng)域的創(chuàng)始人和團(tuán)隊(duì)交談，而本文則是這些努力的結(jié)晶。本文并不會(huì)詳盡地深入到每一個(gè)領(lǐng)域，相反，你可以把它看作是一個(gè)高層路線圖，旨在激發(fā)你的好奇心，提高你的研究水平，指導(dǎo)你的投資思維。

1、Crypto AI格局

我把去中心化的人工智能堆棧描繪成一個(gè)若干層生態(tài)系統(tǒng)：它的一端始于去中心化計(jì)算和開(kāi)放數(shù)據(jù)網(wǎng)絡(luò)，為去中心化人工智能模型訓(xùn)練提供支持。

然后，結(jié)合使用密碼學(xué)、加密經(jīng)濟(jì)激勵(lì)機(jī)制和評(píng)估網(wǎng)絡(luò)來(lái)驗(yàn)證每條推斷——輸入和輸出均如此。這些經(jīng)驗(yàn)證的輸出流向可在鏈上自主運(yùn)行的人工智能代理，以及用戶可以真正信任的消費(fèi)者和企業(yè)AI應(yīng)用程序。

協(xié)調(diào)網(wǎng)絡(luò)將一切聯(lián)系在一起，實(shí)現(xiàn)整個(gè)生態(tài)系統(tǒng)的無(wú)縫通信和協(xié)作。

在這個(gè)愿景中，任何構(gòu)建人工智能的人都可以根據(jù)自己的具體需求，利用這個(gè)堆棧的一層或多個(gè)層。無(wú)論是利用去中心化計(jì)算進(jìn)行模型訓(xùn)練，還是使用評(píng)估網(wǎng)絡(luò)來(lái)確保高質(zhì)量的輸出，該堆棧都提供了一系列選擇。

由于區(qū)塊鏈固有的可組合性，我相信我們將自然而然地走向模塊化未來(lái)。每一層都正變得高度專業(yè)化，協(xié)議針對(duì)不同的功能進(jìn)行優(yōu)化，而不是采用一體化集成方法。

在去中心化人工智能堆棧的每一層都聚集了大量初創(chuàng)公司，其中大多數(shù)是在過(guò)去的1-3年里成立的。很明顯，該領(lǐng)域還處于早期階段。

我所見(jiàn)過(guò)的最全面最新的Crypto AI創(chuàng)業(yè)地圖是由Casey和她的團(tuán)隊(duì)在topology.vc上維護(hù)的。這對(duì)任何追蹤該領(lǐng)域的人來(lái)說(shuō)都是無(wú)價(jià)的資源。

當(dāng)我深入研究Crypto AI子領(lǐng)域時(shí)，我不斷問(wèn)自己：其中的機(jī)會(huì)有多大？我對(duì)小打小鬧不感興趣——我尋找的是能達(dá)到數(shù)千億美元規(guī)模的市場(chǎng)。

（1）市場(chǎng)規(guī)模

讓我們先來(lái)看市場(chǎng)規(guī)模。當(dāng)評(píng)估一個(gè)細(xì)分領(lǐng)域時(shí)，我會(huì)問(wèn)自己：它是在創(chuàng)造一個(gè)全新市場(chǎng)還是在破壞一個(gè)現(xiàn)有市場(chǎng)？

以去中心化計(jì)算為例。這是一個(gè)顛覆性的類別，其潛力可以通過(guò)觀察現(xiàn)有的云計(jì)算市場(chǎng)來(lái)評(píng)估，目前市值約為6800億美元，預(yù)計(jì)到2032年將達(dá)到2.5萬(wàn)億美元。

史無(wú)前例的新市場(chǎng)，比如人工智能代理，則更難量化。在沒(méi)有歷史數(shù)據(jù)的情況下，對(duì)它們的評(píng)估需要根據(jù)的猜測(cè)以及評(píng)估他們正在解決的問(wèn)題。需要注意的是，有時(shí)候，看起來(lái)像一個(gè)新市場(chǎng)的東西，實(shí)際上只是一個(gè)努力尋找問(wèn)題的解決方案。

（2）時(shí)機(jī)

時(shí)機(jī)就是一切。隨著時(shí)間的推移，技術(shù)往往會(huì)改進(jìn)并變得成本更低，但發(fā)展速度各不相同。

某一特定細(xì)分領(lǐng)域的技術(shù)成熟程度如何？它是否已經(jīng)準(zhǔn)備好實(shí)現(xiàn)規(guī)模化采用，還是仍處于研究階段，實(shí)際應(yīng)用還需要幾年時(shí)間？時(shí)機(jī)決定了一個(gè)行業(yè)是值得人們立即關(guān)注還是“觀望”。

以全同態(tài)加密（FHE）為例：其潛力是不可否認(rèn)的，但目前它的發(fā)展速度仍然太慢，無(wú)法被廣泛使用。我們可能還需要幾年時(shí)間才能看到它受到主流采用。通過(guò)首先關(guān)注更接近規(guī)模化的領(lǐng)域，我可以把時(shí)間和精力花在正在積聚勢(shì)頭和機(jī)會(huì)的領(lǐng)域。

如果我要把這些類別映射到一個(gè)規(guī)模與時(shí)間圖表上，它看起來(lái)就像這樣。請(qǐng)記住，這還是一個(gè)概念圖，而不是一個(gè)硬性指南。有很多細(xì)微差別——例如，在可驗(yàn)證推理中，不同的方法（如zkML和opML）具有不同的使用就緒級(jí)別。

也就是說(shuō)，我相信人工智能的規(guī)模將如此之大，即使是今天看起來(lái)“小眾”的領(lǐng)域也可能演變成一個(gè)重要的市場(chǎng)。

同樣值得注意的是，技術(shù)進(jìn)步并不總是沿著一條直線前進(jìn)——它經(jīng)常是突飛猛進(jìn)的。當(dāng)突然爆發(fā)時(shí)，我對(duì)時(shí)機(jī)和市場(chǎng)規(guī)模的看法將發(fā)生變化。

有了這個(gè)框架，讓我們來(lái)具體來(lái)看各個(gè)子領(lǐng)域。

2、領(lǐng)域一：去中心化計(jì)算

去中心化計(jì)算是去中心化人工智能的支柱。

GPU市場(chǎng)、去中心化訓(xùn)練和去中心化推理是緊密聯(lián)系在一起的。

供應(yīng)端通常來(lái)自中小型數(shù)據(jù)中心和消費(fèi)者GPU。

需求面雖小，但仍在增長(zhǎng)。如今，它來(lái)自對(duì)價(jià)格敏感、對(duì)延遲不敏感的用戶和規(guī)模較小的人工智能初創(chuàng)公司。

目前Web3 GPU市場(chǎng)面臨的最大挑戰(zhàn)是如何讓它們正常運(yùn)行。

在去中心化網(wǎng)絡(luò)上協(xié)調(diào)GPU需要先進(jìn)的工程技術(shù)和設(shè)計(jì)良好、可靠的網(wǎng)絡(luò)架構(gòu)。

2.1 GPU市場(chǎng)/計(jì)算網(wǎng)絡(luò)

有幾個(gè)Crypto AI團(tuán)隊(duì)正在針對(duì)無(wú)法滿足需求的GPU短缺，建立去中心化網(wǎng)絡(luò)，利用全球的潛在算力。

GPU市場(chǎng)的核心價(jià)值主張有3方面：

你可以以比AWS“低90%”的價(jià)格訪問(wèn)計(jì)算，這是因?yàn)闆](méi)有中間商并開(kāi)放了供應(yīng)端。從本質(zhì)上講，這些市場(chǎng)允許你利用全球最低的邊際計(jì)算成本。

更大的靈活性：沒(méi)有鎖定合同，沒(méi)有KYC流程，沒(méi)有等待時(shí)間。

抗審查性

為了解決市場(chǎng)供應(yīng)端問(wèn)題，這些市場(chǎng)的算力來(lái)源于：

難尋需求的中小型數(shù)據(jù)中心的企業(yè)級(jí)GPU（例如A100、H100），或者是尋求多樣化的比特幣礦工。我還知道一些團(tuán)隊(duì)致力于政府資助的大型基礎(chǔ)設(shè)施項(xiàng)目，在這些項(xiàng)目中，作為技術(shù)增長(zhǎng)計(jì)劃一部分的數(shù)據(jù)中心已經(jīng)建成。這些GPU提供商通常被激勵(lì)將他們的GPUT保留在網(wǎng)絡(luò)上，這有助于他們抵消GPU的攤銷成本。

數(shù)百萬(wàn)玩家和家庭用戶的消費(fèi)級(jí)GPU，他們將電腦連接到網(wǎng)絡(luò)換取代幣獎(jiǎng)勵(lì)。

另一方面，今天對(duì)去中心化計(jì)算的需求來(lái)自：

價(jià)格敏感、延遲不敏感的用戶。這個(gè)細(xì)分市場(chǎng)優(yōu)先考慮價(jià)格而不是速度。想想探索新領(lǐng)域的研究人員、獨(dú)立AI開(kāi)發(fā)者和其他不需要實(shí)時(shí)處理的成本意識(shí)較強(qiáng)的用戶。由于受預(yù)算限制，他們中的許多人可能不滿于傳統(tǒng)的超大規(guī)模服務(wù)器（如AWS或Azure）。因?yàn)樗麄冊(cè)谌巳褐蟹植己軓V，所以有針對(duì)性的營(yíng)銷對(duì)于吸引這一群體至關(guān)重要。

小型人工智能初創(chuàng)公司，他們面臨著在不與主要云提供商簽訂長(zhǎng)期合同的情況下獲得靈活、可擴(kuò)展的計(jì)算資源的挑戰(zhàn)。業(yè)務(wù)發(fā)展對(duì)于吸引這一細(xì)分市場(chǎng)至關(guān)重要，因?yàn)樗麄冋诜e極尋求超大規(guī)模鎖定的替代方案。

Crypto AI初創(chuàng)公司，他們構(gòu)建去中心化人工智能產(chǎn)品，但沒(méi)有自己的算力供應(yīng)，將需要利用其中一個(gè)網(wǎng)絡(luò)的資源。

云游戲：雖然不是直接由AI驅(qū)動(dòng)的，但云游戲?qū)PU資源的需求正越來(lái)越大。

要記住的關(guān)鍵一點(diǎn)是：開(kāi)發(fā)人員總是優(yōu)先考慮成本和可靠性。

真正的挑戰(zhàn)在于需求，而非供給。

這一領(lǐng)域的初創(chuàng)公司經(jīng)常將其GPU供應(yīng)網(wǎng)絡(luò)的規(guī)模作為成功的標(biāo)志。但這是一種誤導(dǎo)——它充其量不過(guò)是一種虛榮的衡量標(biāo)準(zhǔn)。

真正的制約因素不是供給，而是需求。跟蹤的關(guān)鍵指標(biāo)不是可用的GPU數(shù)量，而是利用率和實(shí)際出租的GPU數(shù)量。

代幣在引導(dǎo)供應(yīng)方面表現(xiàn)出色，創(chuàng)造了迅速擴(kuò)大規(guī)模所需的激勵(lì)。然而，它們并不能從本質(zhì)上解決需求問(wèn)題。真正的考驗(yàn)是讓產(chǎn)品達(dá)到一個(gè)足夠好的狀態(tài)，從而實(shí)現(xiàn)潛在需求。

關(guān)于這一點(diǎn)，Haseeb Qureshi（Dragonfly）說(shuō)得好：

使計(jì)算網(wǎng)絡(luò)真正可以工作

與普遍的看法相反，web3分布式GPU市場(chǎng)目前面臨的最大障礙就是讓它們正常工作。

這并不是一個(gè)微不足道的問(wèn)題。

在分布式網(wǎng)絡(luò)中協(xié)調(diào)GPU是非常復(fù)雜的，有很多挑戰(zhàn)——資源分配、動(dòng)態(tài)工作負(fù)載擴(kuò)展、節(jié)點(diǎn)和GPU間的負(fù)載平衡、延遲管理、數(shù)據(jù)傳輸、容錯(cuò)以及處理分散在不同地理位置的各種硬件。我還可以繼續(xù)說(shuō)下去。

實(shí)現(xiàn)這一點(diǎn)需要深思熟慮的工程設(shè)計(jì)和可靠的、設(shè)計(jì)合理的網(wǎng)絡(luò)架構(gòu)。

為了更好地理解，想想谷歌的Kubernetes。它被普遍認(rèn)為是容器編排的黃金標(biāo)準(zhǔn)，在分布式環(huán)境中自動(dòng)化負(fù)載平衡和擴(kuò)展等過(guò)程，這與分布式GPU網(wǎng)絡(luò)面臨的挑戰(zhàn)非常相似。Kubernetes本身是建立在谷歌十多年的經(jīng)驗(yàn)基礎(chǔ)上的，即使在那時(shí)，它也需要數(shù)年的不懈迭代才能表現(xiàn)良好。

目前已經(jīng)上線的一些GPU計(jì)算市場(chǎng)可以處理小規(guī)模的工作負(fù)載，但一旦它們嘗試擴(kuò)展，就會(huì)出現(xiàn)問(wèn)題。我懷疑這是因?yàn)樗鼈兊募軜?gòu)基礎(chǔ)設(shè)計(jì)很糟糕。

去中心化計(jì)算網(wǎng)絡(luò)的另一個(gè)挑戰(zhàn)/機(jī)遇是確保可信度：驗(yàn)證每個(gè)節(jié)點(diǎn)實(shí)際上提供了所聲稱的計(jì)算能力。目前，這依賴于網(wǎng)絡(luò)聲譽(yù)，在某些情況下，算力提供商根據(jù)聲譽(yù)評(píng)分進(jìn)行排名。區(qū)塊鏈似乎很適合于無(wú)需信任的驗(yàn)證系統(tǒng)。像Gensyn和Spheron這樣的初創(chuàng)公司正在力求使用一種無(wú)需信任的方法來(lái)解決這個(gè)問(wèn)題。

今天，許多web3團(tuán)隊(duì)仍在應(yīng)對(duì)這些挑戰(zhàn)，這也意味著機(jī)會(huì)之門是敞開(kāi)的。

去中心化計(jì)算市場(chǎng)規(guī)模

去中心化計(jì)算網(wǎng)絡(luò)市場(chǎng)有多大？

如今，它可能只是價(jià)值6800億至2.5萬(wàn)億美元的云計(jì)算行業(yè)的一小部分。然而，盡管增加了用戶的摩擦，但只要成本低于傳統(tǒng)供應(yīng)商，總是會(huì)有需求的。

我相信，由于代幣補(bǔ)貼和對(duì)價(jià)格不敏感的用戶的供應(yīng)解鎖，成本將在中短期內(nèi)保持較低水平（例如，如果我能出租我的游戲筆記本電腦賺取額外現(xiàn)金，無(wú)論是每月20美元還是50美元，我都會(huì)很高興的）。

但是去中心化計(jì)算網(wǎng)絡(luò)的真正增長(zhǎng)潛力——以及它們的TAM的真正擴(kuò)展——將出現(xiàn)于下列情況之中：

人工智能模型去中心化訓(xùn)練變得實(shí)用。

對(duì)推理的需求激增，現(xiàn)有數(shù)據(jù)中心無(wú)法滿足需求。這種情況已經(jīng)開(kāi)始顯現(xiàn)。Jensen Huang表示，推理需求將增長(zhǎng)“十億倍”。

適當(dāng)?shù)姆?wù)水平協(xié)議（SLA）變得可用，解決企業(yè)采用的一大關(guān)鍵障礙。目前，去中心化計(jì)算的運(yùn)行情況讓用戶感受到不同水平的服務(wù)質(zhì)量（例如正常運(yùn)行時(shí)間占比）。有了SLA，這些網(wǎng)絡(luò)可以提供標(biāo)準(zhǔn)化的可靠性和性能指標(biāo)，使去中心化計(jì)算成為傳統(tǒng)云計(jì)算提供商的可行替代方案。

去中心化無(wú)需許可計(jì)算是去中心化人工智能生態(tài)系統(tǒng)的基礎(chǔ)層——基礎(chǔ)設(shè)施。

盡管GPU的供應(yīng)鏈正在不斷擴(kuò)大，但我相信我們尚處于人類智能時(shí)代的黎明。對(duì)計(jì)算的需求將是無(wú)法滿足的。

需要注意可能引發(fā)所有運(yùn)行GPU市場(chǎng)重新評(píng)級(jí)的拐點(diǎn)，可能很快就會(huì)到來(lái)。

其他注意事項(xiàng)：

純粹的GPU市場(chǎng)是擁擠的，去中心化平臺(tái)之間競(jìng)爭(zhēng)激烈，以及web2 AI新興云服務(wù)（如Vast.ai和Lambda的崛起。

小節(jié)點(diǎn)（如4 x H100）的需求并不大，因?yàn)樗鼈兊氖褂糜邢蓿亲Ｄ愫眠\(yùn)能夠找到銷售大型集群的人——它們?nèi)匀挥幸欢ǖ男枨蟆?/p>

一個(gè)占主導(dǎo)地位的玩家會(huì)為去中心化協(xié)議聚合所有算力供應(yīng)，還是會(huì)在多個(gè)市場(chǎng)中保持算力分散？我傾向于前者，因?yàn)檎贤ǔ?huì)提高基礎(chǔ)設(shè)施效率。但這需要時(shí)間，與此同時(shí)，分裂和混亂仍在繼續(xù)。

開(kāi)發(fā)人員希望專注于應(yīng)用程序開(kāi)發(fā)，而不是應(yīng)對(duì)部署和配置。市場(chǎng)必須抽象出這些復(fù)雜性，使計(jì)算訪問(wèn)盡可能無(wú)摩擦。

2.2 去中心化訓(xùn)練

如果擴(kuò)展定律成立，那么在單個(gè)數(shù)據(jù)中心訓(xùn)練下一代前沿人工智能模型將在某一天變得不可能。

訓(xùn)練AI模型需要在GPU之間傳輸大量數(shù)據(jù)。分布式GPU之間較低的數(shù)據(jù)傳輸（互連）速度通常是最大的障礙。

研究人員正在同步探索多種方法，并且正在取得突破（例如Open DiLoCo、DisTrO）。這些進(jìn)步將疊加聚集，加速該領(lǐng)域的進(jìn)步。

去中心化訓(xùn)練的未來(lái)可能系于為小眾應(yīng)用設(shè)計(jì)小型專用模型，而不是前沿的、以AGI為中心的模型。

隨著向OpenAI o1等模型的轉(zhuǎn)變，推理需求將會(huì)飆升，為去中心化推理網(wǎng)絡(luò)創(chuàng)造機(jī)會(huì)。

想象一下：一個(gè)巨大的、改變世界的人工智能模型，不是在秘密的精英實(shí)驗(yàn)室開(kāi)發(fā)的，而是由數(shù)百萬(wàn)普通人塑造的。玩家們的GPU通常會(huì)創(chuàng)造出《使命召喚》劇場(chǎng)般的爆炸場(chǎng)面，現(xiàn)在他們把自己的硬件借給了更宏大的東西——一個(gè)開(kāi)源的、集體擁有的、沒(méi)有中央看門人的人工智能模型。

在這樣一個(gè)未來(lái)，基金會(huì)規(guī)模的模型不僅囿于頂級(jí)人工智能實(shí)驗(yàn)室。

但讓我們把這一愿景根植于當(dāng)下的現(xiàn)實(shí)中來(lái)。目前，重量級(jí)人工智能訓(xùn)練的大部頭仍然集中在中心化數(shù)據(jù)中心，這可能會(huì)成為一段時(shí)間的常態(tài)。

像OpenAI這樣的公司正在擴(kuò)大他們龐大的集群。埃隆·馬斯克（Elon Musk）最近宣布，xAI即將建成一個(gè)相當(dāng)于20萬(wàn)個(gè)H100 GPU的數(shù)據(jù)中心。

但這不僅僅關(guān)乎原始GPU計(jì)數(shù)。模型FLOPS利用率（MFU）是谷歌在2022年的PaLM研究文章中提出的一個(gè)指標(biāo)，它跟蹤GPU最大容量的使用效率。令人驚訝的是，MFU通常徘徊在35-40%之間。

為什么這么低？按照摩爾定律，GPU的性能在過(guò)去幾年里突然飛升，但網(wǎng)絡(luò)、內(nèi)存和存儲(chǔ)的改進(jìn)卻明顯落后，形成了瓶頸。因此，GPU經(jīng)常處于限制狀態(tài)，等待數(shù)據(jù)。

今天的人工智能訓(xùn)練仍然高度集中，因?yàn)橐粋€(gè)詞——效率。

訓(xùn)練大型模型取決于以下技術(shù)：

數(shù)據(jù)并行：跨多個(gè)GPU拆分?jǐn)?shù)據(jù)集并行執(zhí)行操作，加速訓(xùn)練過(guò)程。

模型并行：將模型的各部分分布在多個(gè)GPU之間，繞過(guò)內(nèi)存約束。

這些方法需要GPU不斷地交換數(shù)據(jù)，互連速度——數(shù)據(jù)在網(wǎng)絡(luò)中跨計(jì)算機(jī)傳輸?shù)乃俾省妥兊弥陵P(guān)重要。

當(dāng)前沿人工智能模型訓(xùn)練的成本超過(guò)10億美元時(shí)，每一次效率提升都很重要。

通過(guò)高速互連，集中式數(shù)據(jù)中心能夠在GPU之間快速傳輸數(shù)據(jù)，并在訓(xùn)練時(shí)間內(nèi)節(jié)省大量成本，這是去中心化設(shè)置無(wú)法比擬的。

克服緩慢的互連速度

如果你與人工智能領(lǐng)域的工作人員交談，許多人都會(huì)告訴你，去中心化訓(xùn)練根本行不通。

在去中心化設(shè)置下，GPU集群不是物理上共存的，因此在它們之間傳輸數(shù)據(jù)要慢得多，成為瓶頸。訓(xùn)練需要GPU在每一步同步、交換數(shù)據(jù)。它們距離越遠(yuǎn)，延遲越高。更高的延遲意味著更慢的訓(xùn)練速度和更高的成本。

在集中式數(shù)據(jù)中心可能需要幾天的時(shí)間，在去中心化數(shù)據(jù)中心可能會(huì)延長(zhǎng)到兩周，成本也更高。這根本不可行。

但這種情況即將改變。

好消息是，人們對(duì)分布式訓(xùn)練的研究興趣激增。研究人員正在同時(shí)探索多種方法，大量的研究和已發(fā)表論文證明了這一點(diǎn)。這些進(jìn)步將疊加融合，加速該領(lǐng)域的進(jìn)步。

這也關(guān)乎生產(chǎn)環(huán)境測(cè)試，看看我們能在多大程度上突破界限。

一些去中心化訓(xùn)練技術(shù)已經(jīng)可以在緩慢的互連環(huán)境中處理較小模型。現(xiàn)在，前沿研究正在推動(dòng)這些方法在大模型中的應(yīng)用。

例如，Prime Intellect的開(kāi)源DiCoLo一文展示了一種實(shí)用方法，該方法涉及GPU“孤島”，在同步之前執(zhí)行500個(gè)本地步驟，將帶寬需求削減了500倍。從一開(kāi)始的谷歌DeepMind對(duì)小模型的研究已經(jīng)在11月內(nèi)擴(kuò)展到訓(xùn)練100億個(gè)參數(shù)的模型，并且如今完全開(kāi)源。

Nous Research正在通過(guò)他們的DisTrO框架提高標(biāo)準(zhǔn)，該框架使用優(yōu)化器在訓(xùn)練1.2B參數(shù)模型的同時(shí)，將GPU間的通信要求降低了令10,000倍，令人瞠目結(jié)舌。

而且這種勢(shì)頭還在不斷增強(qiáng)。去年12月，Nous宣布了一個(gè)15B參數(shù)模型的預(yù)訓(xùn)練，該模型具有損失曲線（模型誤差如何隨時(shí)間減少）和收斂率（模型性能穩(wěn)定的速度），這與集中式訓(xùn)練的典型結(jié)果相匹配甚至更勝一籌。是的，比中心化要好。

SWARM Parallelism和DTFMHE是跨不同類型設(shè)備訓(xùn)練大型AI模型的其他不同方法，即使這些設(shè)備具有不同的速度和連接水平。

管理各種各樣的GPU硬件是另一大挑戰(zhàn)，包括去中心化網(wǎng)絡(luò)中典型的內(nèi)存受限的消費(fèi)級(jí)GPU。像模型并行（跨設(shè)備劃分模型層）這樣的技術(shù)可以幫助實(shí)現(xiàn)這一點(diǎn)。

去中心化訓(xùn)練的未來(lái)

目前去中心化訓(xùn)練方法的模型規(guī)模仍然遠(yuǎn)遠(yuǎn)低于前沿模型（據(jù)報(bào)道，GPT-4的參數(shù)接近一萬(wàn)億，比Prime Intellect的10B模型大100倍）。為了實(shí)現(xiàn)真正的規(guī)模化，我們需要在模型架構(gòu)、更好的網(wǎng)絡(luò)基礎(chǔ)設(shè)施和更智能的跨設(shè)備任務(wù)分配方面取得突破。

我們可以有遠(yuǎn)大的夢(mèng)想。想象一下這樣一個(gè)世界：去中心化訓(xùn)練所聚集的GPU計(jì)算能力甚至比最大的集中式數(shù)據(jù)中心所能聚集的還要多。

Pluralis Research（一個(gè)專注于去中心化培訓(xùn)的精銳團(tuán)隊(duì)，值得密切關(guān)注）認(rèn)為這不僅是可能的，而且是不可避免的。集中式數(shù)據(jù)中心受到空間和電力可用性等物理?xiàng)l件限制，而去中心化網(wǎng)絡(luò)可以利用真正無(wú)限的全球資源池。

就連英偉達(dá)（NVIDIA）的Jensen Huang也承認(rèn)，異步去中心化訓(xùn)練可以釋放人工智能擴(kuò)展的真正潛力。分布式訓(xùn)練網(wǎng)絡(luò)也更具有容錯(cuò)性。

因此，在一個(gè)可能的未來(lái)世界，全球最強(qiáng)大的人工智能模型將以一種去中心化方式被訓(xùn)練。

這是一個(gè)令人興奮的前景，但我目前還沒(méi)有完全相信。我們需要更有力的證據(jù)來(lái)證明，對(duì)最大的模型進(jìn)行去中心化訓(xùn)練在技術(shù)上和經(jīng)濟(jì)上都是可行的。

我在這當(dāng)中看到了巨大的希望：去中心化訓(xùn)練最好的一點(diǎn)可能在于為目標(biāo)用例設(shè)計(jì)的小型專用開(kāi)源模型，而不是與超大的AGI驅(qū)動(dòng)的前沿模型競(jìng)爭(zhēng)。某些架構(gòu)，尤其是非transformer模型，已經(jīng)被證明非常適合去中心化設(shè)置。

這個(gè)謎題還有另一部分：代幣。一旦去中心化訓(xùn)練在規(guī)模上變得可行，代幣就可以在激勵(lì)和獎(jiǎng)勵(lì)貢獻(xiàn)者方面發(fā)揮關(guān)鍵作用，有效地引導(dǎo)這些網(wǎng)絡(luò)。

實(shí)現(xiàn)這一愿景的道路還很漫長(zhǎng)，但進(jìn)展令人鼓舞。由于未來(lái)模型的規(guī)模將超過(guò)單個(gè)數(shù)據(jù)中心的容量，去中心化訓(xùn)練的進(jìn)步將使所有人受益，甚至包括大型科技公司和頂級(jí)人工智能研究實(shí)驗(yàn)室。

未來(lái)是分布式的。當(dāng)一項(xiàng)技術(shù)擁有如此廣泛的潛力時(shí)，歷史表明它總是比所有人預(yù)期的都要更好、更快。

2.3. 去中心化推理

目前，人工智能的大部分計(jì)算能力都集中在訓(xùn)練大規(guī)模模型上。頂尖的人工智能實(shí)驗(yàn)室正在進(jìn)行一場(chǎng)競(jìng)賽，看誰(shuí)能開(kāi)發(fā)出最好的基礎(chǔ)模型，并最終實(shí)現(xiàn)AGI。

但我的看法是：在未來(lái)幾年，這種專注于訓(xùn)練的計(jì)算將轉(zhuǎn)向推理。隨著人工智能越來(lái)越多地融入到我們?nèi)粘Ｊ褂玫膽?yīng)用程序中——從醫(yī)療保健到娛樂(lè)——支持推理所需的計(jì)算資源量將非常驚人。

這不僅僅是猜測(cè)。推理時(shí)間計(jì)算擴(kuò)展（inference-time compute scaling）是人工智能領(lǐng)域的最新流行語(yǔ)。OpenAI最近發(fā)布了其最新模型01（代號(hào)：Strawberry）的預(yù)覽/迷你版，這是一個(gè)重大轉(zhuǎn)變嗎？需要花時(shí)間思考，首先問(wèn)自己應(yīng)該采取哪些步驟來(lái)回答這個(gè)問(wèn)題，然后逐步進(jìn)行。

這個(gè)模型是為更復(fù)雜的、需要大量計(jì)劃的任務(wù)而設(shè)計(jì)的，比如填字游戲，以及需要更深層推理的問(wèn)題。你會(huì)注意到它變慢了，需要更多的時(shí)間來(lái)生成響應(yīng)，但結(jié)果卻更加深思熟慮和細(xì)致入微。它的運(yùn)行成本也高得多（是GPT-4的25倍）。

重心的轉(zhuǎn)變很明顯：人工智能性能的下一個(gè)飛躍將不僅僅來(lái)自訓(xùn)練更大的模型，還來(lái)自在推理過(guò)程中擴(kuò)展計(jì)算應(yīng)用。

如果你想了解更多，一些研究文章表明：

通過(guò)重復(fù)采樣來(lái)擴(kuò)展推理計(jì)算，可以在各種任務(wù)之間獲得很大的改進(jìn)。

也有一個(gè)用于推理的擴(kuò)展指數(shù)定律。

一旦強(qiáng)大的模型被訓(xùn)練出來(lái)，它們的推理任務(wù)——模型所做的事情——就可以被轉(zhuǎn)移到去中心化計(jì)算網(wǎng)絡(luò)上。這不無(wú)道理，因?yàn)椋?/p>

與訓(xùn)練相比，推理所需的資源要少得多。經(jīng)過(guò)訓(xùn)練后，可以使用量化（quantization）、剪枝（pruning）或蒸餾（distillation）等技術(shù)對(duì)模型進(jìn)行壓縮和優(yōu)化。它們甚至可以分解在日常消費(fèi)設(shè)備上運(yùn)行。你不需要高端GPU來(lái)支持推理。

這已經(jīng)發(fā)生了。Exo Labs已經(jīng)找到了如何在MacBook和Mac Mini等消費(fèi)級(jí)硬件上運(yùn)行450B參數(shù)Llama3模型的方法。跨多設(shè)備分布推理可以高效且經(jīng)濟(jì)地處理大規(guī)模工作負(fù)載。

更好的用戶體驗(yàn)。在離用戶更近的地方運(yùn)行計(jì)算可以減少延遲，這對(duì)于游戲、AR或自動(dòng)駕駛汽車等實(shí)時(shí)應(yīng)用至關(guān)重要。每一毫秒都很重要。

把去中心化推理想象成人工智能的CDN（內(nèi)容分發(fā)網(wǎng)絡(luò)）：去中心化推理利用本地計(jì)算能力，在創(chuàng)紀(jì)錄的時(shí)間內(nèi)提供人工智能響應(yīng)，而不是通過(guò)連接到附近的服務(wù)器來(lái)快速提供網(wǎng)站。通過(guò)采用去中心化推理，人工智能應(yīng)用程序變得更高效、響應(yīng)更快、更可靠。

趨勢(shì)很明顯。蘋果新推出的M4 Pro芯片與英偉達(dá)的RTX 3070 Ti競(jìng)爭(zhēng)，直到最近，RTX 3070 Ti還是硬核游戲玩家的領(lǐng)地。我們的硬件越來(lái)越有能力處理高級(jí)人工智能工作負(fù)載。

Crypto的增值

去中心化推理網(wǎng)絡(luò)要想取得成功，就必須有令人信服的經(jīng)濟(jì)激勵(lì)。網(wǎng)絡(luò)中的節(jié)點(diǎn)需要因其算力貢獻(xiàn)獲得補(bǔ)償。該制度必須確保公平有效地分配獎(jiǎng)勵(lì)。地理多樣性是必要的，可以減少推理任務(wù)的延遲，并提高容錯(cuò)性。

建立去中心化網(wǎng)絡(luò)的最佳方式是什么？Crypto。

代幣提供了一種強(qiáng)大的機(jī)制來(lái)協(xié)調(diào)參與者的利益，確保每個(gè)人都朝著同一個(gè)目標(biāo)努力：擴(kuò)展網(wǎng)絡(luò)并提高代幣價(jià)值。

代幣也加速了網(wǎng)絡(luò)的增長(zhǎng)。它們通過(guò)獎(jiǎng)勵(lì)早期采用者以及從第一天起推動(dòng)參與度，幫助解決了經(jīng)典的雞生蛋還是蛋生雞的問(wèn)題，這個(gè)問(wèn)題阻礙了大多數(shù)網(wǎng)絡(luò)的發(fā)展。

比特幣和以太坊的成功證明了這一點(diǎn)——它們已經(jīng)聚集了地球上最大的算力池。

去中心化推理網(wǎng)絡(luò)將是下一個(gè)。由于地域的多樣性，它們減少了延遲，提高了容錯(cuò)性，使人工智能更接近用戶。在加密激勵(lì)下，它們將比傳統(tǒng)網(wǎng)絡(luò)更快、更好地?cái)U(kuò)展。

（未完待續(xù)，敬請(qǐng)關(guān)注）