10月14日消息，昨夜，前特斯拉人工智能與自動駕駛視覺總監(jiān)、OpenAI研究員安德烈·卡帕西（Andrej Karpathy）開源nanochat，號稱可以只用不到100美元（約合人民幣711.5元）訓(xùn)練出“簡易版ChatGPT”，一經(jīng)發(fā)布在GitHub上就獲得了5.6k星。

nanochat Github主頁（來源：Github）

與其早期只涵蓋預(yù)訓(xùn)練的nanoGPT不同，nanochat是一個極簡的、從零構(gòu)建的全棧訓(xùn)練/推理流程，用最精簡的依賴代碼庫實現(xiàn)了“簡易版ChatGPT”。

安德烈·卡帕西（Andrej Karpathy）推文截圖（來源：X）

卡帕西在評論區(qū)中回復(fù)稱，nanochat的基本架構(gòu)類似Meta的Llama，但有所簡化，并吸收了modded-nanoGPT的一些改進。

他還透露，截至指令微調(diào)（SFT）階段，整個訓(xùn)練耗時3小時51分鐘，總成本為92.4美元（約合人民幣657.4元），“這樣我們甚至還能剩下8美元買個冰淇淋犒勞自己。”他開玩笑道。

值得注意的是，由于目前對強化學(xué)習(xí)（RL）的支持尚不完善，卡帕西稱他并未將其計入總運行時間。

也就是說，開發(fā)者只需啟動云GPU實例，運行單個腳本，只需不到100美元（約合人民幣711.5元），最快4小時，就能訓(xùn)練出可進行簡單對話、創(chuàng)作故事詩歌、回答基礎(chǔ)問題的“簡易版ChatGPT”。

訓(xùn)練約12小時，模型即可在評估模型推理能力、知識基礎(chǔ)等基礎(chǔ)能力的CORE指標(biāo)上超越GPT-2。卡帕西還透露，當(dāng)投入提升至約1000美元（約合人民幣7114.7元），訓(xùn)練41.6小時后，模型表現(xiàn)還將顯著提升，能夠解決基礎(chǔ)數(shù)學(xué)/編程問題并通過選擇題測試。

例如，深度為30的模型訓(xùn)練24小時（相當(dāng)于GPT-3 Small 125M的計算量，約為GPT-3的千分之一）后，在多任務(wù)的語言理解基準(zhǔn)MMLU得分超40分，在簡單常識推理任務(wù)ARC-Easy超70分，在數(shù)學(xué)推理能力基準(zhǔn)測試GSM8K中獲得超20分的成績。

nanochat性能表格（來源：Github）

這個有著8304行代碼的項目實現(xiàn)了以下功能：

1、使用新的Rust實現(xiàn)訓(xùn)練分詞器；

2、在FineWeb數(shù)據(jù)集上預(yù)訓(xùn)練Transformer LLM，并通過CORE指標(biāo)多維度評估；

3、使用SmolTalk的用戶-助手對話數(shù)據(jù)、選擇題數(shù)據(jù)和工具使用數(shù)據(jù)進行中期訓(xùn)練；

4、進行指令微調(diào)，在常識選擇題（ARC-E/C、MMLU）、數(shù)學(xué)（GSM8K）、代碼（HumanEval）等基準(zhǔn)上評估聊天模型；

5、可選使用“GRPO”算法在GSM8K數(shù)據(jù)集上進行強化學(xué)習(xí)；

6、通過帶KV緩存的引擎實現(xiàn)高效推理，支持簡單預(yù)填充/解碼和工具調(diào)用（輕量級沙箱中的Python解釋器），可通過CLI或類ChatGPT網(wǎng)頁界面交互；

7、生成單頁Markdown評估報告，以游戲化方式總結(jié)全流程。

在原推文的評論區(qū)中，卡帕西還給出了一個nanochat與用戶對話的案例。在這個對話中，基礎(chǔ)版nanochat已經(jīng)實現(xiàn)AI聊天機器人的對話功能，并且可以根據(jù)要求撰寫詩歌。

nanochat功能演示（來源：X）

在卡帕西的推文下，網(wǎng)友們發(fā)出一致好評，有人稱“非常受到啟發(fā)”，甚至說“這個人（指卡帕西）簡直是個傳奇。”

網(wǎng)友評論節(jié)選（來源：X）

還有網(wǎng)友已經(jīng)做出了nanochat的可交互實時代碼圖譜，能夠更加直觀地探索這個代碼庫

結(jié)語：nanochat為AI開發(fā)成本控制路徑提供參考

nanochat項目的推出，為AI模型開發(fā)的成本控制提供了新的參考。該項目證明了，在適當(dāng)?shù)募軜?gòu)設(shè)計和流程優(yōu)化下，以100美元級別的成本實現(xiàn)基礎(chǔ)對話AI功能具備技術(shù)可行性。

雖然當(dāng)前版本在性能上仍與商用大模型存在差距，但其展現(xiàn)的性價比優(yōu)勢，為AI技術(shù)在更廣泛場景中的應(yīng)用拓展了可能性。隨著開源社區(qū)對該項目的持續(xù)優(yōu)化，這種高效開發(fā)模式或?qū)锳I技術(shù)普及帶來新的推動力。