小模型也開始卷起來了！

在麻省理工學院衍生公司Liquid AI發布了一款小到可以裝在智能手表上的新AI視覺模型，以及谷歌發布了一款可以在智能手機上運行的小型模型之后，英偉達也加入了這場浪潮，推出了自己的新型小型語言模型（SLM）：

Nemotron Nano v2。

這款9B的“小”模型在復雜推理基準測試上的準確率與Qwen3-8B相當或更高，速度快6倍。

再聯系到他們前些天發布的論文觀點：小模型才是智能體的未來，看來真不只是說說而已。

除了這款模型，他們首次“自豪地”開源了用于創建它的絕大部分數據，包括預訓練語料庫。

讓我們來看一下……20萬億？Nemotron Nano v2在20萬億多個token上進行預訓練？

與Qwen相比速度提升6倍

技術報告顯示，Nemotron Nano v2在復雜推理基準測試上的準確率與同等規模的領先開源模型Qwen3-8B相當或更高，同時吞吐量——也就是模型速度——最高可提升6倍。

這款模型由英偉達從頭訓練，設計目標是成為兼顧推理與非推理任務的統一模型。

模型在響應用戶查詢或執行任務時，會首先生成推理過程（reasoning trace），隨后輸出最終答案。該模型支持“思考”預算控制，在推理過程中，用戶可以指定模型被允許“思考”的token數量。

如果用戶希望模型直接給出最終答案（跳過中間推理步驟），可通過配置實現，但這一做法可能導致對復雜推理類提示的準確率下降。

相反，若允許模型先展示推理過程，通常能顯著提升最終答案的質量，尤其針對需邏輯分析的復雜任務。

面對網友“思考預算控制是如何實現的”的問題，英偉達的模型訓練師Oleksii Kuchaiev表示：

我們最初采用了與Qwen3相同的實現方法，但發現當強制要求模型直接輸出答案時，它仍會在預設的思維鏈之外進行“思考”。通過對截斷思維鏈的訓練，我們成功解決了這個問題。

基礎模型同樣開源

評估結果顯示，與其他開源小規模模型相比，Nemotron Nano v2在準確率上具有優勢。在 NeMo-Skills套件的“推理開啟”模式下測試，該模型在AIME25上達到72.1%，在MATH500上達到97.8%，在GPQA上達到64.0%，在LiveCodeBench上達到 71.1%。

在指令遵循和長上下文基準測試中的得分也有報告：在IFEval上達到 90.3%，在RULER 128K測試中達到 78.9%，在BFCL v3和HLE基準測試中也有較小但可測量的提升。

Nemotron Nano v2經過了以下訓練過程：

預訓練：模型使用FP8精度在20萬億個token上進行預訓練，采用Warmup-Stable-Decay學習率調度。隨后進入持續預訓練長上下文擴展階段，使其在不降低其他基準測試性能的情況下達到128k的能力。

后訓練：Nemotron Nano v2通過監督微調（SFT）、組相對策略優化（GRPO）、直接偏好優化（DPO）和人類反饋強化學習（RLHF）進行后訓練。約5%的數據包含故意截斷的推理軌跡，從而在推理時實現細粒度思考預算控制。

壓縮：最后，基礎模型和對齊模型均經過壓縮（剪枝和蒸餾），支持在單個NVIDIA A10G GPU（22 GiB 內存，bfloat16 精度）上進行128k token的上下文推理。這一成果是通過擴展基于Minitron的壓縮策略實現的，該策略專門針對受限條件下的推理模型壓縮需求而設計。

除了Nemotron Nano v2模型本身，英偉達還發布了兩個基礎模型NVIDIA-Nemotron-Nano-12B-v2-Base（對齊或剪枝前的基礎模型）和NVIDIA-Nemotron-Nano-9B-v2-Base（剪枝的基礎模型），對應模型訓練的不同階段，均支持128k上下文長度。

最后，Nemotron Nano v2當前支持在線試用，鏈接可見文末。

超大預訓練數據庫

除了Nemotron Nano v2，英偉達首次發布了他們用于創建模型的絕大部分數據，包括預訓練語料庫。

至于為什么是“絕大部分”，有網友問了這個問題，官方回復簡直不要太有道理（笑）。

預訓練數據集Nemotron-Pre-Training-Dataset-v1包含66萬億個優質網絡爬取、數學、代碼、SFT 和多語言問答數據，并分為四個類別：

Nemotron-CC-v2：作為Nemotron-CC的升級版本，新增收錄了2024至2025年間八個批次的Common Crawl網絡快照數據。數據已進行全球去重，并使用Qwen3-30B-A3B進行合成改寫。它還包含翻譯成15種語言的合成多樣化問答對，支持強大的多語言推理和通用知識預訓練。

Nemotron-CC-Math-v1: 一個基于Common Crawl、使用英偉達的Lynx + LLM流程生成的1330億token的數學專注數據集，在保留方程和代碼格式的同時，將數學內容標準化為LaTeX格式。這確保了關鍵的數學和代碼片段保持完整，從而生成高質量的預訓練數據，在基準測試中優于先前的數學數據集。

Nemotron-Pretraining-Code-v1: 一個大規模的精選代碼數據集，源自GitHub，并通過多階段去重、許可證執行和啟發式質量檢查進行過濾。它還包括11種編程語言的LLM生成的代碼問答對。

Nemotron-Pretraining-SFT-v1：一個綜合生成的數據集，涵蓋STEM、學術、推理和多語言領域。該數據集整合了多元化的高質量內容，包括從數學與科學核心題庫提取的復雜多選題和分析題、研究生階段的專業學術文獻，以及經過指令微調的SFT數據。

Nemotron-Pretraining-Dataset-sample：該數據集的一個小型抽樣版本提供了10個具有代表性的數據子集，涵蓋了高質量問答數據、數學專項內容、代碼元數據以及SFT指令數據。

那些數字看起來都嚇人，數零都得數半天（目移）。

One More Thing

順帶一提，最近英偉達的開源勢頭可以說是很猛了。

相比于其他國外科技巨頭陸續走向的閉源道路，英偉達構建的Nemotron生態直接把開源二字寫在了門面上。

無論是前段時間發布的Llama Nemotron Super v1.5，還是這次的Nemotron Nano v2，對標的也是國內開源模型Qwen3。

這樣的策略會給他們帶來什么？又會改變些什么？我們拭目以待。