論文の概要: NVIDIA Nemotron Nano 2: An Accurate and Efficient Hybrid Mamba-Transformer Reasoning Model

• arxiv url: http://arxiv.org/abs/2508.14444v2
• Date: Thu, 21 Aug 2025 04:18:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 11:56:34.499345
• Title: NVIDIA Nemotron Nano 2: An Accurate and Efficient Hybrid Mamba-Transformer Reasoning Model
• Title（参考訳）: NVIDIA Nemotron Nano 2: 高精度かつ効率的なハイブリッドマンバ変換器推論モデル
• Abstract要約: Nemotron-Nano-9B-v2は、推論処理のスループットを向上させるために設計されたハイブリッドのMamba-Transformer言語モデルである。 Nemotron-Nano-9B-v2はNemotron-Hアーキテクチャをベースにしており、共通のTransformerアーキテクチャの自己保持層の大部分をMamba-2層に置き換えている。
• 参考スコア（独自算出の注目度）: 176.41955574857624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Nemotron-Nano-9B-v2, a hybrid Mamba-Transformer language model designed to increase throughput for reasoning workloads while achieving state-of-the-art accuracy compared to similarly-sized models. Nemotron-Nano-9B-v2 builds on the Nemotron-H architecture, in which the majority of the self-attention layers in the common Transformer architecture are replaced with Mamba-2 layers, to achieve improved inference speed when generating the long thinking traces needed for reasoning. We create Nemotron-Nano-9B-v2 by first pre-training a 12-billion-parameter model (Nemotron-Nano-12B-v2-Base) on 20 trillion tokens using an FP8 training recipe. After aligning Nemotron-Nano-12B-v2-Base, we employ the Minitron strategy to compress and distill the model with the goal of enabling inference on up to 128k tokens on a single NVIDIA A10G GPU (22GiB of memory, bfloat16 precision). Compared to existing similarly-sized models (e.g., Qwen3-8B), we show that Nemotron-Nano-9B-v2 achieves on-par or better accuracy on reasoning benchmarks while achieving up to 6x higher inference throughput in reasoning settings like 8k input and 16k output tokens. We are releasing Nemotron-Nano-9B-v2, Nemotron-Nano12B-v2-Base, and Nemotron-Nano-9B-v2-Base checkpoints along with the majority of our pre- and post-training datasets on Hugging Face.
• Abstract（参考訳）: 提案するNemotron-Nano-9B-v2は,ワークロードの推論におけるスループット向上を目的としたハイブリッド型Mamba-Transformer言語モデルである。 Nemotron-Nano-9B-v2はNemotron-Hアーキテクチャ上に構築されており、共通トランスフォーマーアーキテクチャの自己認識層の大部分をMamba-2層に置き換えることで、推論に必要な長い思考トレースを生成する際の推論速度の向上を実現している。 まず、FP8トレーニングレシピを用いて、20兆個のトークン上で12ビリオンパラメータモデル(Nemotron-Nano-12B-v2-Base)を事前トレーニングすることで、Nemotron-Nano-9B-v2を作成する。 我々はNemotron-Nano-12B-v2-Baseを調整した後、単一のNVIDIA A10G GPU(22GiBのメモリ、bfloat16の精度)上で最大128kトークンの推論を可能にするために、Minitron戦略を用いてモデルを圧縮・蒸留する。 従来のモデル(例えばQwen3-8B)と比較すると,Nemotron-Nano-9B-v2 は推論の精度を最大6倍に向上し,推論の精度は 8k 入力や 16k 出力トークンなどの推論設定で最大6倍に向上する。 私たちはNemotron-Nano-9B-v2、Nemotron-Nano12B-v2-Base、Nemotron-Nano-9B-v2-Baseのチェックポイントと、Hugging Faceの事前および後トレーニングデータセットの大部分をリリースしています。

関連論文リスト

• Nemotron 3 Nano Omni: Efficient and Open Multimodal Intelligence [215.36956014523926]
  ネモトロン3 ナノオムニ(Nemotron 3 Nano Omni)は、ネモトロン・マルチモーダルシリーズの最新モデルである。 テキスト、画像、ビデオと共に音声入力をサポートするのは、これが初めてである。
  論文  参考訳（メタデータ） (2026-04-27T19:49:21Z)
• Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning [262.0414794728708]
  ネモトロン3スーパーの事前学習、後学習、量子化について述べる。 Nemotron 3 Superは1200億(アクティブ120億)のパラメータハイブリッドMamba-Attention Mixture-of-Expertsモデルである。
  論文  参考訳（メタデータ） (2026-04-14T07:02:32Z)
• NVIDIA Nemotron 3: Efficient and Open Intelligence [227.47413816066845]
  ネモトロン3シリーズは強力なエージェント、推論、会話能力を提供する。 ネモトロン3モデルは、推論を可能にするマルチ環境強化学習、多段階ツールの使用、きめ細かい推論予算制御のサポートを用いて、後から訓練される。 Nemotron 3ファミリは、Mixture-of-ExpertsハイブリッドのMamba-Transformerアーキテクチャを使用して、最高レベルのスループットと最大100万トークンのコンテキスト長を提供する。
  論文  参考訳（メタデータ） (2025-12-24T00:24:05Z)
• Nemotron 3 Nano: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning [223.88531320605486]
  Nemotron 3 Nano 30B-A3BはMixture-of-ExpertsハイブリッドMamba-Transformer言語モデルである。 ネモトロン3ナノは25兆個のテキストトークンで事前訓練され、その中にはネモトロン2に3兆以上の新しいユニークなトークンが含まれていた。
  論文  参考訳（メタデータ） (2025-12-23T23:54:32Z)
• NVIDIA Nemotron Nano V2 VL [140.7011776408786]
  ネモトロン・ナノV2VLは、マンバ・トランスフォーマーのハイブリッドLLMであるネモトロン・ナノV2上に構築される。 BF16、FP8、FP4フォーマットでモデルチェックポイントをリリースしています。
  論文  参考訳（メタデータ） (2025-11-06T00:10:19Z)
• Jet-Nemotron: Efficient Language Model with Post Neural Architecture Search [42.46046429414803]
  Jet-Nemotronはハイブリッドアーキテクチャ言語モデルの新しいファミリーである。 それは、主要なフルアテンションモデルの正確さと一致または超える。
  論文  参考訳（メタデータ） (2025-08-21T17:59:08Z)
• Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models [164.47008715747822]
  ネモトロン-Hは8Bと56B/47Bハイブリッド・マンバ・トランスフォーマーのファミリーである。 私たちは共通のTransformerモデルアーキテクチャにおけるほとんどの自己注意レイヤをMambaレイヤに置き換えます。 Nemotron-Hモデルは、他の同様のサイズのオープンソーストランスフォーマーモデルと比較して、精度が良いか低いかのどちらかを提供する。
  論文  参考訳（メタデータ） (2025-04-04T17:41:58Z)
• The Mamba in the Llama: Distilling and Accelerating Hybrid Models [76.64055251296548]
  注目層からの線形射影重みを学術的なGPU資源で再利用することにより,大規模な変換器を線形RNNに蒸留する方法を示す。 結果として得られたハイブリッドモデルは、チャットベンチマークのオリジナルのTransformerに匹敵するパフォーマンスを達成する。 また,Mambaとハイブリッドモデルの推論速度を高速化するハードウェア対応投機的復号アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-08-27T17:56:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。