論文の概要: Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning

• arxiv url: http://arxiv.org/abs/2604.12374v1
• Date: Tue, 14 Apr 2026 07:02:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.305386
• Title: Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning
• Title（参考訳）: ネモトロン3スーパー: エージェント共振用ハイブリッドマンバ変圧器モデル
• Abstract要約: ネモトロン3スーパーの事前学習、後学習、量子化について述べる。 Nemotron 3 Superは1200億(アクティブ120億)のパラメータハイブリッドMamba-Attention Mixture-of-Expertsモデルである。
• 参考スコア（独自算出の注目度）: 262.0414794728708
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We describe the pre-training, post-training, and quantization of Nemotron 3 Super, a 120 billion (active 12 billion) parameter hybrid Mamba-Attention Mixture-of-Experts model. Nemotron 3 Super is the first model in the Nemotron 3 family to 1) be pre-trained in NVFP4, 2) leverage LatentMoE, a new Mixture-of-Experts architecture that optimizes for both accuracy per FLOP and accuracy per parameter, and 3) include MTP layers for inference acceleration through native speculative decoding. We pre-trained Nemotron 3 Super on 25 trillion tokens followed by post-training using supervised fine tuning (SFT) and reinforcement learning (RL). The final model supports up to 1M context length and achieves comparable accuracy on common benchmarks, while also achieving up to 2.2x and 7.5x higher inference throughput compared to GPT-OSS-120B and Qwen3.5-122B, respectively. Nemotron 3 Super datasets, along with the base, post-trained, and quantized checkpoints, are open-sourced on HuggingFace.
• Abstract（参考訳）: 我々は,1200億(アクティブ120億)パラメータのMamba-Attention Mixture-of-ExpertsモデルであるNemotron 3 Superの事前学習,ポストトレーニング,量子化について述べる。 ネモトロン3スーパー(Nemotron 3 Super)は、ネモトロン3シリーズの最初のモデルである。 1)NVFP4で事前訓練する。 FLOP毎の精度とパラメータ毎の精度の両方を最適化する新しいMixture-of-ExpertsアーキテクチャであるLatentMoEを活用する。 3) ネイティブ投機的復号化による推論促進のためのMPP層を含む。 25兆のトークンでNemotron 3 Superを事前訓練し,教師付き微調整(SFT)と強化学習(RL)を用いた後訓練を行った。 最終モデルは、最大1Mのコンテキスト長をサポートし、共通のベンチマークで同等の精度を達成すると同時に、それぞれGPT-OSS-120BとQwen3.5-122Bよりも最大2.2倍、7.5倍高い推論スループットを達成する。 Nemotron 3 Superデータセットは、ベース、トレーニング後、量子化されたチェックポイントとともに、HuggingFace上でオープンソース化されている。

関連論文リスト

• Tevatron Meets Megatron: Expert-Parallel LLM Reranker Training on an Academic Budget [72.7352550413971]
  私たちはMegatron-CoreトレーニングバックエンドをTevatronに統合したTevatron 3.0を紹介します。 MegatronはFSDPのリランカ品質とトレーニング効率を同等のデータ並列設定で比較した。 その結果,MoEリランカは高密度の8B品質と一致し,パラメータの半数以下を活性化し,推論スループットを著しく向上することがわかった。
  論文  参考訳（メタデータ） (2026-08-02T00:55:47Z)
• Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning [269.10652784788374]
  Nemotron 3 Ultraは5500億の総計と5500億のアクティブパラメータであるMixture-of-Experts Hybrid Mamba-Attention Languageモデルである。 我々は,20兆のテキストトークン上でNemotron 3 Ultraを事前訓練し,コンテキスト長を100万トークンに拡張し,スーパービジョンファインチューニング(SFT),強化学習(RL),マルチ教師オンポリシィ蒸留(MOPD)を用いて後訓練を行った。
  論文  参考訳（メタデータ） (2026-06-12T22:56:12Z)
• NVIDIA Nemotron 3: Efficient and Open Intelligence [227.47413816066845]
  ネモトロン3シリーズは強力なエージェント、推論、会話能力を提供する。 ネモトロン3モデルは、推論を可能にするマルチ環境強化学習、多段階ツールの使用、きめ細かい推論予算制御のサポートを用いて、後から訓練される。 Nemotron 3ファミリは、Mixture-of-ExpertsハイブリッドのMamba-Transformerアーキテクチャを使用して、最高レベルのスループットと最大100万トークンのコンテキスト長を提供する。
  論文  参考訳（メタデータ） (2025-12-24T00:24:05Z)
• Nemotron 3 Nano: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning [223.88531320605486]
  Nemotron 3 Nano 30B-A3BはMixture-of-ExpertsハイブリッドMamba-Transformer言語モデルである。 ネモトロン3ナノは25兆個のテキストトークンで事前訓練され、その中にはネモトロン2に3兆以上の新しいユニークなトークンが含まれていた。
  論文  参考訳（メタデータ） (2025-12-23T23:54:32Z)
• Jet-Nemotron: Efficient Language Model with Post Neural Architecture Search [42.46046429414803]
  Jet-Nemotronはハイブリッドアーキテクチャ言語モデルの新しいファミリーである。 それは、主要なフルアテンションモデルの正確さと一致または超える。
  論文  参考訳（メタデータ） (2025-08-21T17:59:08Z)
• NVIDIA Nemotron Nano 2: An Accurate and Efficient Hybrid Mamba-Transformer Reasoning Model [205.51647932840226]
  Nemotron-Nano-9B-v2は、推論処理のスループットを向上させるために設計されたハイブリッドのMamba-Transformer言語モデルである。 Nemotron-Nano-9B-v2はNemotron-Hアーキテクチャをベースにしており、共通のTransformerアーキテクチャの自己保持層の大部分をMamba-2層に置き換えている。
  論文  参考訳（メタデータ） (2025-08-20T06:00:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。