論文の概要: Nemotron 3.5 Super and Lightning: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Models for Agentic AI

• arxiv url: http://arxiv.org/abs/2610.38095v1
• Date: Wed, 28 Oct 2026 00:28:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.349418
• Title: Nemotron 3.5 Super and Lightning: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Models for Agentic AI
• Title（参考訳）: Nemotron 3.5 Super and Lightning:エージェントAIのためのオープンで効率的な複合マンバ変圧器モデル
• Abstract要約: 我々はNemotron 3.5 Super and Nemotron 3.5 Lightning, Open and efficient Mixture-of-Experts Hybrid Mamba-Transformer Modelを紹介する。 どちらのモデルも、大規模な蒸留、長期のコンテキストトレーニング、ネイティブ投機的復号化を組み合わせたものである。
• 参考スコア（独自算出の注目度）: 305.64163943247576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Nemotron 3.5 Super and Nemotron 3.5 Lightning, open and efficient Mixture-of-Experts Hybrid Mamba-Transformer models designed for reasoning, long-context understanding, and agentic workloads. Super is a 120B-parameter, 12B-active multimodal model, while Lightning is a smaller 30B-parameter, 3B-active text model; both designed for efficient deployment. Both models combine large-scale distillation, long-context training, and native speculative decoding, while Super further incorporates Indic continued pretraining and agentic software-engineering mid-training. We develop a comprehensive post-training pipeline spanning supervised fine-tuning and reinforcement learning (RLVR and RLHF), complemented in Super by specialized teacher training and multi- teacher on-policy distillation (MOPD). This transforms Super from a text-only base model into a multimodal agent capable of reasoning over text, images, video, and interactive tool environments. We further explore test-time scaling through parallel agent execution and self-verification. Across training and deployment, we jointly optimize capability and efficiency. Indic continued pretraining improves Indian-language benchmarks by up to 9.82 percentage points, while agentic mid-training strengthens software-engineering capabilities and robustness across agent harnesses. The post-trained Super model achieves 51.78% on SWE-bench Pro, surpassing Nemotron 3 Ultra despite using approximately 4.6x fewer active parameters. Post-training MTP boosting improves speculative- decoding acceptance length by up to 21.8% under probabilistic draft sampling, while NVFP4 quantization achieves 99.62% median accuracy recovery relative to BF16. Inference optimizations enable up to 4,856 output tokens/s/GPU on GB200 while sustaining at least 50 tokens/s/user.
• Abstract（参考訳）: 我々はNemotron 3.5 SuperとNemotron 3.5 Lightning、オープンで効率的なMixture-of-Experts Hybrid Mamba-Transformerモデルを紹介した。 Superは120Bパラメーター、12Bアクティブなマルチモーダルモデルであり、Lightningは30Bパラメーター、3Bアクティブなテキストモデルである。 どちらのモデルも大規模な蒸留、長期訓練、ネイティブ投機的復号化を取り入れており、SuperはさらにIndicの事前訓練とエージェント・ソフトウェア・エンジニアリングを取り入れている。 我々は,教師付き微調整・強化学習(RLVRとRLHF)にまたがる総合的なポストトレーニングパイプラインを開発し,スーパーを補完する。 これにより、Superはテキストのみのベースモデルから、テキスト、画像、ビデオ、インタラクティブなツール環境を推論できるマルチモーダルエージェントに変換される。 さらに、並列エージェントの実行と自己検証によるテスト時間のスケーリングについても検討する。 トレーニングとデプロイメント全体を通じて、私たちは、能力と効率性を共同で最適化しています。 Indic continued pretraining はインド語のベンチマークを最大9.82ポイント改善し、エージェントの中間トレーニングはエージェントハーネス間のソフトウェアエンジニアリング能力と堅牢性を強化している。 ポストトレーニング後のスーパーモデルは、約4.6倍の活性パラメータを使用したにもかかわらず、ネモトロン3ウルトラを上回り、SWEベンチプロで51.78%を達成した。 トレーニング後のMTP増強は、確率的ドラフトサンプリングの下で投機的復号化の完了期間を最大21.8%改善する一方、NVFP4量子化はBF16と比較して99.62%の中央値の精度回復を達成する。 推論の最適化により、GB200上で最大4,856の出力トークン/s/GPUを、最低でも50のトークン/s/userを維持できる。

関連論文リスト

• Priming Base Models for Agentic Post-Training: An Open Midtraining Recipe [51.99132479434351]
  エージェント・ポストトレーニングのための基本モデルを素数化するオープン・ミッドトレーニング・レシピを提案する。 異なる大きさの2つのネモトロンモデルに対して、その効果を示す。
  論文  参考訳（メタデータ） (2026-10-15T14:58:21Z)
• Mach-Mind-4-Flash Technical Report [0.0]
  Mach-Mind-4-Flashは3Bアクティベートパラメータを持つMixture-of-Experts (MoE)エージェントモデルである。 トレーニング後の最適化は、事前学習計算をスケーリングすることなく、100B-パラメータクラスのモデルと同等かそれ以上のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-10T12:57:08Z)
• Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning [269.10652784788374]
  Nemotron 3 Ultraは5500億の総計と5500億のアクティブパラメータであるMixture-of-Experts Hybrid Mamba-Attention Languageモデルである。 我々は,20兆のテキストトークン上でNemotron 3 Ultraを事前訓練し,コンテキスト長を100万トークンに拡張し,スーパービジョンファインチューニング(SFT),強化学習(RL),マルチ教師オンポリシィ蒸留(MOPD)を用いて後訓練を行った。
  論文  参考訳（メタデータ） (2026-06-12T22:56:12Z)
• Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning [262.0414794728708]
  ネモトロン3スーパーの事前学習、後学習、量子化について述べる。 Nemotron 3 Superは1200億(アクティブ120億)のパラメータハイブリッドMamba-Attention Mixture-of-Expertsモデルである。
  論文  参考訳（メタデータ） (2026-04-14T07:02:32Z)
• Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters [169.7981969517903]
  Step 3.5 Flashは、フロンティアレベルのエージェントインテリジェンスと計算効率を橋渡しする。 エージェントを構築する上で最も重要なもの、すなわち、シャープな推論と高速で信頼性の高い実行に重点を置いています。
  論文  参考訳（メタデータ） (2026-02-11T07:53:51Z)
• Hunyuan-TurboS: Advancing Large Language Models through Mamba-Transformer Synergy and Adaptive Chain-of-Thought [196.74837065805488]
  Hunyuan-TurboSは、Transformer-Mamba Mixture of Expertsの大型ハイブリッドモデルである。 高いパフォーマンスと効率のバランスを保ち、推論コストを低く抑えている。
  論文  参考訳（メタデータ） (2025-05-21T12:11:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。