論文の概要: Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning

• arxiv url: http://arxiv.org/abs/2606.15007v1
• Date: Fri, 12 Jun 2026 22:56:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.570794
• Title: Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning
• Title（参考訳）: ネモトロン3 超オープン・高効率複合マンバ変圧器モデルによるエージェント推論
• Abstract要約: Nemotron 3 Ultraは5500億の総計と5500億のアクティブパラメータであるMixture-of-Experts Hybrid Mamba-Attention Languageモデルである。 我々は,20兆のテキストトークン上でNemotron 3 Ultraを事前訓練し,コンテキスト長を100万トークンに拡張し,スーパービジョンファインチューニング(SFT),強化学習(RL),マルチ教師オンポリシィ蒸留(MOPD)を用いて後訓練を行った。
• 参考スコア（独自算出の注目度）: 269.10652784788374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Nemotron 3 Ultra, a 550 billion total and 55 billion active parameter Mixture-of-Experts Hybrid Mamba-Attention language model. We pre-trained Nemotron 3 Ultra on 20 trillion text tokens, then extended the context length to 1M tokens, and post-trained using Supervised Fine Tuning (SFT), Reinforcement Learning (RL), and Multi-teacher On-Policy Distillation (MOPD). Nemotron 3 Ultra is our most capable model yet, employing multiple key technologies - LatentMoE, Multi Token Prediction (MTP), NVFP4 pre-training, multi-environment RLVR, MOPD, and reasoning budget control. Nemotron 3 Ultra achieves up to ~6x higher inference throughput as compared to state-of-the-art publicly available LLMs while attaining on-par accuracy. The state-of-the-art accuracy, high inference throughput, and 1M token context length make Nemotron 3 Ultra ideal for long-running autonomous agentic tasks. We open-source the base, post-trained, and quantized checkpoints, along with the training data and recipe on HuggingFace.
• Abstract（参考訳）: 我々は,5500億の合計と5500億のアクティブパラメータであるNemotron 3 Ultraを紹介した。 我々は,20兆のテキストトークン上でNemotron 3 Ultraを事前訓練し,コンテキスト長を100万トークンに拡張し,Supervised Fine Tuning (SFT), Reinforcement Learning (RL), Multi-Teacher On-Policy Distillation (MOPD)を用いて後訓練を行った。 Nemotron 3 Ultraは、LatntMoE、Multi Token Prediction (MTP)、NVFP4事前学習、マルチ環境RLVR、MOPD、推論予算管理など、複数の重要な技術を用いて、我々の最も有能なモデルである。 Nemotron 3 Ultraは、最先端のLLMと比較して最大6倍高い推論スループットを実現し、オンパー精度を実現している。 最先端の精度、高い推論スループット、1Mトークンコンテキスト長により、Nemotron 3は長時間の自律エージェントタスクに最適である。 ベース、ポストトレーニング、量子化されたチェックポイント、およびHuggingFaceのトレーニングデータとレシピをオープンソースにしています。

関連論文リスト

• Tevatron Meets Megatron: Expert-Parallel LLM Reranker Training on an Academic Budget [72.7352550413971]
  私たちはMegatron-CoreトレーニングバックエンドをTevatronに統合したTevatron 3.0を紹介します。 MegatronはFSDPのリランカ品質とトレーニング効率を同等のデータ並列設定で比較した。 その結果,MoEリランカは高密度の8B品質と一致し,パラメータの半数以下を活性化し,推論スループットを著しく向上することがわかった。
  論文  参考訳（メタデータ） (2026-08-02T00:55:47Z)
• Nemotron 3 Nano Omni: Efficient and Open Multimodal Intelligence [215.36956014523926]
  ネモトロン3 ナノオムニ(Nemotron 3 Nano Omni)は、ネモトロン・マルチモーダルシリーズの最新モデルである。 テキスト、画像、ビデオと共に音声入力をサポートするのは、これが初めてである。
  論文  参考訳（メタデータ） (2026-04-27T19:49:21Z)
• Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning [262.0414794728708]
  ネモトロン3スーパーの事前学習、後学習、量子化について述べる。 Nemotron 3 Superは1200億(アクティブ120億)のパラメータハイブリッドMamba-Attention Mixture-of-Expertsモデルである。
  論文  参考訳（メタデータ） (2026-04-14T07:02:32Z)
• NVIDIA Nemotron 3: Efficient and Open Intelligence [227.47413816066845]
  ネモトロン3シリーズは強力なエージェント、推論、会話能力を提供する。 ネモトロン3モデルは、推論を可能にするマルチ環境強化学習、多段階ツールの使用、きめ細かい推論予算制御のサポートを用いて、後から訓練される。 Nemotron 3ファミリは、Mixture-of-ExpertsハイブリッドのMamba-Transformerアーキテクチャを使用して、最高レベルのスループットと最大100万トークンのコンテキスト長を提供する。
  論文  参考訳（メタデータ） (2025-12-24T00:24:05Z)
• Nemotron 3 Nano: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning [223.88531320605486]
  Nemotron 3 Nano 30B-A3BはMixture-of-ExpertsハイブリッドMamba-Transformer言語モデルである。 ネモトロン3ナノは25兆個のテキストトークンで事前訓練され、その中にはネモトロン2に3兆以上の新しいユニークなトークンが含まれていた。
  論文  参考訳（メタデータ） (2025-12-23T23:54:32Z)
• Uni-MoE-2.0-Omni: Scaling Language-Centric Omnimodal Large Model with Advanced MoE, Training and Data [55.65426108082807]
  Uni-MoE-2.0-Omniをスクラッチから3つのコアコントリビューションで構築しています。 雑用的な理解や、画像、テキスト、音声を生成することができる。
  論文  参考訳（メタデータ） (2025-11-16T14:10:55Z)
• Jet-Nemotron: Efficient Language Model with Post Neural Architecture Search [42.46046429414803]
  Jet-Nemotronはハイブリッドアーキテクチャ言語モデルの新しいファミリーである。 それは、主要なフルアテンションモデルの正確さと一致または超える。
  論文  参考訳（メタデータ） (2025-08-21T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。