論文の概要: Nemotron 3 Nano: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning

• arxiv url: http://arxiv.org/abs/2512.20848v1
• Date: Tue, 23 Dec 2025 23:54:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-25 19:43:21.636719
• Title: Nemotron 3 Nano: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning
• Title（参考訳）: ネモトロン3ナノ: エージェント共振用ハイブリッドマンバ変圧器モデル
• Abstract要約: Nemotron 3 Nano 30B-A3BはMixture-of-ExpertsハイブリッドMamba-Transformer言語モデルである。 ネモトロン3ナノは25兆個のテキストトークンで事前訓練され、その中にはネモトロン2に3兆以上の新しいユニークなトークンが含まれていた。
• 参考スコア（独自算出の注目度）: 223.88531320605486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Nemotron 3 Nano 30B-A3B, a Mixture-of-Experts hybrid Mamba-Transformer language model. Nemotron 3 Nano was pretrained on 25 trillion text tokens, including more than 3 trillion new unique tokens over Nemotron 2, followed by supervised fine tuning and large-scale RL on diverse environments. Nemotron 3 Nano achieves better accuracy than our previous generation Nemotron 2 Nano while activating less than half of the parameters per forward pass. It achieves up to 3.3x higher inference throughput than similarly-sized open models like GPT-OSS-20B and Qwen3-30B-A3B-Thinking-2507, while also being more accurate on popular benchmarks. Nemotron 3 Nano demonstrates enhanced agentic, reasoning, and chat abilities and supports context lengths up to 1M tokens. We release both our pretrained Nemotron 3 Nano 30B-A3B Base and post-trained Nemotron 3 Nano 30B-A3B checkpoints on Hugging Face.
• Abstract（参考訳）: 我々はNemotron 3 Nano 30B-A3B, Mixture-of-Experts Hybrid Mamba-Transformer言語モデルを提案する。 ネモトロン3ナノは25兆個のテキストトークンで事前訓練され、その中にはネモトロン2上の3兆以上の新しいユニークなトークンが含まれ、その後様々な環境における微調整と大規模RLが監督された。 ネモトロン3ナノは前世代のネモトロン2ナノよりも精度が良く、前進パスあたりのパラメータの半分以下を活性化する。 GPT-OSS-20BやQwen3-30B-A3B-Thinking-2507のような同様のサイズのオープンモデルよりも最大3.3倍高い推論スループットを実現している。 Nemotron 3 Nanoは、強化されたエージェント、推論、チャット能力を示し、コンテキスト長を最大100万トークンまでサポートする。 我々は,予め訓練したNemotron 3 Nano 30B-A3Bベースと,Hugging Face上のNemotron 3 Nano 30B-A3Bチェックポイントの両方をリリースする。

関連論文リスト

• Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning [269.10652784788374]
  Nemotron 3 Ultraは5500億の総計と5500億のアクティブパラメータであるMixture-of-Experts Hybrid Mamba-Attention Languageモデルである。 我々は,20兆のテキストトークン上でNemotron 3 Ultraを事前訓練し,コンテキスト長を100万トークンに拡張し,スーパービジョンファインチューニング(SFT),強化学習(RL),マルチ教師オンポリシィ蒸留(MOPD)を用いて後訓練を行った。
  論文  参考訳（メタデータ） (2026-06-12T22:56:12Z)
• Nemotron 3 Nano Omni: Efficient and Open Multimodal Intelligence [215.36956014523926]
  ネモトロン3 ナノオムニ(Nemotron 3 Nano Omni)は、ネモトロン・マルチモーダルシリーズの最新モデルである。 テキスト、画像、ビデオと共に音声入力をサポートするのは、これが初めてである。
  論文  参考訳（メタデータ） (2026-04-27T19:49:21Z)
• Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning [262.0414794728708]
  ネモトロン3スーパーの事前学習、後学習、量子化について述べる。 Nemotron 3 Superは1200億(アクティブ120億)のパラメータハイブリッドMamba-Attention Mixture-of-Expertsモデルである。
  論文  参考訳（メタデータ） (2026-04-14T07:02:32Z)
• NVIDIA Nemotron 3: Efficient and Open Intelligence [227.47413816066845]
  ネモトロン3シリーズは強力なエージェント、推論、会話能力を提供する。 ネモトロン3モデルは、推論を可能にするマルチ環境強化学習、多段階ツールの使用、きめ細かい推論予算制御のサポートを用いて、後から訓練される。 Nemotron 3ファミリは、Mixture-of-ExpertsハイブリッドのMamba-Transformerアーキテクチャを使用して、最高レベルのスループットと最大100万トークンのコンテキスト長を提供する。
  論文  参考訳（メタデータ） (2025-12-24T00:24:05Z)
• NVIDIA Nemotron Nano V2 VL [140.7011776408786]
  ネモトロン・ナノV2VLは、マンバ・トランスフォーマーのハイブリッドLLMであるネモトロン・ナノV2上に構築される。 BF16、FP8、FP4フォーマットでモデルチェックポイントをリリースしています。
  論文  参考訳（メタデータ） (2025-11-06T00:10:19Z)
• Jet-Nemotron: Efficient Language Model with Post Neural Architecture Search [42.46046429414803]
  Jet-Nemotronはハイブリッドアーキテクチャ言語モデルの新しいファミリーである。 それは、主要なフルアテンションモデルの正確さと一致または超える。
  論文  参考訳（メタデータ） (2025-08-21T17:59:08Z)
• NVIDIA Nemotron Nano 2: An Accurate and Efficient Hybrid Mamba-Transformer Reasoning Model [205.51647932840226]
  Nemotron-Nano-9B-v2は、推論処理のスループットを向上させるために設計されたハイブリッドのMamba-Transformer言語モデルである。 Nemotron-Nano-9B-v2はNemotron-Hアーキテクチャをベースにしており、共通のTransformerアーキテクチャの自己保持層の大部分をMamba-2層に置き換えている。
  論文  参考訳（メタデータ） (2025-08-20T06:00:57Z)
• Llama-Nemotron: Efficient Reasoning Models [131.54943004304656]
  ヘテロジニアス推論モデルの開族であるLlama-Nemotronシリーズを導入する。 サイズはNano(8B)、Super(49B)、Ultra(253B)の3種類。
  論文  参考訳（メタデータ） (2025-05-02T01:35:35Z)
• Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models [192.5620883942846]
  ネモトロン-Hは8Bと56B/47Bハイブリッド・マンバ・トランスフォーマーのファミリーである。 私たちは共通のTransformerモデルアーキテクチャにおけるほとんどの自己注意レイヤをMambaレイヤに置き換えます。 Nemotron-Hモデルは、他の同様のサイズのオープンソーストランスフォーマーモデルと比較して、精度が良いか低いかのどちらかを提供する。
  論文  参考訳（メタデータ） (2025-04-04T17:41:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。