論文の概要: Nemotron-Labs-3-Puzzle-75B-A9B: Compressing Hybrid MoE LLMs

• arxiv url: http://arxiv.org/abs/2607.04371v2
• Date: Tue, 07 Jul 2026 14:13:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 14:37:43.234819
• Title: Nemotron-Labs-3-Puzzle-75B-A9B: Compressing Hybrid MoE LLMs
• Title（参考訳）: Nemotron-Labs-3-Puzzle-75B-A9B:圧縮ハイブリッドMOE LLM
• Abstract要約: Nemotron-Labs-3-Puzzle-75B-A9BはNemotron-3-Superの圧縮型で、対話的な展開に最適化されている。 単一の8xB200ノード上の対話型サービスワークロードでは、Puzzle-75B-A9BはNemotron-3-Superより約2倍高いサーバスループットを実現している。
• 参考スコア（独自算出の注目度）: 58.395498136166395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Nemotron-Labs-3-Puzzle-75B-A9B, a compressed variant of Nemotron-3-Super optimized for interactive deployment. We designed the model to maximize server throughput under high user throughput constraints. In interactive serving workloads on a single 8xB200 node, Puzzle-75B-A9B achieves approximately 2x higher server throughput than Nemotron-3-Super at matched user throughput constraints. In ultra-long-context deployment on a single H100 GPU, the compressed model increases 1M-token concurrency from 1 request to 8 requests. Puzzle-75B-A9B is constructed using a multi-stage pipeline that combines the Iterative Puzzle compression framework with knowledge distillation, reinforcement learning, quantization, and a Multi-Token Prediction head. The compression process jointly optimizes heterogeneous MoE pruning, active parameter budget, and Mamba pruning to improve inference efficiency while preserving model quality. We evaluate Puzzle-75B-A9B on a broad suite of reasoning, coding, multilingual, long-context, and agentic benchmarks. Despite substantial compression, the model retains strong downstream accuracy relative to the parent model across a wide range of tasks. These results demonstrate that large hybrid MoE models can be substantially optimized for deployment efficiency while maintaining strong downstream capability. Our model is publicly available on Hugging Face.
• Abstract（参考訳）: 我々は,対話的展開に最適化されたNemotron-Labs-3-Puzzle-75B-A9Bを圧縮したNemotron-3-Superを提案する。 高いユーザスループット制約下でサーバスループットを最大化するモデルを設計した。 単一の8xB200ノード上の対話型サービスワークロードでは、Puzzle-75B-A9Bは、一致したユーザのスループット制約でNemotron-3-Superよりも約2倍高いサーバスループットを達成する。 単一のH100 GPU上での超長期コンテキストデプロイメントでは、圧縮されたモデルは、1要求から8要求までの100万件の並行処理を増大させる。 Puzzle-75B-A9Bは、反復的なPuzzle圧縮フレームワークと知識蒸留、強化学習、量子化、マルチトークン予測ヘッドを組み合わせた多段パイプラインで構築されている。 圧縮プロセスは、モデル品質を維持しつつ、不均一なMoEプルーニング、アクティブパラメータ予算、およびマンバプルーニングを共同で最適化し、推論効率を向上させる。 我々はPuzzle-75B-A9Bを、推論、コーディング、多言語、長文、エージェントベンチマークの幅広いスイートで評価した。 かなり圧縮されているにもかかわらず、このモデルは幅広いタスクにわたって親モデルに対して強い下流精度を維持している。 これらの結果から,大規模なハイブリッドMoEモデルは,下流能力を維持しつつ,展開効率に実質的に最適化できることが示唆された。 私たちのモデルはHugging Faceで公開されています。

関連論文リスト

• LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models [129.64558694024126]
  拡散言語モデル(dLLM)は自己回帰(AR)言語モデリングの代替を提供する。 我々は, MoE dLLM に対するハイパーパラメータ, 計算割り当て, アーキテクチャスケールの最適化を特徴付ける。 23.5Tトークンで30B-A3B dLLMのLLaDA MoE v2をスクラッチからトレーニングします。
  論文  参考訳（メタデータ） (2026-08-04T10:53:02Z)
• Nemotron Elastic: Towards Efficient Many-in-One Reasoning LLMs [80.72350166388601]
  Nemotron Elasticは推論指向のLLMを構築するためのフレームワークである。 ネストしたサブモデルを単一の親モデルに組み込む。 これらのサブモデルはそれぞれ、親モデルと重みを共有し、デプロイ中にゼロショットを抽出できる。
  論文  参考訳（メタデータ） (2025-11-20T18:59:21Z)
• OverFill: Two-Stage Models for Efficient Language Model Decoding [68.68408155020568]
  大規模言語モデル(LLM)は多様なタスクにまたがって優れていますが、高い推論コストのため、デプロイメント上の大きな課題に直面しています。 プリフィルとデコードステージを分離し,精度と効率のトレードオフを最適化するOverFillを提案する。 我々の3B-to-1B OverFill構成は1Bプルーニングモデルを83.2%上回り、8B-to-3B構成は3Bプルーニングモデルを79.2%上回った。
  論文  参考訳（メタデータ） (2025-08-11T20:07:34Z)
• Pangu Ultra MoE: How to Train Your Big MoE on Ascend NPUs [111.69640966866059]
  ミキチャー・オブ・エキスパート(MoE)と1兆近いパラメータを持つ疎大言語モデル(LLM)が、最も有能な言語モデルの領域を支配している。 本稿では,Ascend NPU上でそのようなスケールを利用するレシピを明らかにすることを目的としている。 主な目的は、動的スパースモデル構造下でのコンピューティングリソースのより良い使用と、実際のハードウェアで期待されるパフォーマンス向上の実現である。
  論文  参考訳（メタデータ） (2025-05-07T15:46:36Z)
• Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models [192.5620883942846]
  ネモトロン-Hは8Bと56B/47Bハイブリッド・マンバ・トランスフォーマーのファミリーである。 私たちは共通のTransformerモデルアーキテクチャにおけるほとんどの自己注意レイヤをMambaレイヤに置き換えます。 Nemotron-Hモデルは、他の同様のサイズのオープンソーストランスフォーマーモデルと比較して、精度が良いか低いかのどちらかを提供する。
  論文  参考訳（メタデータ） (2025-04-04T17:41:58Z)
• Puzzle: Distillation-Based NAS for Inference-Optimized LLMs [17.72841008597783]
  大きな言語モデル(LLM)は優れた能力を提供するが、高い推論コストは広く採用を制限する。 本稿では,LLMの推論を高速化するハードウェア対応フレームワークであるPuzzleについて述べる。 我々は、Llama-3.1-Nemotron-51B-Instruct (Nemotron-51B)とLlama-3.3-Nemotron-49Bという2つの公開モデルを通して、我々のフレームワークの影響を実証する。
  論文  参考訳（メタデータ） (2024-11-28T13:45:42Z)
• 1M parameters are enough? A lightweight CNN-based model for medical image segmentation [0.4129225533930966]
  軽量なU-Netベースのモデルを模索しており、同じ状態を維持したり、より優れたパフォーマンス、すなわちU-Liteを実現できます。 我々は,CNNの強みを生かし,演算パラメータの著しい削減を図るために,Depthwise Separable Convolutionの原理に基づいてU-Liteを設計する。 全体として、U-Lite は 878K のパラメータしか持たず、従来の U-Net の35倍も小さく、現代の Transformer ベースのモデルよりもはるかに少ない。
  論文  参考訳（メタデータ） (2023-06-28T11:17:37Z)
• Efficiently Scaling Transformer Inference [8.196193683641582]
  本稿では,トランスフォーマーモデルにおける効率的な生成推論の問題について,最も困難な設定の1つとして検討する。 我々は,TPU v4スライスに最適化された最適多次元分割手法を選択するための,推論効率の簡易な解析モデルを開発した。 我々は,入力トークンの大規模処理において,発生時に1トークンあたり29msの低バッチレイテンシを実現する(Int8重み量子化)。
  論文  参考訳（メタデータ） (2022-11-09T18:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。