論文の概要: FORGE: Procedural Weight Generation for Sparse MoE Inference

• arxiv url: http://arxiv.org/abs/2610.16890v1
• Date: Mon, 12 Oct 2026 14:47:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 04:19:19.622344
• Title: FORGE: Procedural Weight Generation for Sparse MoE Inference
• Title（参考訳）: FORGE:スパースモード推論のための手続き的ウェイト生成
• Abstract要約: FORGE (Fast On-chip Rotor Generation for Experts) は、Sparse Mixture-of-Experts (MoE) 推論のための手続き的な重量生成システムである。 本稿では,各ストリームマルチプロセッサ内のコンパクトアクセラレータが,プロジェクション毎に$O(log2 d)からオンザフライで再生可能であることを示す。 我々は、一致したGPU数で1.3-2.8倍、短いコンテキストで1.10-1.15倍、ユーザ毎のデコード遅延で1.10-1.15倍のシステムスループットを推定する。
• 参考スコア（独自算出の注目度）: 15.801477039246686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce FORGE (Fast On-chip Rotor Generation for Experts), a procedural weight generation system for Sparse Mixture-of-Experts (MoE) inference. Rather than storing and loading every expert weight tensor from HBM, we show how a compact accelerator inside each Streaming Multiprocessor can regenerate them on-the-fly from $O(\log^2 d)$ rotor parameters per projection. Per replaced layer, gigabytes of stored expert weights are approximated with under a megabyte of seeds. This addresses the dual memory bottleneck of autoregressive Sparse MoE decode, where per-expert FFN operations are HBM-bandwidth-bound at small routed-token counts and the aggregate expert footprint forces multi-node Expert Parallelism (EP) with all-to-all traffic. We realize the approach as the Rotor Generation Unit (RGU), a fixed-function datapath that generates FFN weight tiles without competing with Tensor Core execution. With 30% of the MoE FFN layers replaced across five Sparse MoE models, we estimate 1.3-2.8x higher system throughput at matched GPU count and 1.10-1.15x lower per-user decode latency at short context. In exchange, downstream accuracy on three model families falls below that of the same model fine-tuned without rotor replacement, and the replacement ratio controls this tradeoff. FORGE also expands KV cache capacity by 1.2-2.6x. It is agnostic to the bit width at which weights are stored, so it can compose with quantization. The RGU is fully implemented/verified in SystemVerilog at ~0.9% SM area overhead (0.032 mm^2/SM, 7nm).
• Abstract（参考訳）: 本稿では,Sparse Mixture-of-Experts(MoE)推論のためのプロシージャウェイト生成システムであるFOGEを紹介する。 HBMからすべての専門量テンソルを格納・ロードする代わりに、各ストリームマルチプロセッサ内のコンパクトアクセラレータが、プロジェクション毎に$O(\log^2 d)$ロータパラメータからそれをオンザフライで再生できることを示します。 交換された層ごとに、保存された専門家の重量のギガバイトが1メガバイト以下の種子で近似される。 これは自動回帰Sparse MoEデコード(英語版)の二重メモリボトルネックに対処し、熟練FFN操作はHBM帯域幅を小さなルートトーケン数で制限し、集合的専門フットプリントは多ノードエキスパート並列(EP)に全トラフィックを強制する。 我々は,テンソルコアの実行と競合することなくFFN重みタイルを生成する固定関数データパスであるRotor Generation Unit (RGU) としてアプローチを実現する。 5つのSparse MoEモデルで置換されたMoE FFN層の30%で、一致したGPUカウントで1.3-2.8倍、短いコンテキストで1.10-1.15倍、ユーザ毎のデコード遅延で1.10-1.15倍と見積もった。 それと引き換えに、3つのモデルファミリの下流精度はローター交換なしで微調整されたモデルよりも低くなり、置換比はこのトレードオフを制御する。 FORGEはKVキャッシュ容量を1.2-2.6倍に拡張する。 重みが格納されるビット幅に依存しないため、量子化で構成することができる。 RGU は SystemVerilog で 0.9% SM のオーバヘッド (0.032 mm^2/SM, 7nm) で完全に実装・検証されている。

関連論文リスト

• Hardware-Native Joint Sparse-Quantization for Trillion-Scale Mixture-of-Experts [39.762100288049815]
  我々は、ハードウェアネイティブで低精度なスパース表現に専門家の重みを圧縮するエンドツーエンドのハードウェア・ソフトウェア共同設計フレームワークを提案する。 NVIDIA B200では、当社のカーネルはベンダーのベースラインを最大1.65タイム($1.65タイム)、サービススループットを1.18タイム($1.18タイム)、エンドツーエンドのレイテンシを最大4.03タイム($4.03タイム)に向上させています。
  論文  参考訳（メタデータ） (2026-09-29T07:58:06Z)
• ZeRO-Prefill: Zero Redundancy Overheads in MoE Prefill Serving [18.574823955774207]
  本稿では,ZeRO-Prefillを提案する。ZeRO-Prefillはプリフィルのみのサービスシステムで,バックエンドはアクティベーションによってルーティングするのではなく,専門家を重みに集める。 Qwen3-235B-A22Bでは、4つのハードウェア/精度構成でZeRO-Prefillは1.35-1.37倍のスループットを提供する。
  論文  参考訳（メタデータ） (2026-05-03T03:10:24Z)
• Quantized Visual Geometry Grounded Transformer [67.15451442018258]
  本稿では,VGGTの最初の量子化フレームワーク,すなわちQuantVGGTを提案する。 球状前アダマール回転と局所流路平滑化を統合したDual-Smoothed Fine-Grained Quantizationを導入する。 また、重層統計量を用いて外周をフィルタするノイズフィルタディバースサンプリングを設計する。
  論文  参考訳（メタデータ） (2025-09-25T15:17:11Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Flash-LLM: Enabling Cost-Effective and Highly-Efficient Large Generative Model Inference with Unstructured Sparsity [12.663030430488922]
  高速コア上での低コストかつ高効率な大規模生成モデル推論を実現するためのFlash-LLMを提案する。 SpMMカーネルレベルでは、Flash-LLMは最先端のライブラリであるSputnikとSparTAをそれぞれ平均2.9倍、1.5倍で上回っている。
  論文  参考訳（メタデータ） (2023-09-19T03:20:02Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• SME: ReRAM-based Sparse-Multiplication-Engine to Squeeze-Out Bit Sparsity of Neural Network [18.79036546647254]
  我々はSparse-Multiplication-Engine(SME)という新しいReRAMベースのディープニューラルネットワーク(DNN)アクセラレータを開発した。 まず、ビットスパースパターンを編成し、既存の量子化法に基づいてビットスパース密度を増加させる。 第2に,重みのビットをクロスバーにスライスし,周辺回路の活性化結果をスプライシングする新しい重み付けマッピング機構を提案する。 第三に、上質な押出し方式は、以前の2つのステップから高度にスパースなノンゼロでマッピングされたクロスバーを空にする。
  論文  参考訳（メタデータ） (2021-03-02T13:27:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。