論文の概要: SAEM: Stage-Aware Expert Management for Memory-Efficient MoE Inference in Chain-of-Thought Reasoning
- arxiv url: http://arxiv.org/abs/2608.21614v1
- Date: Fri, 21 Aug 2026 20:26:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.31156
- Title: SAEM: Stage-Aware Expert Management for Memory-Efficient MoE Inference in Chain-of-Thought Reasoning
- Title（参考訳）: SAEM:Stage-Aware Expert Management for Memory-Efficient MoE Inference in Chain-of-Thought Reasoning
- Abstract要約: チェーン・オブ・シント(CoT)は複雑な問題を中間ステップに分解することでLCM推論を改善する。
MoEモデルはスパース専門家のアクティベーションを通じてキャパシティをスケールするが、そのフルエキスパートの重量はGPUメモリを超えることが多い。
我々は,ステージ境界の推論を検知し,ステージレベルのアクティベーションコヒーレンスを利用して専門家の配置をガイドする,段階認識型MoE推論ランタイムSAEMを提案する。
- 参考スコア（独自算出の注目度）: 26.672933821270885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chain-of-thought (CoT) prompting improves LLM reasoning by decomposing complex problems into intermediate steps, but its sequential nature increases decoding latency and memory usage. Mixture-of-Experts (MoE) models scale capacity through sparse expert activation, yet their full expert weights often exceed GPU memory and require costly GPU-CPU transfers. Existing runtimes treat all tokens uniformly, overlooking a key structural property of CoT traces: consecutive reasoning stages exhibit coherent and predictable expert activation patterns. Ignoring this stage-level regularity leads to inefficient caching and unnecessary data movement. We propose SAEM, a stage-aware MoE inference runtime that detects reasoning stage boundaries and exploits stage-level activation coherence to guide expert placement. SAEM combines stage-aware caching, expert-aligned token repacking, and in-situ CPU execution to reduce data transfer and kernel fragmentation. On mathematical and scientific reasoning workloads, SAEM achieves an average 1.33x throughput improvement over the strongest state-of-the-art caching and offloading baselines under constrained GPU memory, rising to 1.54x when calibration data matches the workload, demonstrating the effectiveness of stage-aware, locality-driven MoE inference for CoT reasoning.
- Abstract（参考訳）: チェーン・オブ・シント(CoT)は複雑な問題を中間ステップに分解することでLCM推論を改善するが、そのシーケンシャルな性質は復号遅延とメモリ使用量を増加させる。
Mixture-of-Experts (MoE)モデルは、スパース専門家のアクティベーションを通じてキャパシティをスケールするが、そのフルエキスパートウェイトはGPUメモリを超え、高価なGPU-CPU転送を必要とすることが多い。
既存のランタイムはすべてのトークンを一様に扱い、CoTトレースの重要な構造的特性を見渡す:連続推論段階は一貫性があり予測可能な専門家アクティベーションパターンを示す。
このステージレベルの規則性を無視することは、非効率なキャッシュと不要なデータ移動につながる。
我々は,ステージ境界の推論を検知し,ステージレベルのアクティベーションコヒーレンスを利用して専門家の配置をガイドする,段階認識型MoE推論ランタイムSAEMを提案する。
SAEMは、データ転送とカーネルのフラグメンテーションを減らすために、ステージアウェアキャッシュ、専門家対応のトークン再パッケージ、CPU内部の実行を組み合わせる。
数学的および科学的推論のワークロードにおいて、SAEMは、最強の最先端キャッシュと制限されたGPUメモリ下でのベースラインのオフロードに対して平均1.33倍のスループット向上を実現し、キャリブレーションデータがワークロードにマッチすると1.54倍に上昇し、CoT推論に対するステージアウェア、ローカリティ駆動のMoE推論の有効性を実証する。
関連論文リスト
- LLM Inference in a Flash! [66.43896490006965]
大規模言語モデル(LLM)は、さまざまな自然言語処理タスクで印象的な機能を示している。
我々は、高価な浮動小数点演算をなくすために、エンドツーエンドの整数のみの量子化手法を提案する。
論文 参考訳（メタデータ） (2026-09-14T18:04:30Z) - FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。
トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。
この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
論文 参考訳（メタデータ） (2026-06-01T06:58:15Z) - CoX-MoE: Coalesced Expert Execution for High-Throughput MoE Inference with AMX-Enabled CPU-GPU Co-Execution [6.04230666444406]
CoX-MoEは、AMX(Advanced Matrix Extensions)対応のCPU-GPU協調システムである。
MoE推論を総合的に最適化するために、合体したエキスパート実行と、高いスループットのために戦略的ワークロードオーケストレーションを組み合わせる。
最先端のフレームワークと比較して、CoX-MoEは7.1倍、2.4倍のスループットを実現している。
論文 参考訳（メタデータ） (2026-05-18T05:54:30Z) - DexWorldModel: Causal Latent World Modeling towards Automated Learning of Embodied Tasks [54.32016216994156]
本稿では,DINOv3特徴を生成対象として用い,視覚ノイズから相互作用意味を乱す因果潜在世界モデル(CLWM)を提案する。
メモリスケーリングを克服するため、CLWMはDual-State Test-Time Training (TTT)メモリを備えている。
EmbodiChainは、トレーニング中に物理基底軌道の無限の流れを注入することによって効率法を確立するオンラインフレームワークである。
論文 参考訳（メタデータ） (2026-04-13T03:19:36Z) - Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。
この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。
本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
論文 参考訳（メタデータ） (2026-02-02T13:52:40Z) - MoEBlaze: Breaking the Memory Wall for Efficient MoE Training on Modern GPUs [9.086910335841772]
メモリウォール」のボトルネックは、現代の大規模Mixture-of-Experts (MoE)アーキテクチャで顕著に増幅されている。
私たちは、メモリ効率のよいMoEトレーニングフレームワークであるMoEBlazeを紹介します。
既存のMoEフレームワークと比較して、MoEBlazeは4倍以上のスピードアップと50%以上のメモリ節約を実現できます。
論文 参考訳（メタデータ） (2026-01-08T08:38:23Z) - Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。
TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
論文 参考訳（メタデータ） (2025-12-10T01:54:57Z) - Mixture-of-Channels: Exploiting Sparse FFNs for Efficient LLMs Pre-Training and Inference [16.71963410333802]
大規模言語モデル(LLM)は、多様な人工知能タスクで顕著な成功を収めている。
MoCは、事前トレーニング中のアクティベーションメモリを大幅に削減する。
MoCは、競合モデルのパフォーマンスを維持しながら、メモリの大幅な節約とスループットの向上を提供する。
論文 参考訳（メタデータ） (2025-11-12T13:30:57Z) - Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。
現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。
Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
論文 参考訳（メタデータ） (2025-08-04T16:14:03Z) - FlashForge: Ultra-Efficient Prefix-Aware Attention for LLM Decoding [44.47821531299985]
複数のプロンプト間のプレフィックス共有は、共有プレフィックスの操作を組み合わせる機会を提供する。
デコーディングは、プレフィックスのキー値(KV)キャッシュに大量のメモリアクセスを必要とするメモリ集約プロセスである。
我々は,共有KVキャッシュのメモリアクセスをデコードステージ,すなわちFlashForgeで組み合わせるための専用アテンションカーネルを提案する。
論文 参考訳（メタデータ） (2025-05-23T10:03:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。