論文の概要: SeqMoE: Toward Full-Load Performance via Predictive and Graph-Compatible MoE Offloading
- arxiv url: http://arxiv.org/abs/2609.12978v1
- Date: Fri, 11 Sep 2026 15:43:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.796953
- Title: SeqMoE: Toward Full-Load Performance via Predictive and Graph-Compatible MoE Offloading
- Title（参考訳）: SeqMoE: 予測およびグラフ互換のMoEオフロードによるフルロードパフォーマンスを目指す
- Abstract要約: Mixture-of-Experts (MoE)は、オフロードに構造的な利点をもたらす。
45%のエキスパートが居住しており、セクモエの平均的ヒット率は96.97%、フルロード性能は80.22%である。
- 参考スコア（独自算出の注目度）: 21.33671694736238
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixture-of-Experts (MoE) creates a structural advantage for offloading: only a small fraction of activated experts need to reside in device memory, and if they can be loaded in time for computation, offloading can in principle approach full-load performance, where all model weights reside in device memory. Yet translating MoE's structural advantage into practical offloading gains remains challenging. We propose SeqMoE to bridge this gap. To maximize expert hits, we build predictive memory management: (i) Sequence-to-sequence prediction. We are the first to recast expert activation prediction as sequence modeling, enabling accurate multi-step, multi-layer forecasts that provide a long and reliable window for downstream decisions. (ii) Joint prefetch scheduling. We formulate prefetch scheduling as Job Sequencing with Deadlines to maximize expected expert hits and improve bandwidth efficiency. (iii) Forecast-driven caching. Leveraging the recursive nature of sequence modeling, we introduce a probabilistic Belady policy for future-aware eviction. To eliminate execution bottleneck, we develop (iv) Graph-compatible offloading runtime. We derive general runtime principles encompassing compute-transparent expert placement and synchronization-free orchestration disciplines for end-to-end graph capture. With 45% expert residency, SeqMoE averages a 96.97% hit rate and 80.22% of full-load performance, advancing the state of the art in MoE offloading.
- Abstract（参考訳）: Mixture-of-Experts (MoE) はオフローディングの構造上の利点を生み出す: アクティベートされた専門家のごく一部だけがデバイスメモリに留まる必要があり、計算に時間をかけてロードできる場合、オフローディングは原則としてすべてのモデルウェイトがデバイスメモリに格納されるフルローディングパフォーマンスにアプローチすることができる。
しかし、MoEの構造上の利点を実用的なオフロードゲインに変換することは依然として困難である。
このギャップを埋めるためにSeqMoEを提案する。
専門家のヒットを最大化するために、予測メモリ管理を構築します。
一 シーケンス・ツー・シーケンスの予測
我々は、専門家アクティベーション予測をシーケンスモデリングとして再キャストし、ダウンストリーム決定のための長く信頼性の高い窓を提供する、正確なマルチステップのマルチレイヤ予測を可能にした。
二 共同プレフェッチスケジューリング
プリフェッチスケジューリングをDeadlinesによるジョブシークエンシングとして定式化し、期待される専門家のヒットを最大化し、帯域幅効率を向上させる。
(iii)予測駆動キャッシング。
シークエンス・モデリングの帰納的性質を生かして,将来を意識したベラディ・ポリシーを導入する。
実行ボトルネックをなくすため、我々は開発する
(iv) グラフ互換のオフロードランタイム。
計算透過性のある専門家配置と、エンドツーエンドのグラフキャプチャのための同期不要なオーケストレーションの原則を含む、一般的なランタイム原則を導出する。
45%のエキスパートが居住しており、セクモエは96.97%のヒット率と80.22%のフルロード性能を達成し、MoEオフロードの最先端を推し進めている。
関連論文リスト
- SpecPrefetch: Parameter-Efficient Expert Prefetching for Sparse MoE Foundation Models [7.204022394734952]
SpecPrefetchは、オフロードされたMoE推論のためのパラメータ効率の良いプリフェッチフレームワークである。
トレーニング済みのルーティングセマンティクスを変更することなく、専門家がロードするレイテンシを低減する。
Snapdragon 8 Eliteデバイスでは、SpecPrefetchはさらに、計算最適化されたオフロードランタイム上でのデコードスループットを最大(20%)向上する。
論文 参考訳（メタデータ） (2026-06-24T04:53:00Z) - A Spatio-Temporal Expert Prefetching Framework for Efficient MoE-based LLM Inference [10.085075886001665]
最近,Mixture-of-Experts (MoE) ベースの大規模言語モデル (LLM) が,計算コストを比例的に増加させることなく,モデルキャパシティを向上させる効果的なアプローチとして登場した。
本稿では,ST-MoEを提案する。ST-MoE,ST-MoE,ST-MoE,ST-MoE,ST-MoE,ST-MoE,ST-MoE,ST-MoE,ST-MoE。
論文 参考訳（メタデータ） (2026-06-13T20:09:54Z) - SpecEyes: Accelerating Agentic Multimodal LLMs via Speculative Perception and Planning [104.01865949020304]
エージェント・マルチモーダル・大規模言語モデル(MLLM)は,反復的な視覚的ツールの実行によって顕著な推論能力を達成する。
しかし、カスケード認識、推論、ツール呼び出しループは、重要なシーケンシャルなオーバーヘッドをもたらす。
このオーバーヘッドはエージェントディープと呼ばれ、禁止されたレイテンシを発生させ、システムレベルのスループットを著しく制限します。
本稿では,エージェントレベルの投機的アクセラレーションフレームワークであるSpecEyesを提案する。
論文 参考訳（メタデータ） (2026-03-24T17:45:47Z) - Speculating Experts Accelerates Inference for Mixture-of-Experts [44.31811859704714]
Mixture-of-Experts (MoE)モデルは、大規模言語モデル(LLM)のキャパシティを拡大する手段として人気を集めている。
本稿では、現在計算されている内部モデル表現を活用して、将来の専門家を推測するエキスパートプレフェッチ方式を提案する。
提案手法は,CPUメモリからのエキスパートのオンデマンドロードよりも,出力トークン当たりの最大14%の時間短縮を実現する。
論文 参考訳（メタデータ） (2026-03-09T06:59:47Z) - Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts [74.40169987564724]
エキスパート並列性(EP)は、複数のデバイスに専門家を分散させることで、MoEモデルをスケールするように設計されている。
極端な不均衡の下で、EPは少数の専門家に不均等な数のトークンを渡し、計算とメモリバウンドの障害を引き起こす。
本稿では,過剰なトークンと関連する専門家パラメータを過負荷デバイスから未利用デバイスへ動的に再帰する新しいEPアルゴリズムであるLast-Loaded Expert Parallelism (LLEP)を提案する。
論文 参考訳（メタデータ） (2026-01-23T18:19:15Z) - Task-oriented Learnable Diffusion Timesteps for Universal Few-shot Learning of Dense Tasks [48.86985692711283]
現在の拡散モデルに基づくアプリケーションは、マルチステップ前方のマルコフ過程から学習された視覚表現のパワーを単一タスク予測タスクに利用している。
本稿では,タスク認識型タイムステップ選択(TTS)と,その選択したタイムステップ機能を統合するTFC(Timestep Feature Consolidation)の2つのモジュールを提案する。
本フレームワークは,少数のサポートクエリのみを考慮すれば,高密度な予測性能を効果的に実現している。
論文 参考訳（メタデータ） (2025-12-29T05:19:01Z) - MoE-SpeQ: Speculative Quantized Decoding with Proactive Expert Prefetching and Offloading for Mixture-of-Experts [29.437264687850874]
提案するMoE-SpeQは,投機的実行と専門家のオフロードを共設計した新しい推論システムである。
MoE-SpeQは、将来のトークンに必要な専門家のシーケンスを予測するために、小さなオンデバイスドラフトモデルを採用している。
Phi-MoEモデルでは,MoE-SpeQは最先端のオフロードフレームワークよりも2.34倍の高速化を実現している。
論文 参考訳（メタデータ） (2025-11-18T03:40:19Z) - MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。
静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
論文 参考訳（メタデータ） (2025-10-13T03:12:46Z) - D$^{2}$MoE: Dual Routing and Dynamic Scheduling for Efficient On-Device MoE-based LLM Serving [14.607254882119507]
専門家(MoE)モデルの組み合わせは、大きな言語モデル(LLM)のスパース変種である。
メリットはあるものの、リソース制約のあるエッジデバイスにデプロイするにはMoEは高価すぎる。
D$2$MoEは,各専門家に最適なビット幅を動的に割り当てることで,多様なタスク要求に適合するアルゴリズム・システム協調設計フレームワークである。
論文 参考訳（メタデータ） (2025-04-17T05:37:35Z) - HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。
キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。
HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2024-11-03T04:25:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。