論文の概要: COPE: Composable Performance Emulation for Mixture-of-Experts Offloading Policies

• arxiv url: http://arxiv.org/abs/2610.33404v1
• Date: Sat, 24 Oct 2026 02:29:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.320961
• Title: COPE: Composable Performance Emulation for Mixture-of-Experts Offloading Policies
• Title（参考訳）: COPE:Mixture-of-Experts Offloading Policiesのための構成可能なパフォーマンスエミュレーション
• Abstract要約: 対象のモデル-プラットフォーム構成に対して最も優れたMoEオフロードポリシーを選択するCOPE(Composable Offloading Policy Emulator)を提案する。 COPEは、最速の政治選択精度を24%-100%改善し、パフォーマンス予測エラーを1.7タイムスから6.8タイムスに下げる。
• 参考スコア（独自算出の注目度）: 0.7734726150561086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As LLMs scale, mixture-of-experts (MoE) architectures increase model capacity while keeping per-token computation manageable through sparse expert activation. This sparsity also enables memory-efficient deployment by retaining most expert weights in CPU memory and transferring or executing only the routed experts on demand. Existing MoE offloading systems typically target specific model-platform configurations, yet differences in model sparsity, CPU and GPU throughput, VRAM capacity, and host-device bandwidth can change the policy ranking. Because implementing and exhaustively evaluating all candidate policies incurs substantial engineering cost, efficiently selecting the best-performing policy for each model-platform configuration remains a key challenge for practical MoE offloading. We present COPE (Composable Offloading Policy Emulator), which selects the best-performing MoE offloading policy for a target model-platform configuration before runtime integration. COPE comprises two components. Its Policy Matrix factors the design space into two independent axes, expert residency and MoE execution strategy, enabling mechanism reuse across candidate policies and exposing four new candidates. Its Virtual Heterogeneous Machine profiles combined-operator schedules on the target platform and combines these measurements with offline routing traces to estimate candidate performance. Compared with the evaluated baselines, COPE improves fastest-policy selection accuracy by 24%-100% and reduces performance-prediction error by $1.7\times$ to $6.8\times$. By identifying the preferred policy before integration, COPE further reduces policy-specific implementation effort by up to 74%.
• Abstract（参考訳）: LLMがスケールするにつれて、Mix-of-experts (MoE)アーキテクチャはモデルのキャパシティを増大させ、スパース専門家のアクティベーションによってトーケン毎の計算を管理できるようにする。 これにより、CPUメモリのほとんどの専門家の重みを保ち、要求に応じてルーティングされた専門家のみを転送または実行することで、メモリ効率の高いデプロイメントが可能になる。 既存のMoEオフロードシステムは通常、特定のモデルプラットフォーム構成をターゲットにしているが、モデル空間、CPUとGPUのスループット、VRAM容量、ホストデバイス帯域幅の違いはポリシーランキングを変える可能性がある。 全ての候補ポリシーの実装と徹底的な評価は、相当なエンジニアリングコストをもたらすため、各モデルプラットフォーム構成で最高のパフォーマンスのポリシーを効率的に選択することは、実用的なMoEオフロードにおいて重要な課題である。 ランタイム統合前のターゲットモデルプラットフォーム構成に対して,最も優れたMoEオフロードポリシを選択するCOPE(Composable Offloading Policy Emulator)を提案する。 COPEは2つの構成要素からなる。 そのポリシーマトリックスは、設計空間を専門家の常駐とMoE実行戦略の2つの独立した軸に分解し、候補ポリシーをまたいだメカニズムの再利用を可能にし、4つの新しい候補を公開する。 そのVirtual Heterogeneous Machineプロファイルは、ターゲットプラットフォーム上での運用スケジュールを組み合わせて、これらの測定をオフラインルーティングトレースと組み合わせて、候補性能を推定する。 評価基準と比較すると、COPEは最速の政治選択精度を24%-100%改善し、パフォーマンス予測エラーを1.7\times$から6.8\times$に下げる。 統合前に望ましいポリシーを特定することで、COPEはさらにポリシー固有の実装の労力を最大74%削減する。

関連論文リスト

• CACHEFORGE: LLM-Guided End-to-End Generative Cache Replacement Policy for Performance and Hardware Efficiency [0.0]
  CACHEFORGEは、キャッシュ置換ポリシーをエンドツーエンドに進化させる最初のフレームワークである。 総ヒット率は27.36%、19.69%、13.15%、11.83%、MPPPB、ReD、ホークアイ、SHiP++、LIME、LRUで5.73%向上している。 IPCは10.15%増、7.89%増、6.34%増、3.64%増、3.12%増、2.71%増、LRU、MPP、LIME、ReD、
  論文  参考訳（メタデータ） (2026-10-06T03:03:13Z)
• MoE-SpAc: Efficient MoE Inference Based on Speculative Activation Utility in Heterogeneous Edge Scenarios [12.409831039709886]
  Mixture-of-Experts (MoE)モデルはスケーラブルなパフォーマンスを実現するが、エッジデバイスでは厳しいメモリ制約に直面している。 我々は、専門家の要求を追跡するために、投機的ユーティリティエスタを統合するMoE推論フレームワークであるMoE-SpAcを紹介する。 7つのベンチマーク実験により、MoE-SpAcはSOTA SDベースラインよりもTPSが42%向上していることが示された。
  論文  参考訳（メタデータ） (2026-02-12T04:28:00Z)
• Model-Based Policy Adaptation for Closed-Loop End-to-End Autonomous Driving [54.46325690390831]
  本稿では,事前学習したE2E運転エージェントのロバスト性と安全性を高めるための汎用フレームワークとして,モデルベースポリシー適応(MPA)を提案する。 MPAは、ジオメトリ一貫性のあるシミュレーションエンジンを用いて、まず様々な対物軌道を生成する。 MPAは拡散ベースのポリシーアダプタを訓練し、基本方針の予測を洗練させ、Q値モデルを多段階に分けて長期的な結果を評価する。
  論文  参考訳（メタデータ） (2025-11-26T17:01:41Z)
• Mixture-of-Schedulers: An Adaptive Scheduling Agent as a Learned Router for Expert Policies [45.88210980548133]
  本稿では,ワークロードと実行時に最適なスケジューリングポリシをインテリジェントにマッチングする軽量フレームワークであるAdaptive Scheduling Agent(ASA)を紹介する。 ASAのコアは、新しい、低オーバーヘッドのオフライン/オンラインアプローチである。 我々の評価は,ユーザエクスペリエンスの指標に着目した新しいベンチマークに基づいて,ASAがデフォルトのLinuxスケジューラを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-11-07T14:16:31Z)
• MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
  Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。 静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
  論文  参考訳（メタデータ） (2025-10-13T03:12:46Z)
• Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
  本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。 A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。 PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
  論文  参考訳（メタデータ） (2025-05-27T03:58:50Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• Scaling Pareto-Efficient Decision Making Via Offline Multi-Objective RL [22.468486569700236]
  多目的強化学習(MORL)の目的は、複数の競合対象を同時に最適化するポリシーを学ぶことである。 我々は、オフラインMORLのための新しいデータ駆動型セットアップを提案し、そこで、好みに依存しないポリシーエージェントを学習したい。 PEDAはオフラインのMORLアルゴリズムのファミリーであり、新しい優先順位と条件付きポリシーを通じて決定変換器を構築し拡張する。
  論文  参考訳（メタデータ） (2023-04-30T20:15:26Z)
• MLComp: A Methodology for Machine Learning-based Performance Estimation and Adaptive Selection of Pareto-Optimal Compiler Optimization Sequences [10.200899224740871]
  組込みソフトウェア最適化のための新しい強化学習型ポリシー手法を提案する。 異なる機械学習モデルが自動的にテストされ、最適なものを選択する。 また、ターゲットとするプラットフォームやアプリケーションドメインに対して、フレームワークを効率的にトレーニングできることも示しています。
  論文  参考訳（メタデータ） (2020-12-09T19:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。