論文の概要: Accelerating Offloading-Based MoE Inference by Interleaving Concurrent Requests
- arxiv url: http://arxiv.org/abs/2611.04794v1
- Date: Tue, 03 Nov 2026 12:30:30 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:58:45.477851
- Title: Accelerating Offloading-Based MoE Inference by Interleaving Concurrent Requests
- Title（参考訳）: 同時要求のインターリービングによるオフロードベースMoE推論の高速化
- Abstract要約: エキスパートのオフロードにより、大規模なMix of-Experts(MoE)言語モデルがローカルで実行されるが、従来の方法では、専門家がいない間にGPUが停止する。
しかし、不正確な予測は、不要な専門家のフェッチに帯域幅とGPUメモリを浪費する。
並列要求に対する runahead に基づく MoE 推論システムである Bevy を提案する。
- 参考スコア（独自算出の注目度）: 3.5486185882090857
- License:
- Abstract: Expert offloading enables large mixture-of-experts (MoE) language models to run locally, but conventional batching stalls the GPU while missing experts are fetched. A popular remedy, known as prefetching, is to predict what experts will be needed soon and fetch them using idle link bandwidth. Imprecise prediction, however, wastes bandwidth and GPU memory on fetching unnecessary experts. Our key finding is that prefetching can be harmful when there is an expert cache in GPU memory. This is because as the cache includes more necessary experts, expert prediction becomes less precise. Our key insight is that proper request scheduling beats prefetching. Building on this insight, we present Bevy, an MoE inference system based on runahead inference for concurrent requests. A request whose experts are available can run ahead to later layers while other requests wait for fetches, revealing the experts it needs next. Bevy can then fetch the missing experts so identified while computing ready requests, overlapping computation and fetching without predicting expert selections. Running requests separately, however, repeats reads of shared weights in GPU memory and increases compute time. To limit this cost, Bevy's self-balancing scheduler batches ready requests at each layer and prioritizes lagging requests, adapting their grouping as expert availability changes. Across two local platforms, Bevy delivers up to 3.46$\times$ the decode throughput of llama.cpp and up to 1.55$\times$ that of the fastest prefetching baseline.
- Abstract（参考訳）: エキスパートのオフロードにより、大規模なMix-of-Experts(MoE)言語モデルがローカルで実行されるが、従来のバッチ処理ではGPUが停止し、専門家が不足している。
一般的な治療法は、プレフェッチ(prefetching)と呼ばれ、専門家がすぐに必要なものを予測し、アイドルリンクの帯域幅を使ってそれらを取得することである。
しかし、不正確な予測は、不要な専門家のフェッチに帯域幅とGPUメモリを浪費する。
重要な発見は、GPUメモリにエキスパートキャッシュがある場合、プリフェッチは有害であることです。
これは、キャッシュがより必要な専門家を含むため、専門家の予測がより正確になるためである。
私たちのキーとなる洞察は、適切なリクエストスケジューリングがプレフェッチに勝るということです。
この知見に基づいて,並列要求に対するRunahead推論に基づくMoE推論システムであるBevyを提案する。
専門家が利用可能なリクエストは後続のレイヤに先駆けて実行でき、他のリクエストはフェッチを待ち、次に必要な専門家を明らかにする。
そしてBevyは、準備の整ったリクエストを計算しながら、不足している専門家をフェッチし、専門家の選択を予測せずに計算とフェッチをオーバーラップする。
しかし、リクエストを別々に実行すると、GPUメモリの共有重みの読み取りが繰り返され、計算時間が増加する。
このコストを抑えるため、Bevyのセルフバランススケジューラは各レイヤで準備されたリクエストをバッチし、遅延リクエストを優先順位付けし、専門家の可用性の変化に応じてグループ化を適用する。
2つのローカルプラットフォームで、Bevyはllama.cppのデコードスループットを最大3.46$\times、最速のプリフェッチベースラインの最大1.55$\times$を提供する。
関連論文リスト
- SpecPrefetch: Parameter-Efficient Expert Prefetching for Sparse MoE Foundation Models [7.204022394734952]
SpecPrefetchは、オフロードされたMoE推論のためのパラメータ効率の良いプリフェッチフレームワークである。
トレーニング済みのルーティングセマンティクスを変更することなく、専門家がロードするレイテンシを低減する。
Snapdragon 8 Eliteデバイスでは、SpecPrefetchはさらに、計算最適化されたオフロードランタイム上でのデコードスループットを最大(20%)向上する。
論文 参考訳（メタデータ） (2026-06-24T04:53:00Z) - SpecHop: Continuous Speculation for Accelerating Multi-Hop Retrieval Agents [55.74932252501046]
SpecHopは、複数の投機スレッドを維持する継続的投機フレームワークである。
SpecHopが十分なアクティブスレッドでオラクルのレイテンシ向上にアプローチできることを示します。
論文 参考訳（メタデータ） (2026-05-21T03:55:47Z) - Speculating Experts Accelerates Inference for Mixture-of-Experts [44.31811859704714]
Mixture-of-Experts (MoE)モデルは、大規模言語モデル(LLM)のキャパシティを拡大する手段として人気を集めている。
本稿では、現在計算されている内部モデル表現を活用して、将来の専門家を推測するエキスパートプレフェッチ方式を提案する。
提案手法は,CPUメモリからのエキスパートのオンデマンドロードよりも,出力トークン当たりの最大14%の時間短縮を実現する。
論文 参考訳（メタデータ） (2026-03-09T06:59:47Z) - BuddyMoE: Exploiting Expert Redundancy to Accelerate Memory-Constrained Mixture-of-Experts Inference [11.5035097836611]
現代のMoEモデルのサイズが大きくなると、完全なパラメータセットがGPUメモリ容量を超える。
Prefetchingsは、どの専門家が必要なのかを予測することによって、このレイテンシを隠すことを目的としている。
重要な課題は、プレフェッチ失敗時に高い推論速度とモデルの精度を維持することである。
論文 参考訳（メタデータ） (2025-11-13T07:56:50Z) - Accelerating Mixture-of-Expert Inference with Adaptive Expert Split Mechanism [29.862588578556366]
MoEpicは、新しい専門家分割機構を備えた効率的なMoE推論システムである。
人気のあるMoE LLMの実験は、MoEpicがGPUコストの約半分を節約できることを示した。
論文 参考訳（メタデータ） (2025-09-10T07:28:24Z) - Mixture of Lookup Experts [63.787712153454464]
Mixture-of-Experts (MoE)は、推論中に専門家のサブセットだけを起動する。
MoLEは通信とVRAMの両方で効率的な新しいMoEアーキテクチャである。
論文 参考訳（メタデータ） (2025-03-20T02:31:57Z) - vCache: Verified Semantic Prompt Caching [95.16654660556975]
本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。
オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。
我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
論文 参考訳（メタデータ） (2025-02-06T04:16:20Z) - Memory Bounds for the Experts Problem [53.67419690563877]
専門家のアドバイスによるオンライン学習は、逐次予測の根本的な問題である。
目標は、予測を処理し、最小コストで予測を行うことです。
アルゴリズムは、そのセットでもっとも優れた専門家と比較してどれだけうまく機能するかによって判断される。
論文 参考訳（メタデータ） (2022-04-21T01:22:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。