論文の概要: Prefetch-Steered Routing: Deterministic Cache-Aware Expert Selection for Offloaded Mixture-of-Experts Decoding

• arxiv url: http://arxiv.org/abs/2610.34721v1
• Date: Mon, 26 Oct 2026 02:19:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.682112
• Title: Prefetch-Steered Routing: Deterministic Cache-Aware Expert Selection for Offloaded Mixture-of-Experts Decoding
• Title（参考訳）: Prefetch-Steered Routing:Offloaded Mixture-of-Experts Decodingのための決定論的キャッシュアウェアエキスパート選択
• Abstract要約: 決定論的論理キャッシュ上でのプリフェッチステアンドルーティング(PSR)を提案する。 PSRは、LRUによる正確なルーティングよりも2.2-2.3倍高速で、キャッシュ・プライアの動作ポイントより25-30%高速である。 Moonlight-16B-A3Bでは、PSRは37.5%の待ち時間で正確なルーティングよりも1.9倍高速で、Cache-Priorのレイテンシは8つのベンチマークのうち3つで大幅に向上した。
• 参考スコア（独自算出の注目度）: 3.0498438001795436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When a Mixture-of-Experts (MoE) model does not fit in GPU memory, batch-1 decoding is dominated by copying expert weights from host memory. Cache-aware routing reduces these copies by biasing the router toward resident experts, but combined with asynchronous prefetching it makes the model's outputs depend on transfer timing, so a harness that does not simulate that timing no longer evaluates the deployed model. We propose prefetch-steered routing (PSR): routing conditions on a deterministic logical cache, into which at most n experts predicted by the next layer's router are inserted per layer and token; physical copies affect only latency. On OLMoE-1B-7B with 50% and 25% of experts resident on an RTX 4090, PSR decodes 2.2-2.3x faster than exact routing with LRU and 25-30% faster than the Cache-Prior operating point, with mean benchmark differences of +0.1 and +0.5 points (95% lower bounds -0.8 and -0.3). In greedy generation its lead over Cache-Prior depends on the workload and reverses on HumanEval at 50% residency. On Moonlight-16B-A3B, PSR is 1.9x faster than exact routing with LRU at 37.5% residency and, at the latency of Cache-Prior, significantly better on three of eight benchmarks. On Qwen3.6-35B-A3B, where copies are cheap relative to computation, PSR keeps its advantage over Cache-Prior on the likelihood benchmarks but not its speed. Distillation-trained gates did not help. Speculative decoding with block-level expert selection was slower than PSR with a 1B autoregressive drafter on OLMoE, but with a block drafter on Qwen3.6 it was 2.1-2.9x faster than any autoregressive configuration with at most its GPU memory on the 64 prompts we timed.
• Abstract（参考訳）: Mixture-of-Experts(MoE)モデルがGPUメモリに適合しない場合、バッチ1デコーディングは、ホストメモリから専門家の重みをコピーすることによって支配される。 キャッシュ対応ルーティングは、ルータを常駐する専門家に偏在させることで、これらのコピーを減らすが、非同期プレフェッチと組み合わせることで、モデルの出力は転送タイミングに依存するため、そのタイミングをシミュレートしないハーネスは、デプロイされたモデルをもはや評価しない。 決定論的論理キャッシュ上のルーティング条件として,次のレイヤのルータによって予測されるほとんどの n 個の専門家が層ごとに挿入され,物理的コピーがレイテンシにのみ影響する,プリフェッチステアンドルーティング(PSR: Prefetch-steered routing)を提案する。 RTX 4090に常駐する専門家の50%と25%のOLMoE-1Bでは、PSRはLRUによる正確なルーティングよりも2.2-2.3倍、キャッシュ・プライアの運用ポイントより25-30%高速で、ベンチマークの差は+0.1と+0.5(95%下限-0.8と-0.3)である。 greedyジェネレーションでは、Cache-Priorのリードはワークロードに依存し、HumanEvalを50%の常駐で反転する。 Moonlight-16B-A3Bでは、PSRは37.5%の待ち時間で正確なルーティングよりも1.9倍高速で、Cache-Priorのレイテンシは8つのベンチマークのうち3つで大幅に向上した。 Qwen3.6-35B-A3Bでは、コピーは計算に比べて安いが、PSRはキャッシュ-Priorよりも高速である。 蒸留の訓練を受けた門は役に立たなかった。 ブロックレベルの専門家選択による投機的復号化は、OLMoEの1Bオートレグレッシブ・ドラフトラでPSRよりも遅かったが、Qwen3.6のブロック・ドラフトラでは、64のプロンプトでGPUメモリが最大で2.1-2.9倍高速であった。

関連論文リスト

• The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction [9.706368888161817]
  コンシューマハードウェア上のMixture-of-experts (MoE)推論は、重みメモリによってバウンドされる。 We present Edge0, a streaming MoE inference engine that close the gap with a prerouter。 1台の24GBマシンでは、Edge0はピークアクティブメモリの3GiB内の20tok/sで35B MoEを提供する。
  論文  参考訳（メタデータ） (2026-09-16T03:09:04Z)
• Cache-Aware Joint Router Adaptation for Memory-Efficient MoE Inference [30.742807062279226]
  Mixture-of-Experts (MoE)モデルはトークン当たりのエキスパート数が少ないが、フルエキスパートセットはGPUメモリを超える可能性がある。 本稿では,MoEバックボーンと軽量補助ルータを併用したキャッシュ対応ポストトレーニングを提案する。 我々は,GSM8K,MATH,CommonsenseQAにおいて,Qwen3とGPT-OSSの両方のモードを評価する。
  論文  参考訳（メタデータ） (2026-09-04T08:52:36Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• CacheRoute: Planned Prefix-Affinity Routing for Large-Scale LLM Serving [0.0]
  CacheRouteは、3.5sのp99 SLOで176 +/-11 QPSを保ち、2.3倍は5つのベースラインで最強である。 60 H100 GPU上のfp8のLlama-3.3-70Bでは、CacheRouteは3.5 s p99 SLOで176 +/-11 QPSを維持できる。
  論文  参考訳（メタデータ） (2026-08-20T06:12:47Z)
• Cacheable by Design? Training Mixture-of-Experts Routers for Locality Against the Edge Memory-Bandwidth Wall: A Pre-Registered Negative Result with a Systems Measurement Study [0.0]
  Qwen3-235B(Q4_K_M, 134 GB)の帯域幅の壁の定量化 ゼロサージリールータテレメトリーツールである llamamoe-trace を構築し,Q3-30B のルーティングを測定した。 補助的な局所性とドメインルータ損失を有する137M MoE言語モデルの事前登録訓練を行う。
  論文  参考訳（メタデータ） (2026-08-18T19:23:32Z)
• You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
  層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。 シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。 その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-06-04T17:54:04Z)
• From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
  Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。 条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。 本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
  論文  参考訳（メタデータ） (2025-09-29T16:29:17Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• Speedy MASt3R [68.47052557089631]
  MASt3Rは、DUSt3Rを活用して高速な相互マッチング方式を導入することで、画像マッチングを3Dタスクとして再定義する。 高速MASt3Rは、精度を犠牲にすることなく、推論時間(画像ペアあたり198msから91ms)を54%削減する。 この進歩により、リアルタイムな3D理解が可能になり、複合現実ナビゲーションや大規模3Dシーン再構築といったアプリケーションに恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-03-13T03:56:22Z)
• DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training [82.06732962485754]
  FlashAttentionは、1つのGPU上でのトレーニングトランスフォーマーベースの大規模言語モデル(LLM)において、2次ピークメモリの使用を線形に削減する。 本研究では,長期LLM学習に最適化されたメモリ効率の高い注意機構であるDisTFLASHATTNを紹介する。 最近のRing AttentionやDeepSpeed-Ulyssesと比較して、1.67xと1.26 - 1.88xのスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-10-05T03:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。