論文の概要: Cacheable by Design? Training Mixture-of-Experts Routers for Locality Against the Edge Memory-Bandwidth Wall: A Pre-Registered Negative Result with a Systems Measurement Study

• arxiv url: http://arxiv.org/abs/2608.18261v1
• Date: Tue, 18 Aug 2026 19:23:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.188775
• Title: Cacheable by Design? Training Mixture-of-Experts Routers for Locality Against the Edge Memory-Bandwidth Wall: A Pre-Registered Negative Result with a Systems Measurement Study
• Title（参考訳）: 設計によるキャッシュ可能? エッジメモリ幅壁に対する局部性試験用ルータの訓練--システム計測による事前登録負の結果-
• Abstract要約: Qwen3-235B(Q4_K_M, 134 GB)の帯域幅の壁の定量化 ゼロサージリールータテレメトリーツールである llamamoe-trace を構築し,Q3-30B のルーティングを測定した。 補助的な局所性とドメインルータ損失を有する137M MoE言語モデルの事前登録訓練を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Serving a 235B-parameter Mixture-of-Experts (MoE) model on a single 8 GB GPU is bottlenecked not by compute but by memory bandwidth: decode must stream each token's active experts from whichever tier holds them, and on consumer hardware most experts sit on an SSD far slower than RAM. We quantify this bandwidth wall on Qwen3-235B (Q4_K_M, 134 GB): measured decode is 0.44 tok/s warm, matching a bytes-per-token / bandwidth model, while a batching scheme that should amortize one disk sweep instead collapses at batch 32 from paging thrash. We build llama-moe-trace, a zero-surgery router-telemetry tool, and measure routing on Qwen3-30B: adjacent-token expert reuse is 2.0x chance, 95% of traffic uses 52.5% of experts, and an LRU cache of 13.4% of experts serves 66% of requests. We then ask whether cacheability is trainable: we pre-register training of 137M MoE language models with auxiliary locality and domain router losses, under joint criteria on cache-miss reduction and perplexity. The mechanism works (misses down up to 60%; a 99% static-pin hit rate) but every configuration fails the pre-registered <=1% perplexity gate -- miss reduction and quality are tightly coupled. Concurrent StickyMoE reports the same loss as near-free on single-domain sub-25M models; on multi-domain 137M we find the tax real. Our contribution is this pre-registered, stricter-criterion, multi-domain evaluation plus edge-serving measurements. A 340M rung shows the tax does not shrink with scale (it rises slightly). We further show training-free cache-aware rerouting stacks with trained locality -- together ~80% miss reduction at <=3.4% perplexity at both sizes, far cheaper than either alone -- while domain-primed prefetching does not help. All code, traces, and the pre-registration are released.
• Abstract（参考訳）: 単一の8GB GPU上で235BパラメータのMixture-of-Experts(MoE)モデルを実行することは、計算ではなくメモリ帯域幅によってボトルネックとなる。 我々は、Qwen3-235B(Q4_K_M, 134 GB)上のこの帯域幅の壁を定量化する。測定されたデコードは、0.44 tok/sで、バイト単位/トーケン/バンド幅モデルに一致する。 我々は、ゼロサージルータテレメトリツールである llama-moe-trace を構築し、Qwen3-30B 上のルーティングを測定する: 隣接する専門家の再利用は2.0倍の確率で、トラフィックの95%は52.5%、エキスパートの13.4%は66%のリクエストを処理している。 キャッシュミス低減とパープレキシティに関する共同基準の下で、補助的なローカリティとドメインルータ損失を持つ137M MoE言語モデルの事前登録トレーニングを行う。 機構は機能する(最大60%、静的ピンヒット率99%)が、すべての構成が事前登録された <=1% パープレキシティゲートに失敗する。 Concurrent StickyMoEは、単一ドメインのサブ25Mモデルでほぼフリーであるのと同じ損失を報告している。 私たちの貢献は、登録済みで厳格な基準、複数ドメインの評価とエッジ保存の測定です。 3億4000万ルンという数字は、税が規模に応じて縮小しないことを示している(わずかに上昇する)。 さらに、トレーニングなしのキャッシュ対応リルーチンスタックと、トレーニング済みのローカリティ -- 合計で約80%のミスリダクションが、両方のサイズで<=3.4%のパープレキシティで、どちらよりもはるかに安く -- が、ドメインプライドのプリフェッチは役に立たない。 すべてのコード、トレース、事前登録がリリースされる。

関連論文リスト

• Shared KV Caching for Replicated 27B Inference: Correctness Failures and Performance Boundaries [6.185334606321749]
  256 GiB LMCacheプールを共有する2つのシングルGPU 27B vLLMレプリカについて検討した。 複製を交互に行う6ターン合成セッションは、32kと128kの初期文脈で約35%と45%改善した。
  論文  参考訳（メタデータ） (2026-09-14T04:37:44Z)
• From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
  200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。 我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。 このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
  論文  参考訳（メタデータ） (2026-09-01T17:39:26Z)
• CacheRoute: Planned Prefix-Affinity Routing for Large-Scale LLM Serving [0.0]
  CacheRouteは、3.5sのp99 SLOで176 +/-11 QPSを保ち、2.3倍は5つのベースラインで最強である。 60 H100 GPU上のfp8のLlama-3.3-70Bでは、CacheRouteは3.5 s p99 SLOで176 +/-11 QPSを維持できる。
  論文  参考訳（メタデータ） (2026-08-20T06:12:47Z)
• Benchmarking LLM-Guided Control-Plane Policies for Backend Fault Isolation in HAProxy [0.0]
  我々は、大規模言語モデルが静的ルーティングポリシーそのものを置き換えることができるかどうかを問う。 3B 能動パラメータの近傍で能動閾値を求める。 その上、アーキテクチャに関係なく、すべてのモデルは、クライアントが認識した5xxエラーの88%近くを飽和させます。
  論文  参考訳（メタデータ） (2026-08-11T06:15:20Z)
• Governing the KV Cache: Preventing Timing Side-Channel Leakage in Multi-Tenant LLM Inference [0.0]
  キーバリュー(KV)キャッシュは、現代の大言語モデル(LLM)推論における主要なスループット最適化である。 3つの攻撃がそれを悪用し、保護されていないvLLMとSGに対する攻撃の成功率が最大100%に達する。 我々は3つの攻撃ファミリーのプレフィックスキャッシュパスに対処するガバナンス層であるKVGovを紹介する。
  論文  参考訳（メタデータ） (2026-08-10T07:47:57Z)
• When Does Trace-Driven Evaluation Mislead MoE Expert Caching? Replay Semantics, Workload Contamination, and Operating Regimes [3.471896896439183]
  Mixture-of-Experts (MoE)モデルはアクセラレーターメモリをはるかに上回っている。 ヒット率を上げた政策は、トークン当たりの専門家のトラフィックを減らした。 我々は、数だけでなく結論を変える3つの評価軸を評価する。
  論文  参考訳（メタデータ） (2026-08-08T04:29:20Z)
• HetRoute Heterogeneous and Cost-aware Collaborative Routing Framework for Distributed Edge MoE Inference [47.0879800334801]
  HetRouteは、分散エッジMoE推論のための異種コスト対応協調ルーティングフレームワークである。 HetRouteは平均推論遅延を59.0%、P99レイテンシを58.0%まで削減する。
  論文  参考訳（メタデータ） (2026-08-01T10:30:01Z)
• Move the Query, Not the Cache: Characterizing Cross-Instance Latent Attention Redistribution Across GPU Fabrics [1.081571058570587]
  Multi-head Latent Attentionは算術を逆転し、各トークンのキーと値を1つの狭いベクトルに圧縮する。 実マルチノードH100クラスタ上でのクロスインスタンスMLAの注意を特徴付ける。
  論文  参考訳（メタデータ） (2026-05-31T23:53:24Z)
• Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
  ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。 本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-12T16:00:22Z)
• From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
  Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。 条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。 本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
  論文  参考訳（メタデータ） (2025-09-29T16:29:17Z)
• A Simple Linear Patch Revives Layer-Pruned Large Language Models [58.056251480151104]
  大規模言語モデル(LLM)の圧縮技術として広く使われているレイヤプルーニング(Layer pruning)が登場している。 textscLinearPatchはプルーニングインターフェイスで2つの操作を1つの行列に乗算する。 パッチはメモリ効率の悪いオフライン蒸留によって5Kの未ラベルのサンプルでさらに洗練され、1つのGPUでわずか30分で95.16%に保留できる。
  論文  参考訳（メタデータ） (2025-05-30T15:06:08Z)
• MOM: Memory-Efficient Offloaded Mini-Sequence Inference for Long Context Language Models [72.61076288351201]
  メモリ効率の良いオフロードミニシーケンス推論(MOM)を提案する。 MOMは重要なレイヤを小さな“ミニシーケンス”に分割し、KVキャッシュのオフロードとシームレスに統合する。 Meta-Llama-3.2-8Bでは、単一のA100 80GB GPU上での最大コンテキスト長を155kから455kに拡張する。
  論文  参考訳（メタデータ） (2025-04-16T23:15:09Z)
• vCache: Verified Semantic Prompt Caching [95.16654660556975]
  本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。 オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。 我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
  論文  参考訳（メタデータ） (2025-02-06T04:16:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。