Fugu-MT 論文翻訳(概要): Drift-Aware LLM Routing with Sparse Contexts and Shared Budgets

論文の概要: Drift-Aware LLM Routing with Sparse Contexts and Shared Budgets

arxiv url: http://arxiv.org/abs/2609.00662v1
Date: Tue, 01 Sep 2026 03:39:59 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-02 16:31:36.272562
Title: Drift-Aware LLM Routing with Sparse Contexts and Shared Budgets
Title（参考訳）: 疎コンテキストと共有予算を考慮したドリフト対応LCMルーティング
Authors: Cheung Hao Lee, Patrick Wong,
Abstract要約: マルチモデル言語サービスは、計算、レイテンシ、メモリ、あるいは金銭的コストのワークロードレベルの予算を維持しながら、各要求をルーティングする必要がある。我々は、複数のknapsack制約とオプションのシャドウ・オーディットストリームで非定常スパースコンテキストルーティングを定式化する。政策は、ロール監査窓から報酬とリソースの使用を推定し、悲観的な報酬と楽観的なコスト見積を使ったルートを推定し、リソースの影の価格をオンラインで更新し、コミットメントの前にハードメーターを適用する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A multi-model language service must route each request while preserving workload-level budgets for compute, latency, memory, or monetary cost. Two features make this problem materially harder than static model selection. Prompt representations are high dimensional, so only a small subset of embedding directions may predict the incremental value of a model, and both the request mix and the model frontier drift after launches, fine-tunes, quantization changes, and system updates. We formulate nonstationary sparse contextual routing with multiple knapsack constraints and an optional shadow-audit stream that evaluates a small fraction of prompts on several models. We propose Drift-Aware Sparse Routing (DRS). The policy estimates reward and resource use from a rolling audit window, routes using pessimistic reward and optimistic cost estimates, updates resource shadow prices online, and applies a hard meter before commitment. The analysis separates control from statistics. On any event with uniform prediction radii $\{β_t\}$, regret against a paced dynamic fluid benchmark is bounded by the sum of the radii, a capacity-buffer term, and an $O(\sqrt{T})$ pacing term. Under a sparse linear model and bounded drift $V_T$, rolling estimation gives \[ \widetilde O\left( T\sqrt{\frac{s}{ρW}}+WV_T+\sqrt{T} \right), \] where $s$ is sparsity, $ρ$ is the audit rate, and $W$ is the window length. Optimizing $W$ yields the usual stationary $O(\sqrt{sT/ρ})$ rate when $V_T=0$ and a $O(T^{2/3}(s/ρ)^{1/3}V_T^{1/3})$ adaptation term under drift.
Abstract（参考訳）: マルチモデル言語サービスは、計算、レイテンシ、メモリ、あるいは金銭的コストのワークロードレベルの予算を維持しながら、各要求をルーティングする必要がある。 2つの特徴により、この問題は静的モデル選択よりもかなり難しい。プロンプト表現は高次元であるため、埋め込み方向の小さなサブセットだけがモデルのインクリメンタルな値を予測することができ、リクエストミックスとモデルフロンティアドリフトの両方が起動後に、微調整、量子化の変更、システム更新を行うことができる。複数のknapsack制約とオプションのシャドウ・オーディット・ストリームで、複数のモデルで少数のプロンプトを評価できる非定常スパース・コンテクストルーティングを定式化する。本稿では,Drift-Aware Sparse Routing (DRS)を提案する。政策は、ロール監査窓から報酬とリソースの使用を推定し、悲観的な報酬と楽観的なコスト見積を使ったルートを推定し、リソースの影の価格をオンラインで更新し、コミットメントの前にハードメーターを適用する。その分析は統計から制御を分離する。均一な予測 radii $\{β_t\}$ の場合、ペーストされた動的流体ベンチマークに対する後悔は、ラジイの和、キャパシティバッファ項、および$O(\sqrt{T})$ペーシング項によって制限される。スパース線形モデルと有界ドリフト$V_T$の下で、ローリング推定は \[ \widetilde O\left(T\sqrt{\frac{s}{ρW}}+WV_T+\sqrt{T} \right), \] を与える。 W$の最適化は、V_T=0$ と $O(T^{2/3}(s/ρ)^{1/3}V_T^{1/3}) がドリフト中の適応項であるとき、通常の固定式 $O(\sqrt{sT/ρ})$ のレートを得る。

論文の概要: Drift-Aware LLM Routing with Sparse Contexts and Shared Budgets

関連論文リスト