論文の概要: Online LLM Selection via Constrained Bandits with Time-Varying Demand

• arxiv url: http://arxiv.org/abs/2606.17489v1
• Date: Tue, 16 Jun 2026 03:58:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.257087
• Title: Online LLM Selection via Constrained Bandits with Time-Varying Demand
• Title（参考訳）: 時間変化需要を考慮した制約帯域によるオンラインLCM選択
• Authors: Yin Huang, Qingsong Liu, Jie Xu,
• Abstract要約: 大きな言語モデル(LLM)は、さまざまなユーザタスクを不均一な精度、レイテンシ、コストプロファイルで処理するために、エッジクラウドシステムにますます多くデプロイされている。 本研究では,この問題を制約付きバンディット学習タスクとして定式化し,学習者がパッキング型(ハード)とカバー型(ソフト)の両方の制約の下でモデルを逐次選択する。 我々は,信頼度に基づく評価と需要予測を利用して,報酬と長期的な満足感のバランスをとる新しいオンライン学習アルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 11.284703747922757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are increasingly deployed in edge-cloud inference systems to handle diverse user tasks with heterogeneous accuracy, latency, and cost profiles. Selecting the appropriate LLM for each incoming task is critical for ensuring service quality and efficient resource utilization. However, model heterogeneity, stochastic and unknown performance characteristics, and time-varying task demands make static selection strategies inadequate. Real-world deployments often impose hard resource budgets such as monetary expenditure limits, along with soft service-level requirements such as latency guarantees. These constraints introduce additional challenges for online decision-making. We formulate this problem as a constrained stochastic bandit learning task, where the learner sequentially selects models under both packing-type (hard) and covering-type (soft) constraints, while adapting to time-varying task demand. The learner operates without access to the underlying reward, cost, or latency distributions and must rely on partial feedback. We develop a novel online learning algorithm that leverages confidence-bound estimates and demand predictions to balance reward maximization with long-term constraint satisfaction. We provide theoretical guarantees showing sublinear regret and sublinear covering constraint violations compared to an offline benchmark with full information. Experimental results on synthetic workloads demonstrate the effectiveness and robustness of our approach in dynamic, resource-constrained environments.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、さまざまなユーザタスクを不均一な精度、レイテンシ、コストプロファイルで処理するために、エッジクラウド推論システムにますます多くデプロイされている。 サービス品質と効率的な資源利用を確保するためには,各タスクに対して適切なLLMを選択することが重要である。 しかし、モデルの不均一性、確率的、未知のパフォーマンス特性、時間的変化によるタスク要求は静的選択戦略を不適切にする。 現実のデプロイメントでは、金銭的支出制限のような厳しいリソース予算と、レイテンシ保証のようなソフトなサービスレベルの要件が課されることが多い。 これらの制約は、オンライン意思決定に新たな課題をもたらす。 本稿では,この問題を制約付き確率的バンディット学習タスクとして定式化し,学習者は,時間変化のあるタスク要求に適応しつつ,パッキング型(ハード)制約とカバー型(ソフト)制約の両方の下でモデルを逐次選択する。 学習者は、基礎となる報酬、コスト、遅延分布にアクセスせずに動作し、部分的なフィードバックに頼らなければならない。 我々は,信頼度に基づく推定と需要予測を利用して,報酬の最大化と長期的制約満足度をバランスさせる新しいオンライン学習アルゴリズムを開発した。 完全情報を持つオフラインベンチマークと比較して,サブ線形後悔とサブ線形被覆制約違反を示す理論的保証を提供する。 動的・資源制約のある環境における我々のアプローチの有効性とロバスト性を示す。

関連論文リスト

• Reliable LLM-Based Edge-Cloud-Expert Cascades for Telecom Knowledge Systems [54.916243942641444]
  大規模言語モデル(LLM)は、通信などの分野において、自動化の鍵となる存在として浮上している。 本研究では,問合せパイプラインによる意思決定を支援する,エッジクラウドに精通したLLMベースの知識システムについて検討する。
  論文  参考訳（メタデータ） (2025-12-23T03:10:09Z)
• Adaptive Neighborhood-Constrained Q Learning for Offline Reinforcement Learning [52.03884701766989]
  オフライン強化学習(RL)アルゴリズムは、通常、アクション選択に制約を課す。 本稿では,Bellmanターゲットにおける行動選択を,データセットアクションの近傍の結合に制限する新しい地区制約を提案する。 我々は,この制約を満たす目標動作を用いてQ学習を行うための,単純で効果的なアルゴリズムであるAdaptive Neighborhood-Constrained Q Learning(ANQ)を開発した。
  論文  参考訳（メタデータ） (2025-11-04T13:42:05Z)
• BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning [82.925106913459]
  強化微調整(Reinforcement Finetuning, RFT)は、大規模言語モデル(LLM)を人間の嗜好と整合させ、推論を強化するための重要な手法である。 RFT強化微調整におけるベイズオンラインタスク選択のための統合フレームワークBOTSを紹介する。
  論文  参考訳（メタデータ） (2025-10-30T11:15:23Z)
• MESS+: Dynamically Learned Inference-Time LLM Routing in Model Zoos with Service Level Guarantees [17.478510146434218]
  オープンウェイトな大規模言語モデル(LLM)動物園は、多くの高品質なモデルへのアクセスを提供する。 ほとんどのユーザーは、モデル技術に気を使わずに、事実的正確で安全で満足な応答を欲しがっている。 コスト最適LCM要求ルーティングのための最適化アルゴリズムであるMESS+を紹介する。
  論文  参考訳（メタデータ） (2025-05-26T13:11:08Z)
• Offline Critic-Guided Diffusion Policy for Multi-User Delay-Constrained Scheduling [29.431945795881976]
  本稿では,新しいオフライン強化学習アルゴリズムである underlineScheduling を提案する。 プリコンパイルされたEmphofflineデータから、効率的なスケジューリングポリシを純粋に学習する。 我々は、SOCDは、部分的に観測可能で大規模な環境を含む、様々なシステム力学に耐性があることを示します。
  論文  参考訳（メタデータ） (2025-01-22T15:13:21Z)
• MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning [108.79676336281211]
  データ収集とオンライン学習のための新しいポリシーの継続的展開はコスト非効率か非現実的かのどちらかである。 モデルベース不確実性正規化とサンプル効率的なバッチ最適化という新しいアルゴリズム学習フレームワークを提案する。 本フレームワークは,各デプロイメントの新規で高品質なサンプルを発見し,効率的なデータ収集を実現する。
  論文  参考訳（メタデータ） (2021-02-23T01:30:55Z)
• Coordinated Online Learning for Multi-Agent Systems with Coupled Constraints and Perturbed Utility Observations [91.02019381927236]
  本研究では, 資源制約を満たすため, エージェントを安定な集団状態へ誘導する新しい手法を提案する。 提案手法は,ゲームラグランジアンの拡張によるリソース負荷に基づく分散リソース価格設定手法である。
  論文  参考訳（メタデータ） (2020-10-21T10:11:17Z)
• Regularized Online Allocation Problems: Fairness and Beyond [7.433931244705934]
  本稿では, 総資源消費に作用する非線形正規化器を含む変種である, 語彙化オンライン割当問題を紹介する。 この問題では、要求は時間とともに繰り返し届き、各要求に対して、意思決定者は報酬を生成しリソースを消費するアクションを取る必要があります。 目的は、資源制約を受ける加算可分な報酬と非分離可正則化器の値とを同時に最大化することである。
  論文  参考訳（メタデータ） (2020-07-01T14:24:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。