論文の概要: Chance-Constrained Personalized LLM Routing with Online Preference Learning
- arxiv url: http://arxiv.org/abs/2610.22695v1
- Date: Thu, 15 Oct 2026 22:01:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.685109
- Title: Chance-Constrained Personalized LLM Routing with Online Preference Learning
- Title(参考訳): オンライン選好学習による環境制約付きパーソナライズ LLM ルーティング
- Abstract要約: ルータがコストと能力の異なる異種モデルの中から選択するパーソナライズされたLSMルーティングについて検討する。
この問題を制約付きコンテキスト帯域として定式化し、コストと品質のバランスを保ちながら好みを学習するアルゴリズムを開発する。
- 参考スコア(独自算出の注目度): 6.2229686397601585
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study personalized LLM routing, where a router selects among heterogeneous models with different costs and capabilities. The router must minimize cumulative inference cost while ensuring reliable realized response quality, even though user preferences are unknown and must be learned from feedback during deployment. We formulate this problem as a constrained contextual bandit and develop an algorithm that learns preferences while balancing cost and quality. Under a logistic preference model and a strict-feasibility condition, we establish sublinear expected cost regret relative to an optimal stationary randomized contextual oracle and a high-probability guarantee on realized cumulative satisfaction. The framework extends beyond LLM routing to broader online model-selection problems with reliability requirements.
- Abstract(参考訳): ルータがコストと能力の異なる異種モデルの中から選択するパーソナライズされたLSMルーティングについて検討する。
ルータは、ユーザの好みが不明で、デプロイメント中にフィードバックから学ぶ必要があるにもかかわらず、信頼性の高い応答品質を確保しながら、累積的な推論コストを最小限に抑えなければならない。
この問題を制約付きコンテキスト帯域として定式化し、コストと品質のバランスを保ちながら好みを学習するアルゴリズムを開発する。
ロジスティックな選好モデルと厳密な実現可能性条件の下で、最適な定常ランダム化された文脈オラクルと、実現された累積満足度に対する高い確率保証に対して、サブ線形な予測コストの後悔を確立する。
このフレームワークはLLMルーティングを超えて、信頼性要求を伴うより広範なオンラインモデル選択問題に拡張されている。
関連論文リスト
- Online LLM Selection via Constrained Bandits with Time-Varying Demand [11.284703747922757]
大きな言語モデル(LLM)は、さまざまなユーザタスクを不均一な精度、レイテンシ、コストプロファイルで処理するために、エッジクラウドシステムにますます多くデプロイされている。
本研究では,この問題を制約付きバンディット学習タスクとして定式化し,学習者がパッキング型(ハード)とカバー型(ソフト)の両方の制約の下でモデルを逐次選択する。
我々は,信頼度に基づく評価と需要予測を利用して,報酬と長期的な満足感のバランスをとる新しいオンライン学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2026-06-16T03:58:48Z) - RouteLMT: Learned Sample Routing for Hybrid LLM Translation Deployment [57.588738943463646]
大規模言語モデル(LLM)は機械翻訳(MT)において顕著な性能を発揮した
大規模に展開するのは 違法に高価です
モデル内ルータである textbfRouteLMT を提案する。
論文 参考訳(メタデータ) (2026-04-24T13:02:45Z) - Reliable LLM-Based Edge-Cloud-Expert Cascades for Telecom Knowledge Systems [54.916243942641444]
大規模言語モデル(LLM)は、通信などの分野において、自動化の鍵となる存在として浮上している。
本研究では,問合せパイプラインによる意思決定を支援する,エッジクラウドに精通したLLMベースの知識システムについて検討する。
論文 参考訳(メタデータ) (2025-12-23T03:10:09Z) - Learning to Route LLMs from Bandit Feedback: One Policy, Many Trade-offs [69.2486294522259]
BaRPはBandit Routing-feedback with Preferencesアプローチであり、デプロイと同じ部分フィードバック制限の下でトレーニングされる。
提案手法は,学習中のオンラインフィードバック設定をシミュレートし,新たなプロンプトに適応する。
論文 参考訳(メタデータ) (2025-10-08T18:24:59Z) - Meta-Router: Bridging Gold-standard and Preference-based Evaluations in Large Language Model Routing [15.724480880994259]
大規模言語モデル(LLM)ルータは、クエリ毎に候補のプールから最も適切なモデルを選択する。
クラウドソーシングやLSM-as-a-judgeシステムを通じて収集された嗜好ベースのデータは、より安価でスケーラブルだが、応答の真の品質を反映することにはバイアスが伴うことが多い。
我々は、好みデータバイアスを補正し、2つのデータソース間の不均衡に対処し、ルーティングの堅牢性と効率を改善する統合因果ルータトレーニングフレームワークを開発する。
論文 参考訳(メタデータ) (2025-09-29T21:44:00Z) - Leveraging Uncertainty Estimation for Efficient LLM Routing [20.67188754368684]
エッジクラウド環境に大規模言語モデル(LLM)をデプロイするには、コストとレスポンス品質のバランスをとるための効率的なルーティング戦略が必要である。
従来のアプローチでは、ベンチマークデータセットから人間の参照データまたは精度メトリクスをルーティング基準として優先順位付けしていた。
我々は、不確実性推定を利用してルーティング決定を最適化する新しいフレームワークである信頼性駆動型LLMルータを提案する。
論文 参考訳(メタデータ) (2025-02-16T07:08:47Z) - Hybrid LLM: Cost-Efficient and Quality-Aware Query Routing [53.748685766139715]
大規模言語モデル(LLM)は、ほとんどのNLPタスクで優れていますが、そのサイズのため、デプロイに高価なクラウドサーバも必要です。
コスト削減と品質維持のために,それぞれの強みを組み合わせたハイブリッド推論手法を提案する。
実験では、反応の品質が低下することなく、最大40%大きなモデルへの呼び出しを削減できます。
論文 参考訳(メタデータ) (2024-04-22T23:06:42Z) - Offline Minimax Soft-Q-learning Under Realizability and Partial Coverage [100.8180383245813]
オフライン強化学習(RL)のための値ベースアルゴリズムを提案する。
ソフトマージン条件下でのバニラQ関数の類似した結果を示す。
我々のアルゴリズムの損失関数は、推定問題を非線形凸最適化問題とラグランジフィケーションとしてキャストすることによって生じる。
論文 参考訳(メタデータ) (2023-02-05T14:22:41Z) - Online Learning under Budget and ROI Constraints via Weak Adaptivity [57.097119428915796]
制約付きオンライン学習問題に対する既存の原始双対アルゴリズムは、2つの基本的な仮定に依存している。
このような仮定は、標準の原始双対テンプレートを弱適応的後悔最小化器で与えることによって、どのように回避できるのかを示す。
上記の2つの前提が満たされていない場合に保証される、世界の最高の保証を証明します。
論文 参考訳(メタデータ) (2023-02-02T16:30:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。