論文の概要: Online Learning with LLM Experts from Limited Feedback

• arxiv url: http://arxiv.org/abs/2609.05820v1
• Date: Sat, 05 Sep 2026 02:30:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.141474
• Title: Online Learning with LLM Experts from Limited Feedback
• Title（参考訳）: 限定フィードバックによるLLMエキスパートによるオンライン学習
• Abstract要約: 本研究では,大規模言語モデル(LLM)の専門家に対して,限られたフィードバックしか持たないオンライン環境での応答品質を最大化するプロンプトの適応的ルーティングについて検討する。 我々は、後悔を最小限に抑えるために、報酬を戦略的に選択し、観察するアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 91.92265248492875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study adaptive routing of prompts to large language model (LLM) experts to maximize response quality in an online setting with limited feedback. We formulate it as a bandit problem with $K$ actions that represent experts and $d$ features that encode prompts, over a horizon of $T$ rounds. We propose algorithms that strategically select and observe rewards to minimize regret. In the full-information setting, we achieve a regret of $\tilde{O}(d T / \sqrt{m})$, while in the bandit setting we achieve $\tilde{O}(d T \sqrt{K / m})$, where $m \ll T$ is a budget on feedback. Our experiments show that we efficiently learn high-quality routing strategies across diverse LLMs from limited feedback.
• Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)の専門家に対して,限られたフィードバックしか持たないオンライン環境での応答品質を最大化するプロンプトの適応的ルーティングについて検討する。 私たちはそれを、専門家を表す$K$アクションとプロンプトをエンコードする$d$機能で、T$ラウンドの地平線上で、盗賊問題として定式化します。 我々は、後悔を最小限に抑えるために、報酬を戦略的に選択し、観察するアルゴリズムを提案する。 完全な情報設定では、$\tilde{O}(d T / \sqrt{m})$を後悔する一方、bandit設定では$\tilde{O}(d T \sqrt{K / m})$を達成します。 実験の結果,限られたフィードバックから多種多様なLSM間の高品質なルーティング戦略を効率よく学習できることが判明した。

関連論文リスト

• UCB-type Algorithm for Budget-Constrained Expert Learning [71.67657715154034]
  algnameM-LCBはUCBスタイルのメタアルゴリズムであり、幻想的後悔の保証を提供する 我々は、AlgnameM-LCBが、限られたリソースの下で、ステートフルで自己学習の専門家をコーディネートする、より現実的なシナリオまで、古典的な帯域幅パラダイムをどのように拡張しているかを示す。
  論文  参考訳（メタデータ） (2025-10-26T12:36:17Z)
• Online Learning with Sublinear Best-Action Queries [15.625072719419727]
  本研究では,与えられた時間ステップにおける最善の行動の識別を事前に明らかにする,emphbest-actionクエリのパワーについて検討する。 完全なフィードバックモデルでは、$k$クエリは$Thetaleft(minleftsqrt T, frac Tkrightright)$の最適後悔を達成するのに十分である。
  論文  参考訳（メタデータ） (2024-07-23T09:59:43Z)
• Can Large Language Models Play Games? A Case Study of A Self-Play Approach [61.15761840203145]
  LLM(Large Language Models)は、インターネットからの広範なデータを利用して、幅広い事前知識を格納する。 Monte-Carlo Tree Search (MCTS)は、信頼性の高い意思決定ソリューションを提供する検索アルゴリズムである。 この研究は、ターンベースのゼロサムゲームを効率的に解決するために、MCTSセルフプレイでLLMを活性化させる革新的なアプローチを導入している。
  論文  参考訳（メタデータ） (2024-03-08T19:16:29Z)
• Learning Thresholds with Latent Values and Censored Feedback [18.129896050051432]
  未知の報酬$g(gamma, v)$が提案されたしきい値$gamma$と潜伏値$v$に依存する問題を示し、そのしきい値が未知の潜伏値よりも低い場合のみ$$を達成できる。 この問題は、オンラインオークションにおける予約価格の最適化、クラウドソーシングにおけるオンラインタスクの割り当て、雇用におけるリクルートバーの設定など、現実的なシナリオにおける幅広い応用がある。
  論文  参考訳（メタデータ） (2023-12-07T19:30:08Z)
• Contextual Bandits and Imitation Learning via Preference-Based Active Queries [17.73844193143454]
  本研究では,学習者が実行された行動報酬の直接的な知識を欠いている文脈的包帯と模倣学習の問題を考察する。 その代わり、学習者は各ラウンドのエキスパートに積極的に問い合わせて2つのアクションを比較し、ノイズの多い好みのフィードバックを受け取ることができる。 学習者の目的は、実行されたアクションに関連する後悔を最小限に抑えると同時に、専門家が行った比較クエリの数を最小化することである。
  論文  参考訳（メタデータ） (2023-07-24T16:36:04Z)
• $k\texttt{-experts}$ -- Online Policies and Fundamental Limits [8.84337023214151]
  本稿では,textttExperts$問題について検討する。 学習者は各ラウンドで$k$のエキスパートのサブセットをN$のエキスパートのプールから選択する。 任意のラウンドで学習者が得られる報酬は、選択した専門家の報酬に依存する。
  論文  参考訳（メタデータ） (2021-10-15T06:30:15Z)
• Online Markov Decision Processes with Aggregate Bandit Feedback [74.85532145498742]
  本稿では,オンライン有限水平マルコフ決定過程の新たな変種について検討する。 各エピソードにおいて、学習者は、エピソードの選択した方針によって実現された軌道に沿って蓄積された損失を被り、総括的盗聴フィードバックを観察する。 我々の主な結果は計算効率のよいアルゴリズムで、$O(sqrtK)$ regret for this set, where $K$ is the number of episodes。
  論文  参考訳（メタデータ） (2021-01-31T16:49:07Z)
• Impact of Representation Learning in Linear Bandits [83.17684841392754]
  本研究では,表現学習が帯域幅問題の効率性を向上させる方法について検討する。 我々は,$widetildeO(TsqrtkN + sqrtdkNT)$ regretを達成する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-13T16:35:30Z)
• Stochastic Bandits with Linear Constraints [69.757694218456]
  制約付き文脈線形帯域設定について検討し、エージェントの目標は一連のポリシーを作成することである。 楽観的悲観的線形帯域(OPLB)と呼ばれる,この問題に対する高信頼束縛アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-17T22:32:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。