論文の概要: On the Complexity of Preference-Based Bandits

• arxiv url: http://arxiv.org/abs/2609.39351v1
• Date: Wed, 30 Sep 2026 09:12:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.507233
• Title: On the Complexity of Preference-Based Bandits
• Title（参考訳）: 嗜好に基づく帯域の複雑さについて
• Abstract要約: そこでは、学習者が連続してアームを選択し、Bradley-Terryモデルによって制御される二分選好フィードバックを観察する。 従来の結果とは対照的に,選好フィードバックによる学習は直接的な報酬観察から学ぶのと同じくらい統計的に効率的であることを示す,一階の後悔境界を確立する。
• 参考スコア（独自算出の注目度）: 8.91479401538491
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study preference-based bandits with general reward function classes, where a learner sequentially selects pairs of arms and observes binary preference feedback governed by the Bradley--Terry model. This setting naturally arises in applications such as recommender systems, tournament ranking, and learning from human feedback, where relative preferences are easier to elicit than absolute rewards. The observation model inherits the logistic bandit challenge of handling the problem-dependent constant $κ$, which accounts for the non-linearity of the link function and can grow arbitrarily large. Moreover, prior work has predominantly focused on linear or kernelized reward models, precluding the use of richer function classes. To address these limitations, we consider general reward function classes and introduce the \emph{locally sensitive eluder dimension}, a novel complexity measure tailored to the logistic structure of preference feedback that yields fine-grained regret guarantees without unfavorable dependence on $κ$. Building on this notion, we propose \textbf{GINOP} (Generic INformative OPtimism), an algorithm that constructs log-loss confidence sets and jointly selects arm pairs to balance optimism and informative exploration. We establish a first-order regret bound that, in contrast with what previous results suggest, demonstrates that learning with preference feedback is as statistically efficient as learning from direct reward observation. Finally, we corroborate our theoretical findings with empirical evaluations against competitive baselines.
• Abstract（参考訳）: そこでは、学習者が連続してアームを選択し、Bradley-Terryモデルによって制御される二分選好フィードバックを観察する。 この設定は、リコメンデータシステム、トーナメントランキング、人間からのフィードバックからの学習など、絶対的な報酬よりも相対的な好みが引き起こされるアプリケーションで自然に発生する。 観測モデルは、問題依存定数$κ$を扱い、リンク関数の非線形性を考慮し、任意に大きくなるというロジスティックなバンドイット課題を継承する。 さらに、以前の研究は、よりリッチな関数クラスの使用を前提として、線形またはカーネル化された報酬モデルに重点を置いてきた。 これらの制限に対処するために、一般報酬関数類を考察し、$κ$に不利な依存を伴わずに微細な後悔の保証をもたらす選好フィードバックのロジスティック構造に合わせた新しい複雑性尺度である \emph{locally sensitive eluder dimension} を導入する。 この概念に基づいて、ログロス信頼セットを構築し、最適化と情報探索のバランスをとるためにアームペアを共同で選択するアルゴリズムである「textbf{GINOP} (Generic Informative Optimism)」を提案する。 従来の結果とは対照的に,選好フィードバックによる学習は直接的な報酬観察から学ぶのと同じくらい統計的に効率的であることを示す,一階の後悔境界を確立する。 最後に,我々の理論的知見を,競争基準に対する経験的評価と相関させた。

関連論文リスト

• Saturation-Insensitive Dueling Bandits with General Function Approximation [59.0936996233244]
  SI-CDB(SI-CDB)は、腕選択のための慎重に設計されたアルゴリズムである。 我々の分析の核となるのは、一般関数近似を用いたデュエルバンディットに適した局所化エルダー次元フレームワークである。 また,両腕の遺残分析が,デュエルバンドにおけるシングルアームのパフォーマンス向上に不可欠である理由も理論的に説明できる。
  論文  参考訳（メタデータ） (2026-09-26T23:08:51Z)
• Selective Ensemble Based on Preference-Directed Multi-Objective Bandits [90.75513823660775]
  我々は、部分的に指定された線形選好の下で逐次決定問題を定式化する。 次に、嗜好指向の高信頼度境界(PrefUCB)アルゴリズムを提案する。 大規模な事前学習型モデル選択アンサンブルタスクと,機関委任下でのオンラインアセットアロケーションの実験により,本手法が検証された。
  論文  参考訳（メタデータ） (2026-06-20T07:52:46Z)
• Provably Efficient Personalized Multi-Objective Bandits with Proactive Conversational Queries [24.496126767935937]
  ユーザクエリが構造化された嗜好信号を提供する,プロアクティブなクエリベースのフレームワークを形式化する。 提案手法は,事前の嗜好を意識したMO-MAB法よりも,提案手法により優先推定が促進され,後悔のスケーリングが向上することを証明する。
  論文  参考訳（メタデータ） (2026-06-07T02:19:59Z)
• Best Policy Learning from Trajectory Preference Feedback [11.896067099790962]
  推論ベースの強化学習(PbRL)は、より堅牢な代替手段を提供する。 本稿では, PbRLにおける最適政策識別問題について検討し, 生成モデルの学習後最適化を動機とした。 本稿では,Top-Two Thompson Smplingにヒントを得た新しいアルゴリズムであるPosterior Smpling for Preference Learning(mathsfPSPL$)を提案する。
  論文  参考訳（メタデータ） (2025-01-31T03:55:10Z)
• Reward Modeling with Ordinal Feedback: Wisdom of the Crowd [9.034189257088762]
  人間の好みから報酬モデル(RM)を学ぶことは、大きな言語モデルを調整する上で重要な要素である。 順序フィードバックの下でRMを学習するためのフレームワークを提案する。 我々は,Rademacher複雑性の低減の観点から,順序フィードバックの統計的利点を証明した。
  論文  参考訳（メタデータ） (2024-11-19T20:17:04Z)
• Neural Dueling Bandits: Preference-Based Optimization with Human Feedback [58.90189511247936]
  ニューラルネットワークを用いて、予め選択した腕の好みフィードバックを用いて報酬関数を推定する。 また、理論的結果を文脈的包括的問題に拡張し、二元的フィードバックは、それ自体は非自明な貢献である。
  論文  参考訳（メタデータ） (2024-07-24T09:23:22Z)
• Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation [67.88747330066049]
  きめ細かいフィードバックは、画像の品質と迅速な調整におけるニュアンスドの区別を捉えます。 粗いフィードバックに対する優位性を示すことは、自動ではないことを示す。 きめ細かいフィードバックを抽出し活用する上で重要な課題を特定します。
  論文  参考訳（メタデータ） (2024-06-24T17:19:34Z)
• Reward Learning as Doubly Nonparametric Bandits: Optimal Design and Scaling Laws [22.099915149343957]
  本稿では、報酬学習と関連する最適実験設計問題を研究するための理論的枠組みを提案する。 まず、リッジ回帰に基づく単純なプラグイン推定器の非漸近的過剰リスク境界を導出する。 次に、クエリセットの選択に関してこれらのリスク境界を最適化し、有限サンプル統計率を得ることにより、クエリ設計問題を解決する。
  論文  参考訳（メタデータ） (2023-02-23T22:07:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。