論文の概要: Saturation-Insensitive Dueling Bandits with General Function Approximation

• arxiv url: http://arxiv.org/abs/2609.33011v1
• Date: Sat, 26 Sep 2026 23:08:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 11:14:23.459872
• Title: Saturation-Insensitive Dueling Bandits with General Function Approximation
• Title（参考訳）: 一般関数近似を用いた飽和不感なデュエルバンド
• Abstract要約: SI-CDB(SI-CDB)は、腕選択のための慎重に設計されたアルゴリズムである。 我々の分析の核となるのは、一般関数近似を用いたデュエルバンディットに適した局所化エルダー次元フレームワークである。 また,両腕の遺残分析が,デュエルバンドにおけるシングルアームのパフォーマンス向上に不可欠である理由も理論的に説明できる。
• 参考スコア（独自算出の注目度）: 59.0936996233244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study contextual dueling bandits with general function approximation under the Bradley-Terry-Luce (BTL) preference model. A key challenge in this setting is the saturation of the preference model: when the current reward model can already distinguish two actions with high confidence, the resulting preference feedback becomes weakly informative, making it difficult to further improve reward estimation. Consequently, existing sample-complexity analyses often depend on the inverse-derivative factor $1 / σ'[Δ_{r^\ast}]$ which can be prohibitively large when the link function $σ$ saturates for large reward gaps $Δ_{r^\ast}$. To address this issue, we introduce `SI-CDB`, an algorithm that selects opponent arms using a carefully designed heuristic for arm selection. This design enables saturation-insensitive reward learning and recovers the near-optimal dependence for linear reward classes, eliminating the unfavorable $1/σ'(\cdot)$ factor. The core of our analysis is a localized Eluder dimension framework tailored to dueling bandits with general function approximation. Our theoretical results also explain why two-arm regret analysis is crucial for improving single-arm performance in dueling bandits.
• Abstract（参考訳）: 我々はBradley-Terry-Luce(BTL)選好モデルの下で,一般関数近似を用いたコンテキストデュエルバンディットについて検討した。 この設定における重要な課題は、選好モデルの飽和である。現在の報奨モデルが、信頼度の高い2つのアクションを既に区別できる場合、その結果の選好フィードバックが弱くなり、報奨推定をさらに改善することが困難になる。 したがって、既存のサンプル複雑度解析はしばしば逆微分係数 $1 / σ'[Δ_{r^\ast}]$ に依存する。 この問題に対処するために,慎重に設計したアーム選択用ヒューリスティックを用いて相手アームを選択するアルゴリズム「SI-CDB」を導入する。 この設計は、飽和不感な報酬学習を可能にし、線形報酬クラスに対するほぼ最適依存を回復し、好ましくない1/σ'(\cdot)$因子を除去する。 我々の分析の核となるのは、一般関数近似を用いたデュエルバンディットに適した局所化エルダー次元フレームワークである。 また,両腕の遺残分析が,デュエルバンドにおけるシングルアームのパフォーマンス向上に不可欠である理由も理論的に説明できる。

関連論文リスト

• Balancing Performance and Costs in Best Arm Identification [5.558508644689221]
  本研究は、推奨アームの性能と、このアームを学習することで得られるコストとを明示的にバランスさせるリスク関数を最小化する新しいフォーマリズムを提案する。 この枠組みでは、サンプリングフェーズの各観察にコストがかかり、アームを推奨すると、最適下腕を特定するためにパフォーマンスペナルティが生じる。 性能ペナルティの2つの選択のリスク、誤識別の確率、単純な後悔のリスクについて理論的に下位境界を導出し、DBCAREと呼ばれるアルゴリズムを提案し、これらの下位境界をほぼ全ての問題インスタンス上のポリログ因子に一致させる。
  論文  参考訳（メタデータ） (2025-05-26T23:33:43Z)
• Bridging Rested and Restless Bandits with Graph-Triggering: Rising and Rotting [67.1631453378926]
  Graph-Triggered Banditsは、安静と安静のバンディットを一般化するフレームワークである。 本研究は,2種類の単調包帯に焦点をあてる: 立ち上がり, 腕の期待される報酬が増加する, 引き金の数が増える, 回転する, 反対の行動が起こる。
  論文  参考訳（メタデータ） (2024-09-09T18:23:07Z)
• Nearly Optimal Algorithms for Contextual Dueling Bandits from Adversarial Feedback [58.66941279460248]
  人からのフィードバックから学ぶことは、大言語モデル(LLM)のような生成モデルを調整する上で重要な役割を果たす 本稿では,このドメイン内のモデルについて考察する。-文脈的デュエルバンディット(contextual dueling bandits)と,正の選好ラベルを相手によって反転させることができる対向フィードバック(reversarial feedback)について考察する。 本稿では,不確実性重み付き最大推定に基づく頑健なコンテキストデュエルバンドイット(RCDB)を提案する。
  論文  参考訳（メタデータ） (2024-04-16T17:59:55Z)
• Variance-Aware Regret Bounds for Stochastic Contextual Dueling Bandits [53.281230333364505]
  本稿では, 一般化線形モデル(GLM)から, デュエルアームのバイナリ比較を生成するコンテキストデュエルバンド問題について検討する。 本稿では,SupLinUCB型アルゴリズムを提案する。このアルゴリズムは,計算効率と分散を意識したリセットバウンド$tilde Obig(dsqrtsum_t=1Tsigma_t2 + dbig)$を提案する。 我々の後悔は、比較が決定論的である場合の直感的な期待と自然に一致し、アルゴリズムは$tilde O(d)$ regretにのみ悩まされる。
  論文  参考訳（メタデータ） (2023-10-02T08:15:52Z)
• Bias-Robust Bayesian Optimization via Dueling Bandit [57.82422045437126]
  ベイジアン最適化は、観測が逆偏りとなるような環境において考慮する。 情報指向サンプリング(IDS)に基づくダリングバンディットの新しい手法を提案する。 これにより、累積的後悔保証を伴う帯域幅の並列化のための、最初の効率的なカーネル化アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2021-05-25T10:08:41Z)
• Contextual-Bandit Based Personalized Recommendation with Time-Varying User Interests [11.248271996987802]
  非定常環境では文脈的包帯問題を研究する。 異なる項目に対するユーザの好みは、時間とともに異なる。 突発的な報酬変化に適応する効率的な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-29T22:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。