論文の概要: Conservative Dueling Bandits: Preference Learning under Baseline Constraints
- arxiv url: http://arxiv.org/abs/2610.36708v1
- Date: Tue, 27 Oct 2026 06:25:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.527134
- Title: Conservative Dueling Bandits: Preference Learning under Baseline Constraints
- Title（参考訳）: 保守的なデュエルバンド:ベースライン制約下での選好学習
- Abstract要約: 我々は,各ラウンドにおいて,より優れた表示項目の累積スコアが信頼された基準値のごく一部に留まることを要求する,保守的なコンテキストデュエルバンディットについて検討する。
保守的帯域幅アルゴリズム CLUCB の安全性テストの転送は,ベースラインのユーティリティが正確に把握されている場合でも,線形後悔を引き起こす可能性があることを示す。
我々は,実用的ギャップを通じてスコアを認定するMaxInP-BCを開発した。
汎用ユーティリティクラスでは,BTIGW-BC を開発し,その保証を変換する。
- 参考スコア（独自算出の注目度）: 24.72888937943348
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contextual dueling bandits learn from pairwise comparisons, the same feedback used to fine-tune language models from human preferences. Standard algorithms explore aggressively and can show users two poor options. We study conservative contextual dueling bandits, which require that, at every round, the cumulative score of the better displayed item stay above a $(1-α)$ fraction of a trusted baseline's. An item's score is its probability of beating the best available item, so the constraint depends only on utility differences and needs no absolute rewards. This also changes how safety can be certified: we show that transferring the safety test of the conservative bandit algorithm CLUCB unchanged can incur linear regret, even when the baseline's utilities are known exactly. For linear utilities, we develop MaxInP-BC, which certifies scores through utility gaps and, when it must fall back, pairs the baseline with an informative partner so that fallback rounds still drive learning. It is safe with high probability at all times, with regret $\tilde{O}(d\sqrt{T}/κ)$ plus an additive cost of conservatism that does not grow with the horizon. For general utility classes, we develop BTIGW-BC, which turns the guarantee of an online logistic-regression oracle into cumulative safety certificates. It is safe at all times, makes finitely many fallbacks, and has sublinear regret whenever the oracle's logistic regret is sublinear. In experiments, both satisfy the constraint, which their unconstrained counterparts often violate, at a moderate cost in regret.
- Abstract（参考訳）: コンテキストデュエルの帯域幅は、人間の好みから言語モデルを微調整するのと同じフィードバックであるペアワイズ比較から学習する。
標準アルゴリズムは積極的に探索し、ユーザーに2つの貧弱な選択肢を示すことができる。
我々は,各ラウンドにおいて,より優れた表示項目の累積スコアが信頼ベースラインの分数(1-α)以上であることを要求する,保守的なコンテキストデュエルバンドについて検討する。
アイテムのスコアは、最高のアイテムを打つ確率であるので、制約はユーティリティの違いにのみ依存し、絶対的な報酬を必要としない。
保守的バンディットアルゴリズムであるCLUCBの安全性テストの転送は、ベースラインのユーティリティが正確に分かっている場合でも、線形後悔を引き起こす可能性があることを示す。
線形ユーティリティに対しては,ユーティリティギャップを通じてスコアを認証するMaxInP-BCを開発した。
常に高い確率で安全であり、後悔の$\tilde{O}(d\sqrt{T}/κ)$に加えて、地平線で成長しない保存性の付加コストがある。
汎用ユーティリティクラスでは,オンラインロジスティック回帰オラクルの保証を累積安全証明書に変換するBTIGW-BCを開発する。
常に安全であり、有限個のフォールバックを作り、オラクルのロジスティックな後悔がサブリニアであるときに、サブリニアな後悔を持つ。
実験では、両者とも、制約のない相手がしばしば違反する制約を満たす。
関連論文リスト
- Vanilla Policy Optimization Is Both Optimal and Differentially Private for Stochastic Contextual Bandits [90.0615995526802]
我々は,バニラポリシーの最適化が,文脈的帯域幅において,ほぼ最適な後悔を実現するのに十分であることを示す。
我々は、$O(log T)$レグレッションコールとポリシーオーラクルスイッチのみを使用してバッチ化されたバージョンを開発し、プライベートレグレッションがどのように異なる文脈の帯域幅アルゴリズムを生成するかを示す。
論文 参考訳（メタデータ） (2026-09-27T20:06:59Z) - Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。
スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
論文 参考訳（メタデータ） (2026-09-07T01:38:41Z) - Pessimism's Paradox: Conservative Offline Training Amplifies Reward Hacking During Online Adaptation in Reasoning Models [16.505918019260964]
保守的なオフライントレーニングは、その後のオンライン適応のための安全な基盤として広く提唱されている。
より高次オフライン保守主義は報酬ハックによるダメージを単調に増加させることを示す。
以上の結果から, フィールドはエフェキシマル, 保守主義ではなく, エンフェカリブレーションが必要であることが示唆された。
論文 参考訳（メタデータ） (2026-06-29T17:56:03Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z) - Conservative Contextual Bandits: Beyond Linear Representations [29.5947486908322]
保守的コンバンディット(CCB)は、エージェントのポリシーと後悔を最小限に抑えるとともに、安全上の制約を満たすことを要求することで、シーケンシャルな意思決定における安全性に対処する。
Inverse Gap Weighting (IGW) ベースの探索とオンライン回帰オラクルを用いて, $mathttC-SquareCB$ と $mathttC-FastCB$ の2つのアルゴリズムを開発した。
安全性制約は高い確率で満たされており、$mathttC- SquareCB$の後悔は水平線で$T$のサブ線形であることを示す。
論文 参考訳（メタデータ） (2024-12-09T02:57:27Z) - No-Regret is not enough! Bandits with General Constraints through Adaptive Regret Minimization [26.415300249303748]
本研究は, 一次アルゴリズムと双対アルゴリズムを弱適応化させることにより, 制約のサブ線形違反を回避可能であることを示す。
最初のケースでは、アルゴリズムがサブ線形後悔を保証することを示し、後者の場合、厳密な競合比を$rho/(1+rho)$とする。
この結果から,線形制約付き文脈帯域問題に対する新たな結果が得られる。
論文 参考訳（メタデータ） (2024-05-10T16:22:33Z) - Safe Linear Bandits over Unknown Polytopes [39.177982674455784]
安全線形バンディット問題(英: safe linear bandit problem、SLB)は、線形プログラミングのオンライン手法である。
ポリトープ上でのSLBの有効性とスムーズな安全性のトレードオフについて検討した。
論文 参考訳（メタデータ） (2022-09-27T21:13:32Z) - Conservative Contextual Combinatorial Cascading Bandit [10.063174058866327]
保守的なメカニズムは、探索と搾取の間のトレードオフをバランスさせる意思決定問題において望ましい性質である。
本稿では,その保守的メカニズムを組み込んだオンライン学習ゲームC4$-bandit(EmphConservative contextual cascading bandit)を提案する。
論文 参考訳（メタデータ） (2021-04-17T18:42:28Z) - Online Sparse Reinforcement Learning [60.44832065993122]
固定地平線, スパース線形決定過程(MDP)におけるオンライン強化学習の難しさについて検討する。
この場合、よく条件付きデータを収集するポリシーが存在するとしても、線形後悔は一般的に避けられないことを示す。
このことは、大規模な行動において、学習の難しさは、優れた探索政策を見つけるのが困難であることに起因していることを示している。
論文 参考訳（メタデータ） (2020-11-08T16:47:42Z) - Improved Algorithms for Conservative Exploration in Bandits [113.55554483194832]
文脈線形帯域設定における保守的学習問題について検討し、新しいアルゴリズムである保守的制約付きLinUCB(CLUCB2)を導入する。
我々は、既存の結果と一致したCLUCB2に対する後悔の限界を導き、多くの合成および実世界の問題において、最先端の保守的バンディットアルゴリズムよりも優れていることを実証的に示す。
論文 参考訳（メタデータ） (2020-02-08T19:35:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。