論文の概要: Improved Offline Contextual Bandits with Second-Order Bounds: Betting and Freezing
- arxiv url: http://arxiv.org/abs/2502.10826v2
- Date: Mon, 14 Jul 2025 17:33:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-15 14:36:06.846498
- Title: Improved Offline Contextual Bandits with Second-Order Bounds: Betting and Freezing
- Title（参考訳）: 2次境界によるオフライン帯域の改善:賭けと凍結
- Authors: J. Jon Ryu, Jeongyeol Kwon, Benjamin Koppe, Kwang-Sung Jun,
- Abstract要約: 本研究では,学習者が報酬最大化政策を選択したり,訓練したりすることを目的とした,文脈的包帯における非政治的選択と学習について考察する。
まず, 逆確率重み列に適用した新たなベッティングベースの信頼度を生かした, 新規なオフポリティ選択法を提案する。
第2に、バイアスと分散の異なるバランスを打つ非政治学習の最適化目標に関する、新規で汎用的な条件を提案する。
- 参考スコア（独自算出の注目度）: 14.770703014042537
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider off-policy selection and learning in contextual bandits, where the learner aims to select or train a reward-maximizing policy using data collected by a fixed behavior policy. Our contribution is two-fold. First, we propose a novel off-policy selection method that leverages a new betting-based confidence bound applied to an inverse propensity weight sequence. Our theoretical analysis reveals that this method achieves a significantly improved, variance-adaptive guarantee over prior work. Second, we propose a novel and generic condition on the optimization objective for off-policy learning that strikes a different balance between bias and variance. One special case, which we call freezing, tends to induce low variance, which is preferred in small-data regimes. Our analysis shows that it matches the best existing guarantees. In our empirical study, our selection method outperforms existing methods, and freezing exhibits improved performance in small-sample regimes.
- Abstract（参考訳）: そこでは,一定の行動方針によって収集されたデータを用いて,報酬を最大化する政策を選択し,訓練することを目的としている。
私たちの貢献は2倍です。
まず, 逆確率重み列に適用した新たなベッティングベースの信頼度を生かした, 新規なオフポリティ選択法を提案する。
理論的解析により,本手法は従来よりも大幅に改善され,分散適応的保証が達成されていることが明らかになった。
第2に、バイアスと分散の異なるバランスを打つ非政治学習の最適化目標に関する、新規で汎用的な条件を提案する。
凍結と呼ばれる特殊なケースは、小さなデータ体制で好まれる低分散を誘発する傾向がある。
我々の分析は、それが既存の最高の保証と一致していることを示している。
実験により,本手法は既存手法よりも優れた性能を示し,凍結性能が向上した。
関連論文リスト
- A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [68.43987626137512]
本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。
最適化に基づく最適化手法であるMERITを導入する。
MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
論文 参考訳（メタデータ） (2025-06-23T19:59:30Z) - Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。
学習シナリオにおける同値性に基づく単一のフレームワークを提案する。
我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
論文 参考訳（メタデータ） (2024-05-09T12:52:22Z) - A Minimaximalist Approach to Reinforcement Learning from Human Feedback [49.45285664482369]
人間のフィードバックから強化学習を行うアルゴリズムとして,SPO(Self-Play Preference Optimization)を提案する。
我々のアプローチは、報酬モデルや不安定な敵の訓練を必要としないという点で最小主義である。
我々は,一連の継続的制御タスクにおいて,報酬モデルに基づくアプローチよりもはるかに効率的に学習できることを実証した。
論文 参考訳（メタデータ） (2024-01-08T17:55:02Z) - Provable Benefits of Policy Learning from Human Preferences in
Contextual Bandit Problems [82.92678837778358]
嗜好に基づく手法は、InstructGPTのような経験的応用でかなりの成功を収めている。
フィードバックモデリングにおける人間のバイアスと不確実性がこれらのアプローチの理論的保証にどのように影響するかを示す。
論文 参考訳（メタデータ） (2023-07-24T17:50:24Z) - Regularizing Second-Order Influences for Continual Learning [39.16131410356833]
継続的な学習は、それまでの知識を破滅的に忘れることなく、非定常的なデータストリームで学習することを目的としている。
一般的なリプレイベースのメソッドは、見たデータを保持する小さなバッファーでリハーサルすることで、この問題に対処する。
我々は、影響関数に基づいて構築されたフレームワーク内での逐次選択ステップの相互作用を識別する。
論文 参考訳（メタデータ） (2023-04-20T09:30:35Z) - Conformal Off-Policy Prediction in Contextual Bandits [54.67508891852636]
コンフォーマルなオフ政治予測は、新しい目標ポリシーの下で、結果に対する信頼できる予測間隔を出力することができる。
理論上の有限サンプル保証は、標準的な文脈的バンディットの設定を超える追加の仮定をすることなく提供する。
論文 参考訳（メタデータ） (2022-06-09T10:39:33Z) - Constrained Variational Policy Optimization for Safe Reinforcement
Learning [40.38842532850959]
安全強化学習は、安全クリティカルなアプリケーションにデプロイする前に、一定の制約を満たすポリシーを学ぶことを目的としている。
主要な制約付き最適化フレームワークとしての原始双対は不安定な問題に悩まされ、最適性の保証が欠如している。
本稿では,新しい確率的推論の観点から問題を克服し,安全政策を学習するための期待最大化方式を提案する。
論文 参考訳（メタデータ） (2022-01-28T04:24:09Z) - Off-policy Reinforcement Learning with Optimistic Exploration and
Distribution Correction [73.77593805292194]
我々は、政治以外のアクター批判的枠組みにおいて、批評家のほぼ上位信頼度を最大化するために、別の調査政策を訓練する。
最近導入されたDICEフレームワークを応用して、非政治アクター犯罪訓練のための分布補正比を学習する。
論文 参考訳（メタデータ） (2021-10-22T22:07:51Z) - Continuous Mean-Covariance Bandits [39.820490484375156]
本稿では,選択肢相関を考慮した連続平均共分散帯域モデルを提案する。
CMCBでは、与えられた選択肢の重みベクトルを逐次選択し、決定に従ってランダムなフィードバックを観察する学習者がいる。
最適な後悔(対数的因子を含む)を伴う新しいアルゴリズムを提案し、それらの最適性を検証するために一致した下界を提供する。
論文 参考訳（メタデータ） (2021-02-24T06:37:05Z) - State Augmented Constrained Reinforcement Learning: Overcoming the
Limitations of Learning with Rewards [88.30521204048551]
制約付き強化学習の一般的な定式化には、与えられた閾値に個別に蓄積しなければならない複数の報酬が含まれる。
ここでは,任意の重み付けされた報酬の線形結合によって,所望の最適政策を誘導できない簡単な例を示す。
この研究は、ラグランジュ乗算器で状態を増大させ、原始双対法を再解釈することで、この欠点に対処する。
論文 参考訳（メタデータ） (2021-02-23T21:07:35Z) - SOAC: The Soft Option Actor-Critic Architecture [25.198302636265286]
低レベルのオプション内ポリシーと高レベルのオプション選択ポリシーを同時に学習する手法が提案されている。
既存の手法は通常、非効率な探索と不安定な更新という2つの大きな課題に悩まされる。
これらの課題に対処するために、最大エントロピーモデルに基づく、新しく安定した非政治的アプローチを提案する。
論文 参考訳（メタデータ） (2020-06-25T13:06:59Z) - Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking
Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。
学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。
本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-15T10:08:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。