論文の概要: Improved Offline Contextual Bandits with Second-Order Bounds: Betting and Freezing

• arxiv url: http://arxiv.org/abs/2502.10826v1
• Date: Sat, 15 Feb 2025 15:01:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:14:13.038589
• Title: Improved Offline Contextual Bandits with Second-Order Bounds: Betting and Freezing
• Title（参考訳）: 2次境界によるオフライン帯域の改善:賭けと凍結
• Authors: J. Jon Ryu, Jeongyeol Kwon, Benjamin Koppe, Kwang-Sung Jun,
• Abstract要約: 本研究では,学習者が報酬最大化政策を選択したり,訓練したりすることを目的とした,文脈的包帯における非政治的選択と学習について考察する。 まず, 逆確率重み列に適用した新たなベッティングベースの信頼度を生かした, 新規なオフポリティ選択法を提案する。 第2に、バイアスと分散の差分バランスを打つ非政治学習の最適化目標に関する、新規で汎用的な条件を提案する。
• 参考スコア（独自算出の注目度）: 14.770703014042537
• License:
• Abstract: We consider the off-policy selection and learning in contextual bandits where the learner aims to select or train a reward-maximizing policy using data collected by a fixed behavior policy. Our contribution is two-fold. First, we propose a novel off-policy selection method that leverages a new betting-based confidence bound applied to an inverse propensity weight sequence. Our theoretical analysis reveals that our method achieves a significantly better, variance-adaptive guarantee upon prior art. Second, we propose a novel and generic condition on the optimization objective for off-policy learning that strikes a difference balance in bias and variance. One special case that we call freezing tends to induce small variance, which is preferred in small-data regimes. Our analysis shows that they match the best existing guarantee. In our empirical study, our selection method outperforms existing methods, and freezing exhibits improved performance in small-sample regimes.
• Abstract（参考訳）: 本研究では,学習者が一定の行動方針によって収集されたデータを用いて報酬最大化政策を選択し,訓練することを目的とした,文脈的包帯における非政治的選択と学習について考察する。 私たちの貢献は2倍です。 まず, 逆確率重み列に適用した新たなベッティングベースの信頼度を生かした, 新規なオフポリティ選択法を提案する。 提案手法は,先行技術において,より優れた分散適応保証を実現する。 第2に、バイアスと分散の差分バランスを打つ非政治学習の最適化目標に関する、新規で汎用的な条件を提案する。 凍結と呼ばれる特別な場合の1つは、小さなデータ体制で好まれる小さなばらつきを引き起こす傾向がある。 我々の分析は、それらが既存の最高の保証と一致していることを示している。 実験により,本手法は既存手法よりも優れた性能を示し,凍結性能が向上した。

関連論文リスト

• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• A Minimaximalist Approach to Reinforcement Learning from Human Feedback [49.45285664482369]
  人間のフィードバックから強化学習を行うアルゴリズムとして,SPO(Self-Play Preference Optimization)を提案する。 我々のアプローチは、報酬モデルや不安定な敵の訓練を必要としないという点で最小主義である。 我々は,一連の継続的制御タスクにおいて,報酬モデルに基づくアプローチよりもはるかに効率的に学習できることを実証した。
  論文  参考訳（メタデータ） (2024-01-08T17:55:02Z)
• Regularizing Second-Order Influences for Continual Learning [39.16131410356833]
  継続的な学習は、それまでの知識を破滅的に忘れることなく、非定常的なデータストリームで学習することを目的としている。 一般的なリプレイベースのメソッドは、見たデータを保持する小さなバッファーでリハーサルすることで、この問題に対処する。 我々は、影響関数に基づいて構築されたフレームワーク内での逐次選択ステップの相互作用を識別する。
  論文  参考訳（メタデータ） (2023-04-20T09:30:35Z)
• Conformal Off-Policy Prediction in Contextual Bandits [54.67508891852636]
  コンフォーマルなオフ政治予測は、新しい目標ポリシーの下で、結果に対する信頼できる予測間隔を出力することができる。 理論上の有限サンプル保証は、標準的な文脈的バンディットの設定を超える追加の仮定をすることなく提供する。
  論文  参考訳（メタデータ） (2022-06-09T10:39:33Z)
• Constrained Variational Policy Optimization for Safe Reinforcement Learning [40.38842532850959]
  安全強化学習は、安全クリティカルなアプリケーションにデプロイする前に、一定の制約を満たすポリシーを学ぶことを目的としている。 主要な制約付き最適化フレームワークとしての原始双対は不安定な問題に悩まされ、最適性の保証が欠如している。 本稿では,新しい確率的推論の観点から問題を克服し,安全政策を学習するための期待最大化方式を提案する。
  論文  参考訳（メタデータ） (2022-01-28T04:24:09Z)
• Off-policy Reinforcement Learning with Optimistic Exploration and Distribution Correction [73.77593805292194]
  我々は、政治以外のアクター批判的枠組みにおいて、批評家のほぼ上位信頼度を最大化するために、別の調査政策を訓練する。 最近導入されたDICEフレームワークを応用して、非政治アクター犯罪訓練のための分布補正比を学習する。
  論文  参考訳（メタデータ） (2021-10-22T22:07:51Z)
• Continuous Mean-Covariance Bandits [39.820490484375156]
  本稿では,選択肢相関を考慮した連続平均共分散帯域モデルを提案する。 CMCBでは、与えられた選択肢の重みベクトルを逐次選択し、決定に従ってランダムなフィードバックを観察する学習者がいる。 最適な後悔(対数的因子を含む)を伴う新しいアルゴリズムを提案し、それらの最適性を検証するために一致した下界を提供する。
  論文  参考訳（メタデータ） (2021-02-24T06:37:05Z)
• State Augmented Constrained Reinforcement Learning: Overcoming the Limitations of Learning with Rewards [88.30521204048551]
  制約付き強化学習の一般的な定式化には、与えられた閾値に個別に蓄積しなければならない複数の報酬が含まれる。 ここでは,任意の重み付けされた報酬の線形結合によって,所望の最適政策を誘導できない簡単な例を示す。 この研究は、ラグランジュ乗算器で状態を増大させ、原始双対法を再解釈することで、この欠点に対処する。
  論文  参考訳（メタデータ） (2021-02-23T21:07:35Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。