論文の概要: A General Framework for Off-Policy Learning with Partially-Observed Reward

• arxiv url: http://arxiv.org/abs/2506.14439v1
• Date: Tue, 17 Jun 2025 11:58:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.455202
• Title: A General Framework for Off-Policy Learning with Partially-Observed Reward
• Title（参考訳）: 部分観察リワードによるオフ・ポリティ・ラーニングのための一般フレームワーク
• Authors: Rikiya Takehi, Masahiro Asami, Kosuke Kawakami, Yuta Saito,
• Abstract要約: 文脈的包帯におけるオフ政治学習(OPL)は、期待される目標報酬を最大化する政策を学ぶことを目的としている。 報酬が部分的にしか観察されない場合、OPLの有効性は著しく低下する。 部分観測リワード(HyPeR)のためのハイブリッドポリシ最適化法を提案する。
• 参考スコア（独自算出の注目度）: 13.866986480307007
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Off-policy learning (OPL) in contextual bandits aims to learn a decision-making policy that maximizes the target rewards by using only historical interaction data collected under previously developed policies. Unfortunately, when rewards are only partially observed, the effectiveness of OPL degrades severely. Well-known examples of such partial rewards include explicit ratings in content recommendations, conversion signals on e-commerce platforms that are partial due to delay, and the issue of censoring in medical problems. One possible solution to deal with such partial rewards is to use secondary rewards, such as dwelling time, clicks, and medical indicators, which are more densely observed. However, relying solely on such secondary rewards can also lead to poor policy learning since they may not align with the target reward. Thus, this work studies a new and general problem of OPL where the goal is to learn a policy that maximizes the expected target reward by leveraging densely observed secondary rewards as supplemental data. We then propose a new method called Hybrid Policy Optimization for Partially-Observed Reward (HyPeR), which effectively uses the secondary rewards in addition to the partially-observed target reward to achieve effective OPL despite the challenging scenario. We also discuss a case where we aim to optimize not only the expected target reward but also the expected secondary rewards to some extent; counter-intuitively, we will show that leveraging the two objectives is in fact advantageous also for the optimization of only the target reward. Along with statistical analysis of our proposed methods, empirical evaluations on both synthetic and real-world data show that HyPeR outperforms existing methods in various scenarios.
• Abstract（参考訳）: 文脈的包帯におけるオフ政治学習(OPL)は、これまで開発された政策に基づいて収集された歴史的相互作用データのみを用いて、目標報酬を最大化する意思決定ポリシーを学習することを目的としている。 残念なことに、報酬が部分的にしか観察されない場合、OPLの有効性は著しく低下する。 このような部分的な報酬の例としては、コンテンツレコメンデーションの明示的な評価、遅延による部分的なeコマースプラットフォームへの変換シグナル、医療問題の検閲の問題などがある。 このような部分的な報酬を扱うための可能な解決策の1つは、より密集的に観察される住居時間、クリック、医療指標などの二次的な報酬を使用することである。 しかし、そのような二次報酬のみに頼ることは、目標報酬と一致しないかもしれないため、政策学習の貧弱につながる可能性がある。 そこで本研究では,高密度に観測された二次報酬を補足データとして活用することにより,期待される目標報酬を最大化する政策を学習することを目的とする,OPLの新しい一般問題について検討する。 そこで我々は,Hybrid Policy Optimization for partial-Observed Reward (HyPeR) という新たな手法を提案する。 また,期待する目標報酬だけでなく,期待する二次報酬もある程度最適化することを目指す事例についても論じる。 提案手法の統計的解析と合わせて,HyPeRが既存の手法を様々なシナリオで上回ることを示す。

関連論文リスト

• Process Reinforcement through Implicit Rewards [95.7442934212076]
  複雑なプロセス報酬は、大きな言語モデル(LLM)の推論時間スケーリングにおいて、スパースな結果レベルの報酬よりも効果的な選択肢であることが証明されている。 ディエンス報酬は、その微粒な報酬が結果報酬の固有の問題に対処する可能性があるため、LLMの強化学習(RL)に魅力的な選択を与える。 これは主に、高品質なプロセスラベルの収集が違法に高価であるオンラインのトレーニングプロセス報酬モデル(PRM)の課題に起因する可能性がある。 提案するPRIMEは,ポリシロールアウトと結果ラベルのみを用いて,インプットプロセス報酬によるオンラインPRM更新を可能にする。
  論文  参考訳（メタデータ） (2025-02-03T15:43:48Z)
• Hindsight PRIORs for Reward Learning from Human Preferences [3.4990427823966828]
  嗜好に基づく強化学習(PbRL)では、政策行動に対する嗜好フィードバックから報酬を学習することで報酬関数を手渡す必要がなくなる。 PbRLへの現在のアプローチは、行動のどの部分が優先に最も寄与しているかを決定することに固有の信用割当問題に対処しない。 我々は、世界モデルを用いて軌道内の状態重要度を近似し、報酬を国家重要度に比例するように誘導する信用割当戦略(Hindsight PRIOR)を導入する。
  論文  参考訳（メタデータ） (2024-04-12T21:59:42Z)
• Overcoming Reward Overoptimization via Adversarial Policy Optimization with Lightweight Uncertainty Estimation [46.61909578101735]
  AdvPO(Adversarial Policy Optimization)は、人間からの強化学習における報酬過度最適化の問題に対する新しい解決策である。 本稿では,報酬モデルの最後の層埋め込みにのみ依存して,報酬の不確実性を定量化する軽量な手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T09:20:12Z)
• Reinforcement Learning from Bagged Reward [46.16904382582698]
  強化学習(RL)では、エージェントが取るアクション毎に即時報奨信号が生成されることが一般的である。 多くの実世界のシナリオでは、即時報酬信号の設計は困難である。 本稿では,双方向の注意機構を備えた新たな報酬再分配手法を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:26:44Z)
• Provable Offline Preference-Based Reinforcement Learning [95.00042541409901]
  本研究では,PbRL(Preference-based Reinforcement Learning)の問題について,人間のフィードバックを用いて検討する。 我々は、報酬が軌道全体にわたって定義できる一般的な報酬設定について考察する。 我々は, 軌道毎の集中性によって上界に拘束できる新しい単極集中係数を導入する。
  論文  参考訳（メタデータ） (2023-05-24T07:11:26Z)
• Distributional Reward Estimation for Effective Multi-Agent Deep Reinforcement Learning [19.788336796981685]
  実効的マルチエージェント強化学習(DRE-MARL)のための分散逆推定フレームワークを提案する。 本研究の目的は,安定トレーニングのための多行動分岐報酬推定と政策重み付け報酬アグリゲーションを設計することである。 DRE-MARLの優位性は,有効性とロバスト性の両方の観点から,SOTAベースラインと比較して,ベンチマークマルチエージェントシナリオを用いて実証される。
  論文  参考訳（メタデータ） (2022-10-14T08:31:45Z)
• Self-Supervised Online Reward Shaping in Sparse-Reward Environments [36.01839934355542]
  自己監督型オンライン報酬形成を行う新しい強化学習フレームワークを提案する。 提案するフレームワークは、ポリシーの更新と報酬関数の推測を交互に行う。 いくつかのスパースワード環境における実験結果は、提案アルゴリズムが最先端のベースラインよりもはるかにサンプル効率が高いことを示している。
  論文  参考訳（メタデータ） (2021-03-08T03:28:04Z)
• Learning Fair Policies in Multiobjective (Deep) Reinforcement Learning with Average and Discounted Rewards [15.082715993594121]
  利用者を公平に扱う政策を学習することの問題点について検討する。 本稿では、公正性の概念を符号化する目的関数を最適化する、この新しいRL問題を定式化する。 いくつかの古典的深部RLアルゴリズムが、我々の公正な最適化問題にどのように適応できるかを述べる。
  論文  参考訳（メタデータ） (2020-08-18T07:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。