論文の概要: Trust Region Reward Optimization and Proximal Inverse Reward Optimization Algorithm

• arxiv url: http://arxiv.org/abs/2509.23135v1
• Date: Sat, 27 Sep 2025 05:36:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.062328
• Title: Trust Region Reward Optimization and Proximal Inverse Reward Optimization Algorithm
• Title（参考訳）: Trust Region Reward Optimization and Proximal Inverse Reward Optimization Algorithm
• Authors: Yang Chen, Menglin Zou, Jiaqi Zhang, Yitan Zhang, Junyi Yang, Gael Gendron, Libo Zhang, Jiamou Liu, Michael J. Witbrock,
• Abstract要約: 逆強化学習(IRL)は、専門家によるデモンストレーションを説明するための報酬関数を学習する。 現代のIRL法は報酬と政策最適化を交互に行う逆数式(minimax)を用いることが多い。 最近の非敵対的IRLアプローチは、エネルギーベースの定式化を通じて報酬と政策を共同学習することで安定性を向上させる。
• 参考スコア（独自算出の注目度）: 24.126318783226598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inverse Reinforcement Learning (IRL) learns a reward function to explain expert demonstrations. Modern IRL methods often use the adversarial (minimax) formulation that alternates between reward and policy optimization, which often lead to unstable training. Recent non-adversarial IRL approaches improve stability by jointly learning reward and policy via energy-based formulations but lack formal guarantees. This work bridges this gap. We first present a unified view showing canonical non-adversarial methods explicitly or implicitly maximize the likelihood of expert behavior, which is equivalent to minimizing the expected return gap. This insight leads to our main contribution: Trust Region Reward Optimization (TRRO), a framework that guarantees monotonic improvement in this likelihood via a Minorization-Maximization process. We instantiate TRRO into Proximal Inverse Reward Optimization (PIRO), a practical and stable IRL algorithm. Theoretically, TRRO provides the IRL counterpart to the stability guarantees of Trust Region Policy Optimization (TRPO) in forward RL. Empirically, PIRO matches or surpasses state-of-the-art baselines in reward recovery, policy imitation with high sample efficiency on MuJoCo and Gym-Robotics benchmarks and a real-world animal behavior modeling task.
• Abstract（参考訳）: 逆強化学習(IRL)は、専門家によるデモンストレーションを説明するための報酬関数を学習する。 現代のIRL法では、報酬と政策最適化を交互に行う逆数(minimax)の定式化がしばしば用いられ、不安定な訓練につながる。 最近の非敵対的IRLアプローチは、エネルギーベースの定式化を通じて報酬と政策を共同学習することで安定性を向上するが、正式な保証は得られない。 この仕事はこのギャップを埋める。 まず,標準的でない手法を明示的あるいは暗黙的に示す統一的な視点を提示する。 Trust Region Reward Optimization(TRRO)は、最小化-最大化プロセスを通じて、この可能性における単調な改善を保証するフレームワークです。 我々はTRROを実用的で安定したIRLアルゴリズムであるPRO(Proximal Inverse Reward Optimization)にインスタンス化する。 理論的には、TRRO は TRPO (Trust Region Policy Optimization) の安定性を保証するIRL に対抗して、RL を前進させる。 実証的には、PIROは報酬回復、MuJoCoとGym-Roboticsベンチマークの高サンプリング効率によるポリシー模倣、および現実世界の動物行動モデリングタスクにおいて、最先端のベースラインに適合または超越している。

関連論文リスト

• Value-Free Policy Optimization via Reward Partitioning [0.08192907805418585]
  単軌道強化学習のための新しい手法であるReward Partitioning Optimization (RPO)を導入する。 RPOは、データから直接推定されるアプローチを使用して、観察された報酬を正規化する。 我々は,Flan-T5エンコーダデコーダモデルを用いて,スカラーフィードバック言語モデリングタスクにおけるRPOの有効性を検証する。
  論文  参考訳（メタデータ） (2025-06-16T17:06:27Z)
• Efficient Safety Alignment of Large Language Models via Preference Re-ranking and Representation-based Reward Modeling [84.00480999255628]
  大規模言語モデル(LLM)の安全性アライメントのための強化学習アルゴリズムは,分散シフトの課題に直面している。 現在のアプローチでは、ターゲットポリシーからのオンラインサンプリングを通じてこの問題に対処するのが一般的である。 モデル固有の安全判断能力を活用して報酬信号を抽出する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-13T06:40:34Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Is Inverse Reinforcement Learning Harder than Standard Reinforcement Learning? A Theoretical Perspective [55.36819597141271]
  逆強化学習(IRL: Inverse Reinforcement Learning)は、インテリジェントシステム開発において重要な役割を担う。 本稿では、サンプルとランタイムを用いて、バニラのオフラインおよびオンライン設定における効率的なIRLの最初のラインを提供する。 応用として、学習した報酬は適切な保証で他のターゲットMDPに転送可能であることを示す。
  論文  参考訳（メタデータ） (2023-11-29T00:09:01Z)
• Trust-Region-Free Policy Optimization for Stochastic Policies [60.52463923712565]
  本研究では,政策に対する信頼領域の制約が,基礎となるモノトニック改善の保証を損なうことなく,信頼領域のない制約によって安全に置き換えられることを示す。 我々は,TREFree(Trust-Region-Free Policy Optimization)と呼ばれるアルゴリズムを,信頼領域の制約が不要であるとして明示する。
  論文  参考訳（メタデータ） (2023-02-15T23:10:06Z)
• Off-policy Reinforcement Learning with Optimistic Exploration and Distribution Correction [73.77593805292194]
  我々は、政治以外のアクター批判的枠組みにおいて、批評家のほぼ上位信頼度を最大化するために、別の調査政策を訓練する。 最近導入されたDICEフレームワークを応用して、非政治アクター犯罪訓練のための分布補正比を学習する。
  論文  参考訳（メタデータ） (2021-10-22T22:07:51Z)
• Policy Gradient Bayesian Robust Optimization for Imitation Learning [49.881386773269746]
  我々は、期待される性能とリスクのバランスをとるために、新しいポリシー勾配スタイルのロバスト最適化手法PG-BROILを導出する。 その結果,PG-BROILはリスクニュートラルからリスク・アバースまでの行動のファミリを創出できる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-11T16:49:15Z)
• Bayesian Robust Optimization for Imitation Learning [34.40385583372232]
  逆強化学習は、パラメータ化された報酬関数を学習することにより、新しい状態への一般化を可能にする。 既存のIRLに基づく安全な模倣学習アプローチは、maxminフレームワークを使用してこの不確実性に対処する。 BROILは、リターン最大化とリスク最小化の動作を補間する自然な方法を提供する。
  論文  参考訳（メタデータ） (2020-07-24T01:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。