論文の概要: Recursive Deep Inverse Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2504.13241v2
• Date: Mon, 21 Apr 2025 03:47:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 08:56:14.215789
• Title: Recursive Deep Inverse Reinforcement Learning
• Title（参考訳）: Recursive Deep Inverse Reinforcement Learning
• Authors: Paul Ghanem, Michael Potter, Owen Howell, Pau Closas, Alireza Ramezani, Deniz Erdogmus, Tales Imbiriba,
• Abstract要約: 対向計画や非協調型マルチエージェントシステムにおいては,相手の行動から相手の目標を推定することが重要である。 本稿では, 対向行動と目標を管理する費用関数を復元するオンライン逆強化学習(RDIRL)手法を提案する。
• 参考スコア（独自算出の注目度）: 16.05411507856928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inferring an adversary's goals from exhibited behavior is crucial for counterplanning and non-cooperative multi-agent systems in domains like cybersecurity, military, and strategy games. Deep Inverse Reinforcement Learning (IRL) methods based on maximum entropy principles show promise in recovering adversaries' goals but are typically offline, require large batch sizes with gradient descent, and rely on first-order updates, limiting their applicability in real-time scenarios. We propose an online Recursive Deep Inverse Reinforcement Learning (RDIRL) approach to recover the cost function governing the adversary actions and goals. Specifically, we minimize an upper bound on the standard Guided Cost Learning (GCL) objective using sequential second-order Newton updates, akin to the Extended Kalman Filter (EKF), leading to a fast (in terms of convergence) learning algorithm. We demonstrate that RDIRL is able to recover cost and reward functions of expert agents in standard and adversarial benchmark tasks. Experiments on benchmark tasks show that our proposed approach outperforms several leading IRL algorithms.
• Abstract（参考訳）: 提示された行動から敵の目標を推測することは、サイバーセキュリティ、軍事、戦略ゲームのようなドメインにおける反計画と非協力的なマルチエージェントシステムにとって不可欠である。 最大エントロピー原理に基づくDeep Inverse Reinforcement Learning (IRL)メソッドは、敵の目標の回復を約束するが、通常オフラインであり、勾配降下を伴う大きなバッチサイズを必要とし、一階更新に依存し、リアルタイムシナリオにおける適用性を制限している。 本稿では, 対向行動と目標を管理する費用関数を復元するオンライン逆強化学習(RDIRL)手法を提案する。 具体的には、拡張カルマンフィルタ(EKF)と同様に、逐次2次ニュートン更新を用いて、標準のガイド付きコスト学習(GCL)目標の上限を最小化し、高速(収束)学習アルゴリズムを実現する。 本研究では,RDIRLが標準および逆ベンチマークタスクにおいて,エキスパートエージェントのコストと報酬関数を回復できることを実証する。 ベンチマークタスクの実験により,提案手法はいくつかの主要なIRLアルゴリズムより優れていることが示された。

関連論文リスト

• Non-Adversarial Inverse Reinforcement Learning via Successor Feature Matching [23.600285251963395]
  逆強化学習(IRL)では、エージェントは環境との相互作用を通じて専門家のデモンストレーションを再現しようとする。 伝統的にIRLは、敵が報酬モデルを探し出し、学習者が繰り返しRL手順で報酬を最適化する対戦ゲームとして扱われる。 直接ポリシー最適化によるIRLに対する新しいアプローチを提案し、リターンの線形因数分解を後継特徴の内積および報酬ベクトルとして活用する。
  論文  参考訳（メタデータ） (2024-11-11T14:05:50Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Curricular Subgoals for Inverse Reinforcement Learning [21.038691420095525]
  逆強化学習(IRL)は、専門家による実証から報酬関数を再構築し、政策学習を促進することを目的としている。 既存のIRL法は主に、模倣者と専門家の軌跡の違いを最小限に抑えるために、グローバル報酬関数の学習に重点を置いている。 エージェントの模倣を導くために,一タスクを複数の局所的なサブゴールで明示的に切り離す,Curricular Subgoal-based Inverse Reinforcement Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T04:06:41Z)
• Efficient Exploration via Epistemic-Risk-Seeking Policy Optimization [8.867416300893577]
  深層強化学習(RL)における探索は依然として重要な課題である 本稿では,最適化された場合,効率よく探索できる政策が成立する,新しい,微分可能な楽観的目標を提案する。 その結果、他の効率的な探査技術よりも優れた性能が得られた。
  論文  参考訳（メタデータ） (2023-02-18T14:13:25Z)
• Model-based Safe Deep Reinforcement Learning via a Constrained Proximal Policy Optimization Algorithm [4.128216503196621]
  オンライン方式で環境の遷移動態を学習する,オンライン型モデルに基づくセーフディープRLアルゴリズムを提案する。 我々は,本アルゴリズムがより標本効率が高く,制約付きモデルフリーアプローチと比較して累積的ハザード違反が低いことを示す。
  論文  参考訳（メタデータ） (2022-10-14T06:53:02Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• Anti-Concentrated Confidence Bonuses for Scalable Exploration [57.91943847134011]
  固有の報酬は、探検と探検のトレードオフを扱う上で中心的な役割を果たす。 楕円ボーナスを効率的に近似するためのエンファンティ集中型信頼境界を導入する。 我々は,Atariベンチマーク上での現代固有の報酬と競合する,深層強化学習のための実用的な変種を開発する。
  論文  参考訳（メタデータ） (2021-10-21T15:25:15Z)
• Simplifying Deep Reinforcement Learning via Self-Supervision [51.2400839966489]
  自己改善強化学習(Self-Supervised Reinforcement Learning, SSRL)は、純粋に監督された損失を伴うポリシーを最適化する単純なアルゴリズムである。 SSRLは、より安定した性能と実行時間の少ない現代アルゴリズムと驚くほど競合することを示す。
  論文  参考訳（メタデータ） (2021-06-10T06:29:59Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)
• Zeroth-Order Supervised Policy Improvement [94.0748002906652]
  政策勾配(PG)アルゴリズムは強化学習(RL)に広く用いられている。 ゼロ次監視政策改善(ZOSPI)を提案する。 ZOSPIは、PGメソッドの局所的な利用を保ちながら、推定値関数を全世界で$Q$で活用する。
  論文  参考訳（メタデータ） (2020-06-11T16:49:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。