論文の概要: On the Effective Horizon of Inverse Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2307.06541v3
• Date: Thu, 20 Feb 2025 05:56:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 17:43:42.703882
• Title: On the Effective Horizon of Inverse Reinforcement Learning
• Title（参考訳）: 逆強化学習の有効性について
• Authors: Yiqing Xu, Finale Doshi-Velez, David Hsu,
• Abstract要約: 逆強化学習(IRL)アルゴリズムは、与えられた時間軸上で、しばしば(前)強化学習または計画に依存する。 時間地平線は、報酬推定の精度とIRLアルゴリズムの計算効率の両方を決定する上で重要な役割を果たす。 この研究はこの現象を公式に分析し、説明を与える。
• 参考スコア（独自算出の注目度）: 38.7571680927719
• License:
• Abstract: Inverse reinforcement learning (IRL) algorithms often rely on (forward) reinforcement learning or planning, over a given time horizon, to compute an approximately optimal policy for a hypothesized reward function; they then match this policy with expert demonstrations. The time horizon plays a critical role in determining both the accuracy of reward estimates and the computational efficiency of IRL algorithms. Interestingly, an *effective time horizon* shorter than the ground-truth value often produces better results faster. This work formally analyzes this phenomenon and provides an explanation: the time horizon controls the complexity of an induced policy class and mitigates overfitting with limited data. This analysis provides a guide for the principled choice of the effective horizon for IRL. It also prompts us to re-examine the classic IRL formulation: it is more natural to learn jointly the reward and the effective horizon rather than the reward alone with a given horizon. To validate our findings, we implement a cross-validation extension and the experimental results support the theoretical analysis. The project page and code are publicly available.
• Abstract（参考訳）: 逆強化学習(IRL)アルゴリズムは、しばしば、仮説化された報酬関数に対するほぼ最適なポリシーを計算するために、与えられた時間的地平線を越えて、(前向きに)強化学習または計画に依存する。 時間地平線は、報酬推定の精度とIRLアルゴリズムの計算効率の両方を決定する上で重要な役割を果たす。 興味深いことに、*有効時間地平線* 地平線よりも短いので、より高速な結果が得られます。 この研究は、この現象を公式に分析し、説明を提供する: 時間地平線は、誘導されたポリシークラスの複雑さを制御し、限られたデータで過度に適合することを緩和する。 この分析は、IRLの有効地平線を原則的に選択するためのガイドを提供する。 これはまた、古典的なIRLの定式化を再検討することを促す。与えられた地平線でのみ報酬を学ぶよりも、報酬と効果的な地平線を共同で学ぶ方が自然である。 本研究の妥当性を検証するため,クロスバリデーション拡張を実装し,理論的解析を支援する実験を行った。 プロジェクトページとコードは公開されている。

関連論文リスト

• In-Trajectory Inverse Reinforcement Learning: Learn Incrementally Before An Ongoing Trajectory Terminates [10.438810967483438]
  逆強化学習(IRL)は報酬関数とそれに対応するポリシーを学習することを目的としている。 現在のIRLの作業は、学習するために少なくとも1つの完全な軌跡を集めるのを待つ必要があるため、進行中の軌跡から漸進的に学習することはできない。 本稿では,現在進行中の軌跡の初期状態対を観察しながら,報酬関数と対応する政策を学習する問題について考察する。
  論文  参考訳（メタデータ） (2024-10-21T03:16:32Z)
• The Virtues of Pessimism in Inverse Reinforcement Learning [38.98656220917943]
  逆強化学習(Inverse Reinforcement Learning)は、専門家によるデモンストレーションから複雑な振る舞いを学ぶための強力なフレームワークである。 内ループRLにおける専門家のデモンストレーションを活用することにより、探査負担を軽減することが望ましい。 我々は、IRLにおけるRLの高速化のための代替アプローチとして、Emphpessimism、すなわち、オフラインのRLアルゴリズムを用いてインスタンス化された専門家のデータ分布に近づき続けることを考える。
  論文  参考訳（メタデータ） (2024-02-04T21:22:29Z)
• Is Inverse Reinforcement Learning Harder than Standard Reinforcement Learning? A Theoretical Perspective [55.36819597141271]
  逆強化学習(IRL: Inverse Reinforcement Learning)は、インテリジェントシステム開発において重要な役割を担う。 本稿では、サンプルとランタイムを用いて、バニラのオフラインおよびオンライン設定における効率的なIRLの最初のラインを提供する。 応用として、学習した報酬は適切な保証で他のターゲットMDPに転送可能であることを示す。
  論文  参考訳（メタデータ） (2023-11-29T00:09:01Z)
• DreamSmooth: Improving Model-based Reinforcement Learning via Reward Smoothing [60.21269454707625]
  DreamSmoothは、与えられたタイミングでの正確な報酬ではなく、時間的に滑らかな報酬を予測することを学ぶ。 本研究では,DreamSmoothが長時間のスパース・リワードタスクにおいて最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-11-02T17:57:38Z)
• Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
  逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。 本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
  論文  参考訳（メタデータ） (2022-08-09T17:29:49Z)
• Provably Efficient Reward-Agnostic Navigation with Linear Value Iteration [143.43658264904863]
  我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。 そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-08-18T04:34:21Z)
• Preference-based Reinforcement Learning with Finite-Time Guarantees [76.88632321436472]
  嗜好に基づく強化学習(PbRL)は、従来の強化学習における報酬価値を代替し、目標とする目的に対する人間の意見をよりよく提示する。 応用の有望な結果にもかかわらず、PbRLの理論的理解はまだ初期段階にある。 一般PbRL問題に対する最初の有限時間解析を提案する。
  論文  参考訳（メタデータ） (2020-06-16T03:52:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。