論文の概要: The Virtues of Pessimism in Inverse Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2402.02616v1
• Date: Sun, 4 Feb 2024 21:22:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 18:36:09.428156
• Title: The Virtues of Pessimism in Inverse Reinforcement Learning
• Title（参考訳）: 逆強化学習における悲観主義の徳
• Authors: David Wu and Gokul Swamy and J. Andrew Bagnell and Zhiwei Steven Wu and Sanjiban Choudhury
• Abstract要約: 逆強化学習(Inverse Reinforcement Learning)は、専門家によるデモンストレーションから複雑な振る舞いを学ぶための強力なフレームワークである。 内ループRLにおける専門家のデモンストレーションを活用することにより、探査負担を軽減することが望ましい。 我々は、IRLにおけるRLの高速化のための代替アプローチとして、Emphpessimism、すなわち、オフラインのRLアルゴリズムを用いてインスタンス化された専門家のデータ分布に近づき続けることを考える。
• 参考スコア（独自算出の注目度）: 38.98656220917943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inverse Reinforcement Learning (IRL) is a powerful framework for learning complex behaviors from expert demonstrations. However, it traditionally requires repeatedly solving a computationally expensive reinforcement learning (RL) problem in its inner loop. It is desirable to reduce the exploration burden by leveraging expert demonstrations in the inner-loop RL. As an example, recent work resets the learner to expert states in order to inform the learner of high-reward expert states. However, such an approach is infeasible in the real world. In this work, we consider an alternative approach to speeding up the RL subroutine in IRL: \emph{pessimism}, i.e., staying close to the expert's data distribution, instantiated via the use of offline RL algorithms. We formalize a connection between offline RL and IRL, enabling us to use an arbitrary offline RL algorithm to improve the sample efficiency of IRL. We validate our theory experimentally by demonstrating a strong correlation between the efficacy of an offline RL algorithm and how well it works as part of an IRL procedure. By using a strong offline RL algorithm as part of an IRL procedure, we are able to find policies that match expert performance significantly more efficiently than the prior art.
• Abstract（参考訳）: 逆強化学習(IRL)は、専門家によるデモンストレーションから複雑な振る舞いを学ぶための強力なフレームワークである。 しかし、伝統的に計算に高価な強化学習(RL)問題を内部ループで繰り返し解く必要がある。 内ループRLにおける専門家のデモンストレーションを活用することにより、探査負担を軽減することが望ましい。 例えば、最近の研究は、学習者を専門家状態にリセットし、学習者に高水準の専門家状態を伝える。 しかし、そのようなアプローチは現実世界では実現不可能である。 本研究では、IRLにおけるRLサブルーチンを高速化する代替手法について考察する: \emph{pessimism}、すなわち、オフラインのRLアルゴリズムを用いてインスタンス化される専門家のデータ分布に近づき続ける。 オフラインRLとIRLの接続を形式化し、任意のオフラインRLアルゴリズムを用いてIRLのサンプリング効率を向上させる。 我々は,オフラインrlアルゴリズムの有効性と,irl手続きの一部としての有効性との間に強い相関関係を実証し,実験的に検証した。 強力なオフラインRLアルゴリズムをIRLプロシージャの一部として使用することにより、専門家のパフォーマンスに匹敵するポリシーを従来よりもはるかに効率的に見つけることができる。

関連論文リスト

• Reinforcement Learning with Intrinsically Motivated Feedback Graph for Lost-sales Inventory Control [12.832009040635462]
  強化学習(Reinforcement Learning, RL)は, インベントリコントロール(IC)領域において, 優れた性能と汎用性があることが証明されている。 オンライン体験は、現実世界のアプリケーションで入手するのに費用がかかる。 オンライン体験は、ICの典型的な失業現象による真の需要を反映していない可能性がある。
  論文  参考訳（メタデータ） (2024-06-26T13:52:47Z)
• Is Value Learning Really the Main Bottleneck in Offline RL? [70.54708989409409]
  ポリシー抽出アルゴリズムの選択はオフラインRLの性能とスケーラビリティに大きく影響することを示す。 本稿では,2つの簡易なテスト時ポリシー改善手法を提案し,これらの手法が性能向上につながることを示す。
  論文  参考訳（メタデータ） (2024-06-13T17:07:49Z)
• Hybrid Inverse Reinforcement Learning [34.793570631021005]
  逆強化学習による模倣学習は 両刃剣である。 我々は、不要な探索を抑えるために、ハイブリッドRL(オンラインデータとエキスパートデータの混合に関するトレーニング)の使用を提案する。 モデルフリーとモデルベースハイブリッド逆RLアルゴリズムの両方を導出し、強力なポリシー性能を保証する。
  論文  参考訳（メタデータ） (2024-02-13T23:29:09Z)
• Is Inverse Reinforcement Learning Harder than Standard Reinforcement Learning? A Theoretical Perspective [55.36819597141271]
  逆強化学習(IRL: Inverse Reinforcement Learning)は、インテリジェントシステム開発において重要な役割を担う。 本稿では、サンプルとランタイムを用いて、バニラのオフラインおよびオンライン設定における効率的なIRLの最初のラインを提供する。 応用として、学習した報酬は適切な保証で他のターゲットMDPに転送可能であることを示す。
  論文  参考訳（メタデータ） (2023-11-29T00:09:01Z)
• Inverse Reinforcement Learning without Reinforcement Learning [40.7783129322142]
  逆強化学習(IRL)は、専門家によるデモンストレーションを合理化する報酬関数の学習を目的としている。 従来のIRL法では、サブルーチンとしてハード強化学習問題を繰り返し解決する必要がある。 我々は、RLの難解な問題を繰り返し解くために、模倣学習の容易な問題を減らした。
  論文  参考訳（メタデータ） (2023-03-26T04:35:53Z)
• Contrastive UCB: Provably Efficient Contrastive Self-Supervised Learning in Online Reinforcement Learning [92.18524491615548]
  対照的な自己指導型学習は、(深層)強化学習(RL)の実践にうまく統合されている 我々は,低ランク遷移を伴うマルコフ決定過程(MDP)とマルコフゲーム(MG)のクラスにおいて,コントラスト学習によってRLをどのように強化できるかを検討する。 オンライン環境下では,MDPやMGのオンラインRLアルゴリズムと対照的な損失を生かした,新しい高信頼境界(UCB)型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-29T17:29:08Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• RvS: What is Essential for Offline RL via Supervised Learning? [77.91045677562802]
  近年の研究では、時間差(TD)のない教師あり学習だけでオフラインRLに極めて効果的であることが示されている。 あらゆる環境スイートにおいて、2層フィードフォワードによる可能性の最大化は競争力がある。 彼らはまた、ランダムデータに対して比較的弱い既存のRvS法の限界を探索する。
  論文  参考訳（メタデータ） (2021-12-20T18:55:16Z)
• Heuristic-Guided Reinforcement Learning [31.056460162389783]
  Tabula rasa RLアルゴリズムは、意思決定タスクの地平線に合わせてスケールする環境相互作用や計算を必要とする。 我々のフレームワークは、有限の相互作用予算の下でRLのバイアスと分散を制御するための地平線に基づく正規化と見なすことができる。 特に,従来の知識を超越してRLエージェントを外挿できる「改良可能な」新しい概念を導入する。
  論文  参考訳（メタデータ） (2021-06-05T00:04:09Z)
• FOCAL: Efficient Fully-Offline Meta-Reinforcement Learning via Distance Metric Learning and Behavior Regularization [10.243908145832394]
  本稿では, オフラインメタ強化学習(OMRL)問題について検討する。これは, 強化学習(RL)アルゴリズムが未知のタスクに迅速に適応できるようにするパラダイムである。 この問題はまだ完全には理解されていないが、2つの大きな課題に対処する必要がある。 我々は、いくつかの単純な設計選択が、最近のアプローチよりも大幅に改善できることを示す分析と洞察を提供する。
  論文  参考訳（メタデータ） (2020-10-02T17:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。