論文の概要: IQ-Learn: Inverse soft-Q Learning for Imitation

• arxiv url: http://arxiv.org/abs/2106.12142v1
• Date: Wed, 23 Jun 2021 03:43:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-24 15:31:46.164628
• Title: IQ-Learn: Inverse soft-Q Learning for Imitation
• Title（参考訳）: IQ-Learn:模倣のための逆ソフトQ学習
• Authors: Divyansh Garg, Shuvam Chakraborty, Chris Cundy, Jiaming Song, Stefano Ermon
• Abstract要約: 少数の専門家データからの模倣学習は、複雑な力学を持つ高次元環境では困難である。 行動クローニングは、実装の単純さと安定した収束性のために広く使われている単純な方法である。 本稿では,1つのQ-関数を学習することで,対向学習を回避する動的適応型ILを提案する。
• 参考スコア（独自算出の注目度）: 95.06031307730245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many sequential decision-making problems (e.g., robotics control, game playing, sequential prediction), human or expert data is available containing useful information about the task. However, imitation learning (IL) from a small amount of expert data can be challenging in high-dimensional environments with complex dynamics. Behavioral cloning is a simple method that is widely used due to its simplicity of implementation and stable convergence but doesn't utilize any information involving the environment's dynamics. Many existing methods that exploit dynamics information are difficult to train in practice due to an adversarial optimization process over reward and policy approximators or biased, high variance gradient estimators. We introduce a method for dynamics-aware IL which avoids adversarial training by learning a single Q-function, implicitly representing both reward and policy. On standard benchmarks, the implicitly learned rewards show a high positive correlation with the ground-truth rewards, illustrating our method can also be used for inverse reinforcement learning (IRL). Our method, Inverse soft-Q learning (IQ-Learn) obtains state-of-the-art results in offline and online imitation learning settings, surpassing existing methods both in the number of required environment interactions and scalability in high-dimensional spaces.
• Abstract（参考訳）: 多くの逐次的な意思決定問題(ロボット制御、ゲームプレイ、逐次予測など)では、人間または専門家のデータがタスクに関する有用な情報を含んでいる。 しかし、少量のエキスパートデータからの模倣学習(il)は、複雑なダイナミクスを持つ高次元環境では困難である。 振る舞いのクローニングは、実装の単純さと安定した収束性のため広く使われている単純な方法であるが、環境のダイナミクスに関する情報は利用しない。 力学情報を利用する既存の多くの手法は、報酬や政策近似に対する逆最適化プロセスや偏りのある高分散勾配推定器による訓練が困難である。 本稿では,1つのq関数を学習し,報酬と方針の両方を暗黙的に表現することにより,敵対的トレーニングを回避するダイナミクス認識il法を提案する。 標準ベンチマークでは,暗黙的に学習した報奨は,強健な報奨と高い正の相関を示すが,本手法は逆強化学習(IRL)にも利用できる。 提案手法である逆ソフトq学習(iq-learn)は,オフラインとオンラインの模倣学習環境において,必要な環境相互作用の数と高次元空間のスケーラビリティの両方において既存の手法を上回って最先端の結果を得る。

関連論文リスト

• Reward-free World Models for Online Imitation Learning [25.304836126280424]
  本研究では,報酬のない世界モデルを活用したオンライン模倣学習手法を提案する。 提案手法は, 復元を伴わない潜在空間における環境力学を学習し, 効率的かつ高精度なモデリングを可能にする。 DMControl,myoSuite, ManiSkill2 など,様々なベンチマークを用いて本手法の評価を行い,既存手法と比較して優れた実証性能を示した。
  論文  参考訳（メタデータ） (2024-10-17T23:13:32Z)
• Efficient Imitation Learning with Conservative World Models [54.52140201148341]
  報酬機能のない専門家によるデモンストレーションから政策学習の課題に取り組む。 純粋な強化学習ではなく、微調整問題として模倣学習を再構成する。
  論文  参考訳（メタデータ） (2024-05-21T20:53:18Z)
• Extrinsicaly Rewarded Soft Q Imitation Learning with Discriminator [0.0]
  行動クローンのような教師付き学習手法はサンプリングデータを必要としないが、通常は分散シフトに悩まされる。 ソフトQ模倣学習(SQIL)はこの問題に対処し,行動クローンとソフトQ学習を一定の報酬と組み合わせることで効率よく学習できることを示した。
  論文  参考訳（メタデータ） (2024-01-30T06:22:19Z)
• RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
  我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。 提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。 このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
  論文  参考訳（メタデータ） (2023-11-21T21:05:21Z)
• Robust Visual Imitation Learning with Inverse Dynamics Representations [32.806294517277976]
  我々は,専門家環境と学習環境を整合させるために,逆ダイナミクス状態表現学習目標を開発する。 抽象状態表現を用いて、行動データと専門家データとの類似性を徹底的に測定する効果的な報酬関数を設計する。 提案手法は,ほとんどの環境においてほぼ熟練した性能を実現し,最先端のビジュアルIL法やロバストIL法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-10-22T11:47:35Z)
• Conditional Kernel Imitation Learning for Continuous State Environments [9.750698192309978]
  条件付きカーネル密度推定に基づく新しい模倣学習フレームワークを提案する。 我々は、多くの最先端ILアルゴリズムよりも一貫して優れた経験的性能を示す。
  論文  参考訳（メタデータ） (2023-08-24T05:26:42Z)
• Contrastive Example-Based Control [163.6482792040079]
  報酬関数ではなく多段階遷移の暗黙的なモデルを学ぶオフラインのサンプルベース制御法を提案する。 状態ベースおよび画像ベースのオフライン制御タスクの範囲で、学習された報酬関数を使用するベースラインよりも優れています。
  論文  参考訳（メタデータ） (2023-07-24T19:43:22Z)
• Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning [96.72185761508668]
  テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。 IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T17:16:52Z)
• Guided Uncertainty-Aware Policy Optimization: Combining Learning and Model-Based Strategies for Sample-Efficient Policy Learning [75.56839075060819]
  従来のロボットのアプローチは、環境の正確なモデル、タスクの実行方法の詳細な説明、現在の状態を追跡するための堅牢な認識システムに依存している。 強化学習アプローチは、タスクを記述するための報酬信号だけで、生の感覚入力から直接操作することができるが、非常にサンプル非効率で脆弱である。 本研究では,ロボットの知覚・運動パイプラインにおける不正確さを克服できる一般的な手法を得るために,モデルに基づく手法の強みと学習に基づく手法の柔軟性を組み合わせる。
  論文  参考訳（メタデータ） (2020-05-21T19:47:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。