論文の概要: Imitation Learning from Observation through Optimal Transport
- arxiv url: http://arxiv.org/abs/2310.01632v1
- Date: Mon, 2 Oct 2023 20:53:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 18:47:07.090170
- Title: Imitation Learning from Observation through Optimal Transport
- Title（参考訳）: 最適輸送による観察からの模倣学習
- Authors: Wei-Di Chang, Scott Fujimoto, David Meger, Gregory Dudek
- Abstract要約: イミテーション・ラーニング・オブ・オブ・オブ・オブ・観察(ILfO)は、学習者が専門家の行動を模倣しようとする環境である。
学習モデルや逆学習を必要とせずに、既存の手法を単純化して報酬関数を生成することができることを示す。
我々は,このシンプルな手法が様々な連続制御タスクに対して有効であることを示し,IlfO設定の技法の状態を超越していることを見出した。
- 参考スコア（独自算出の注目度）: 27.74656501103977
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Imitation Learning from Observation (ILfO) is a setting in which a learner
tries to imitate the behavior of an expert, using only observational data and
without the direct guidance of demonstrated actions. In this paper, we
re-examine the use of optimal transport for IL, in which a reward is generated
based on the Wasserstein distance between the state trajectories of the learner
and expert. We show that existing methods can be simplified to generate a
reward function without requiring learned models or adversarial learning.
Unlike many other state-of-the-art methods, our approach can be integrated with
any RL algorithm, and is amenable to ILfO. We demonstrate the effectiveness of
this simple approach on a variety of continuous control tasks and find that it
surpasses the state of the art in the IlfO setting, achieving expert-level
performance across a range of evaluation domains even when observing only a
single expert trajectory without actions.
- Abstract（参考訳）: ILfO(Imitation Learning from Observation)とは、観察データのみを使用し、実演行動を直接指導することなく、学習者が専門家の行動を模倣しようとする環境である。
本稿では,学習者の状態軌跡と熟練者の状態軌跡との間のワッサースタイン距離に基づいて報酬が生成されるilに対する最適輸送の利用を再検討する。
学習モデルや逆学習を必要とせずに、既存の手法を単純化して報酬関数を生成することができることを示す。
他の多くの最先端手法とは異なり、このアプローチは任意のrlアルゴリズムと統合することができ、ilfoに適応できる。
我々は,この単純アプローチが様々な連続制御タスクにおいて有効であることを実証し,ilfo設定の技量を超え,単一の熟練者軌道のみを動作なしで観察した場合であっても,評価領域全体でのエキスパートレベルのパフォーマンスを実現することを見出した。
関連論文リスト
- RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。
提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。
このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
論文 参考訳（メタデータ） (2023-11-21T21:05:21Z) - Robust Visual Imitation Learning with Inverse Dynamics Representations [32.806294517277976]
我々は,専門家環境と学習環境を整合させるために,逆ダイナミクス状態表現学習目標を開発する。
抽象状態表現を用いて、行動データと専門家データとの類似性を徹底的に測定する効果的な報酬関数を設計する。
提案手法は,ほとんどの環境においてほぼ熟練した性能を実現し,最先端のビジュアルIL法やロバストIL法を著しく上回っている。
論文 参考訳（メタデータ） (2023-10-22T11:47:35Z) - Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。
本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
論文 参考訳（メタデータ） (2023-06-13T01:09:18Z) - Imitation from Observation With Bootstrapped Contrastive Learning [12.048166025000976]
IfO(IfO)は、マルコフ決定プロセスにおいて自律エージェントを訓練する学習パラダイムである。
本稿では,OfOアルゴリズムであるBootIfOLについて紹介する。
我々は,限られた数の実証軌道を用いて効果的な政策を訓練できることを示す,様々な制御タスクに対するアプローチを評価する。
論文 参考訳（メタデータ） (2023-02-13T17:32:17Z) - Basis for Intentions: Efficient Inverse Reinforcement Learning using
Past Experience [89.30876995059168]
逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。
本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
論文 参考訳（メタデータ） (2022-08-09T17:29:49Z) - Imitation Learning by State-Only Distribution Matching [2.580765958706854]
観察からの模倣学習は、人間の学習と同様の方法で政策学習を記述する。
本稿では,解釈可能な収束度と性能測定値とともに,非逆学習型観測手法を提案する。
論文 参考訳（メタデータ） (2022-02-09T08:38:50Z) - TRAIL: Near-Optimal Imitation Learning with Suboptimal Data [100.83688818427915]
オフラインデータセットを使用してファクタードトランジションモデルを学習するトレーニング目標を提案する。
我々の理論的分析は、学習された潜在行動空間が下流模倣学習のサンプル効率を高めることを示唆している。
実際に潜伏行動空間を学習するために、エネルギーベースの遷移モデルを学ぶアルゴリズムTRAIL(Transition-Reparametrized Actions for Imitation Learning)を提案する。
論文 参考訳（メタデータ） (2021-10-27T21:05:00Z) - Imitation by Predicting Observations [17.86983397979034]
本研究では, 連続制御タスクの課題に対して, 専門家に匹敵する性能を達成できる観測結果のみを模倣する新しい手法を提案する。
提案手法は, 逆RL目標から導出され, 専門家の観察結果の生成モデルを用いて学習した専門家の行動モデルを用いて模倣する。
本稿では,DeepMind Control Suiteベンチマークにおける強力なベースラインIRL法(GAIL)に対して,タスク非関連機能の存在下でGAILよりも優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2021-07-08T14:09:30Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-31T23:46:32Z) - Off-Policy Imitation Learning from Observations [78.30794935265425]
観察からの学習(lfo)は、多くのアプリケーションが利用できる実用的な強化学習シナリオである。
オフポリシ最適化を原則的に実現するサンプル効率の高いLfOアプローチを提案する。
我々のアプローチは、サンプル効率と性能の両面で最先端のロコモーションに匹敵する。
論文 参考訳（メタデータ） (2021-02-25T21:33:47Z) - HILONet: Hierarchical Imitation Learning from Non-Aligned Observations [8.258872189267045]
非時間的環境における観測のみの軌道から学ぶことは困難である。
本稿では,階層的な構造を取り入れ,実現可能なサブゴールを選択する階層的学習手法であるHiLONetを提案する。
論文 参考訳（メタデータ） (2020-11-05T05:48:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。