論文の概要: Robust Imitation of a Few Demonstrations with a Backwards Model

• arxiv url: http://arxiv.org/abs/2210.09337v1
• Date: Mon, 17 Oct 2022 18:02:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 13:28:27.155298
• Title: Robust Imitation of a Few Demonstrations with a Backwards Model
• Title（参考訳）: 後向きモデルによる少数のデモのロバストな模倣
• Authors: Jung Yeon Park, Lawson L.S. Wong
• Abstract要約: 専門家によるデモンストレーションの行動クローニングは、強化学習よりもよりサンプル効率のよい学習ポリシーを高速化することができる。 実験の周囲のアトラクションの領域を拡大することで、エージェントがオフコースを走行した場合に、実証軌道に戻す方法を学ぶことができるようにすることで、この問題に対処する。 最適あるいは準最適の実証では、学習されたポリシーは、偏差に対して最適かつ堅牢であり、より広いアトラクション領域を持つ。
• 参考スコア（独自算出の注目度）: 3.8530020696501794
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Behavior cloning of expert demonstrations can speed up learning optimal policies in a more sample-efficient way over reinforcement learning. However, the policy cannot extrapolate well to unseen states outside of the demonstration data, creating covariate shift (agent drifting away from demonstrations) and compounding errors. In this work, we tackle this issue by extending the region of attraction around the demonstrations so that the agent can learn how to get back onto the demonstrated trajectories if it veers off-course. We train a generative backwards dynamics model and generate short imagined trajectories from states in the demonstrations. By imitating both demonstrations and these model rollouts, the agent learns the demonstrated paths and how to get back onto these paths. With optimal or near-optimal demonstrations, the learned policy will be both optimal and robust to deviations, with a wider region of attraction. On continuous control domains, we evaluate the robustness when starting from different initial states unseen in the demonstration data. While both our method and other imitation learning baselines can successfully solve the tasks for initial states in the training distribution, our method exhibits considerably more robustness to different initial states.
• Abstract（参考訳）: 専門家のデモの振る舞いのクローニングは、強化学習よりもサンプル効率のよい方法で、最適なポリシーの学習をスピードアップする。 しかし、この政策はデモデータ以外では見当たらない状態に対して十分に外挿することはできず、共変量シフト(デモから外れるエージェント)を生成し、エラーを複合する。 そこで本研究では,実演の周辺にアトラクション領域を拡げて,実演された演目に戻る方法をエージェントが学習できるようにすることで,この問題に取り組む。 我々は,生成後向きダイナミクスモデルを訓練し,実演中の状態から短時間の軌跡を生成する。 デモンストレーションとモデルロールアウトの両方を模倣することで、エージェントはデモされたパスとこれらのパスに戻る方法を学ぶ。 最適またはほぼ最適のデモンストレーションでは、学習されたポリシーは、より広いアトラクション領域を持つ偏差に対して最適かつ堅牢である。 連続制御領域では,実演データでは見当たらない異なる初期状態から出発する際のロバスト性を評価する。 本手法と他の模倣学習ベースラインはトレーニング分布における初期状態の課題をうまく解決できるが,本手法は初期状態の異なる場合にかなり頑健性を示す。

関連論文リスト

• Zero-shot Imitation Policy via Search in Demonstration Dataset [0.16817021284806563]
  行動クローンは、ポリシーを学ぶためにデモのデータセットを使用する。 本稿では,事前学習した基礎モデルの潜在空間を用いて,実演データセットをインデックス化することを提案する。 提案手法は,マインクラフト環境において,有意義なデモンストレーションを効果的に再現し,エージェントの人間的行動を示す。
  論文  参考訳（メタデータ） (2024-01-29T18:38:29Z)
• Unlabeled Imperfect Demonstrations in Adversarial Imitation Learning [48.595574101874575]
  現実の世界では、専門家によるデモは不完全である可能性が高い。 正のラベル付き対逆模倣学習アルゴリズムを開発した。 エージェントポリシーは、差別者を騙し、これらの最適な専門家のデモと同様の軌道を生成するように最適化される。
  論文  参考訳（メタデータ） (2023-02-13T11:26:44Z)
• Out-of-Dynamics Imitation Learning from Multimodal Demonstrations [68.46458026983409]
  本研究では,実演者と模倣者が同じ状態空間を持つという仮定を緩和する,動的外模擬学習(OOD-IL)について検討する。 OOD-ILは、様々なデモ参加者のデモを利用するための模倣学習を可能にするが、新しい挑戦を導入する。 我々は,この新たな課題に取り組むために,より優れた伝達可能性測定法を開発した。
  論文  参考訳（メタデータ） (2022-11-13T07:45:06Z)
• Leveraging Demonstrations with Latent Space Priors [90.56502305574665]
  本稿では,スキル学習とシーケンスモデリングを組み合わせることで,実演データセットを活用することを提案する。 本研究では、国家のみのモーションキャプチャーの実証から、そのような先行情報をどうやって取得するかを示し、政策学習に組み込むためのいくつかの方法を探る。 実験結果から, 学習速度と最終性能において, 遅延空間が顕著に向上することが確認された。
  論文  参考訳（メタデータ） (2022-10-26T13:08:46Z)
• Robustness of Demonstration-based Learning Under Limited Data Scenario [54.912936555876826]
  実証に基づく学習は、限られたデータシナリオ下で事前訓練された言語モデルの能力を刺激する大きな可能性を示している。 実演と予測の間に明確な整合性がないため、なぜこのような実演が学習プロセスに有益なのかは不明だ。 本稿では,実証に基づくシーケンスラベリングの頑健さを深く掘り下げるために,標準情報から直感的に有用な情報を徐々に取り除き,病理デモを設計する。
  論文  参考訳（メタデータ） (2022-10-19T16:15:04Z)
• Learning Feasibility to Imitate Demonstrators with Different Dynamics [23.239058855103067]
  実演から学ぶことのゴールは、実演の動作を模倣してエージェント(模倣者)のポリシーを学ぶことである。 我々は、実演が模倣者によって実現可能である可能性を捉えた実現可能性指標を学習する。 シミュレーションされた4つの環境と実際のロボットを用いた実験により,本手法で学んだ方針が,従来よりも期待されたリターンを達成できることが判明した。
  論文  参考訳（メタデータ） (2021-10-28T14:15:47Z)
• Learning from Imperfect Demonstrations from Agents with Varying Dynamics [29.94164262533282]
  我々は,実演が模倣学習にどの程度有用かを測定するために,実現可能性スコアと最適度スコアからなる指標を開発した。 シミュレーションと実ロボットによる4つの環境実験により,学習方針の改善が期待された。
  論文  参考訳（メタデータ） (2021-03-10T07:39:38Z)
• Learning to Shift Attention for Motion Generation [55.61994201686024]
  ロボット学習を用いた動作生成の課題の1つは、人間のデモが1つのタスククエリに対して複数のモードを持つ分布に従うことである。 以前のアプローチでは、すべてのモードをキャプチャできなかったり、デモの平均モードを取得できないため、無効なトラジェクトリを生成する傾向があった。 この問題を克服する外挿能力を有するモーション生成モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-24T09:07:52Z)
• Shaping Rewards for Reinforcement Learning with Imperfect Demonstrations using Generative Models [18.195406135434503]
  本稿では,報酬関数を状態と行動に依存したポテンシャルに形成することにより,強化と模倣学習を組み合わせた手法を提案する。 このことは,まず探索する価値のある状態空間と行動空間の高価値領域を指定することで,政策学習を加速させることを示す。 特に、これらのポテンシャルを表現するために、正規化フローとジェネレーティブ・アドバイサル・ネットワークの両方について検討する。
  論文  参考訳（メタデータ） (2020-11-02T20:32:05Z)
• State-Only Imitation Learning for Dexterous Manipulation [63.03621861920732]
  本稿では,国家のみの模倣学習について考察する。 我々は、逆ダイナミクスモデルをトレーニングし、状態のみのデモンストレーションのアクションを予測するためにそれを使用します。 我々の手法は状態-作用アプローチと同等に動作し、RL単独よりもかなり優れています。
  論文  参考訳（メタデータ） (2020-04-07T17:57:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。