論文の概要: Latent Action Priors From a Single Gait Cycle Demonstration for Online Imitation Learning

• arxiv url: http://arxiv.org/abs/2410.03246v1
• Date: Fri, 4 Oct 2024 09:10:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 23:28:42.582296
• Title: Latent Action Priors From a Single Gait Cycle Demonstration for Online Imitation Learning
• Title（参考訳）: オンライン模倣学習のための単一歩数サイクルによる潜時行動の先行
• Authors: Oliver Hausdörfer, Alexander von Rohr, Éric Lefort, Angela Schoellig,
• Abstract要約: 本稿では,ロボット学習における帰納的バイアスとして,専門家による実証から学んだ潜伏行動を行動空間の先行として提案する。 単純なオートエンコーダを用いて1つのオープンループ歩行サイクルのみからこれらの動作先を学習できることが示される。
• 参考スコア（独自算出の注目度）: 42.642008092347986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Reinforcement Learning (DRL) in simulation often results in brittle and unrealistic learning outcomes. To push the agent towards more desirable solutions, prior information can be injected in the learning process through, for instance, reward shaping, expert data, or motion primitives. We propose an additional inductive bias for robot learning: latent actions learned from expert demonstration as priors in the action space. We show that these action priors can be learned from only a single open-loop gait cycle using a simple autoencoder. Using these latent action priors combined with established style rewards for imitation in DRL achieves above expert demonstration level of performance and leads to more desirable gaits. Further, action priors substantially improve the performance on transfer tasks, even leading to gait transitions for higher target speeds. Videos and code are available at https://sites.google.com/view/latent-action-priors.
• Abstract（参考訳）: シミュレーションにおける深層強化学習(DRL)は、しばしば脆く非現実的な学習結果をもたらす。 エージェントをより望ましいソリューションへプッシュするには、例えば報酬形成、専門家データ、モーションプリミティブを通じて、学習プロセスに事前情報を注入することができる。 本稿では,ロボット学習における帰納的バイアスとして,専門家による実証から学んだ潜伏行動を行動空間の先行として提案する。 単純なオートエンコーダを用いて1つのオープンループ歩行サイクルのみからこれらの動作先を学習できることが示される。 DRLにおけるこれらの潜伏アクションの先行と、模倣のための確立されたスタイルの報酬を組み合わせることで、上記の専門家によるパフォーマンスのレベルが達成され、より望ましい歩みにつながります。 さらに、アクション先行は転送タスクの性能を大幅に改善し、より高い目標速度の歩行遷移を導いた。 ビデオとコードはhttps://sites.google.com/view/latent-action-priors.comで公開されている。

関連論文リスト

• Pre-trained Visual Dynamics Representations for Efficient Policy Learning [33.62440075940917]
  本稿では,ビデオと下流タスク間の領域ギャップを埋めて効率的なポリシー学習を実現するために,事前学習型ビジュアルダイナミクス表現(PVDR)を提案する。 事前訓練された視覚力学表現は、ビデオの知識以前の視覚力学をキャプチャする。 この抽象的な事前知識は、ダウンストリームタスクに容易に適応でき、オンライン適応を通じて実行可能なアクションと整合することができる。
  論文  参考訳（メタデータ） (2024-11-05T15:18:02Z)
• Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
  逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。 本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
  論文  参考訳（メタデータ） (2022-08-09T17:29:49Z)
• Action-Conditioned Contrastive Policy Pretraining [39.13710045468429]
  深層運動のポリシー学習は、ロボット操作や自律運転などの制御タスクにおいて有望な結果を達成する。 トレーニング環境との膨大な数のオンラインインタラクションが必要です。 本研究では、数時間の未計算YouTubeビデオを用いて、タスクを駆動するためのポリシー表現を事前訓練することを目的とする。
  論文  参考訳（メタデータ） (2022-04-05T17:58:22Z)
• Reinforcement Learning with Action-Free Pre-Training from Videos [95.25074614579646]
  本稿では,ビデオにおける生成前学習を通じて動的理解に役立つ表現を学習するフレームワークを提案する。 我々のフレームワークは、視覚に基づく強化学習の最終性能とサンプル効率の両方を著しく改善する。
  論文  参考訳（メタデータ） (2022-03-25T19:44:09Z)
• Learning from demonstrations with SACR2: Soft Actor-Critic with Reward Relabeling [2.1485350418225244]
  オフポリシーアルゴリズムはサンプリング効率が良く、リプレイバッファに格納された任意のオフポリシーデータの恩恵を受けることができる。 専門家によるデモンストレーションは、そのようなデータのための一般的な情報源である。 本稿では,実演と成功エピソードに対する報酬ボーナスに基づく新たな手法を提案する。
  論文  参考訳（メタデータ） (2021-10-27T14:30:29Z)
• Demonstration-Guided Reinforcement Learning with Learned Skills [23.376115889936628]
  実証誘導強化学習(RL)は複雑な行動を学ぶ上で有望なアプローチである。 本研究では、この共有サブタスク構造を利用して、実演誘導RLの効率を向上させることを目的とする。 本稿では,提案する実演を効率的に活用する実演誘導RLアルゴリズムであるSkiLD(Skill-based Learning with Demonstrations)を提案する。
  論文  参考訳（メタデータ） (2021-07-21T17:59:34Z)
• Hierarchical Few-Shot Imitation with Skill Transition Models [66.81252581083199]
  FIST(Few-shot Imitation with Skill Transition Models)は、オフラインデータからスキルを抽出し、それらを利用して見えないタスクに一般化するアルゴリズムである。 本稿では,FISTが新たなタスクに一般化し,ナビゲーション実験において従来のベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2021-07-19T15:56:01Z)
• Annotating Motion Primitives for Simplifying Action Search in Reinforcement Learning [10.764160559530847]
  大規模環境での強化学習は、特定の状況において起こりうる多くの行動のために困難である。 我々は以前,運動プリミティブを用いて探索過程を制約し,高速化する手法を開発したことがある。 提案手法は,動作や動作を自動的にアノテートする理論上,視点に敏感で,速度に敏感な手段である。
  論文  参考訳（メタデータ） (2021-02-24T01:32:06Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• Recall and Learn: Fine-tuning Deep Pretrained Language Models with Less Forgetting [66.45372974713189]
  本稿では,マルチタスク学習の概念を取り入れたリコール・アンド・ラーニング機構を提案し,事前学習タスクと下流タスクを共同で学習する。 実験により,本手法はGLUEベンチマークの最先端性能を実現することが示された。 我々はオープンソースのRecAdamを提供し、提案されたメカニズムをAdamに統合し、NLPコミュニティを施設化する。
  論文  参考訳（メタデータ） (2020-04-27T08:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。