論文の概要: Cross-Domain Transfer via Semantic Skill Imitation

• arxiv url: http://arxiv.org/abs/2212.07407v1
• Date: Wed, 14 Dec 2022 18:46:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 18:05:25.809975
• Title: Cross-Domain Transfer via Semantic Skill Imitation
• Title（参考訳）: セマンティックスキル模倣によるクロスドメイントランスファー
• Authors: Karl Pertsch, Ruta Desai, Vikash Kumar, Franziska Meier, Joseph J. Lim, Dhruv Batra, Akshara Rai
• Abstract要約: 本稿では、例えば人間ビデオなどのソースドメインからのデモンストレーションを利用して、強化学習(RL)を高速化する意味模倣手法を提案する。 関節速度のような低レベルな動作を模倣する代わりに、我々のアプローチは「電子レンジを開く」や「ストーブを回す」といった、実証された意味的なスキルのシーケンスを模倣する。
• 参考スコア（独自算出の注目度）: 49.83150463391275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose an approach for semantic imitation, which uses demonstrations from a source domain, e.g. human videos, to accelerate reinforcement learning (RL) in a different target domain, e.g. a robotic manipulator in a simulated kitchen. Instead of imitating low-level actions like joint velocities, our approach imitates the sequence of demonstrated semantic skills like "opening the microwave" or "turning on the stove". This allows us to transfer demonstrations across environments (e.g. real-world to simulated kitchen) and agent embodiments (e.g. bimanual human demonstration to robotic arm). We evaluate on three challenging cross-domain learning problems and match the performance of demonstration-accelerated RL approaches that require in-domain demonstrations. In a simulated kitchen environment, our approach learns long-horizon robot manipulation tasks, using less than 3 minutes of human video demonstrations from a real-world kitchen. This enables scaling robot learning via the reuse of demonstrations, e.g. collected as human videos, for learning in any number of target domains.
• Abstract（参考訳）: シミュレーションキッチンにおけるロボットマニピュレータなど,異なる対象領域における強化学習(RL)を促進するために,例えばヒューマンビデオなどのソースドメインからのデモンストレーションを利用する意味模倣手法を提案する。 関節速度のような低レベルな動作を模倣する代わりに、我々の手法は「マイクロ波を開く」や「ストーブを回す」といった意味的なスキルのシーケンスを模倣する。 これにより、実環境(実世界からシミュレートされたキッチン)とエージェントの具体化(例えば、人間による2次元のデモンストレーションをロボットアームに移すことができます。 ドメイン間学習の課題を3つ評価し、ドメイン内の実演を必要とする実演加速RLアプローチの性能に適合する。 シミュレーションされたキッチン環境では,実環境のキッチンから3分以内の人間のビデオデモを用いて,長距離ロボット操作タスクを学習する。 これにより、例えば人間のビデオとして収集されたデモを再利用して、任意のターゲットドメインで学習するロボット学習のスケーリングが可能になる。

関連論文リスト

• DemoStart: Demonstration-led auto-curriculum applied to sim-to-real with multi-fingered robots [15.034811470942962]
  3本指ロボットハンドを装備した腕の複雑な操作動作を学習できる新しい自己カリキュラム強化学習法であるDemoStartを提案する。 シミュレーションからの学習は、行動生成のサイクルを劇的に減らし、ドメインランダム化技術を利用して、ゼロショット・シム・トゥ・リアル転送を成功させる。
  論文  参考訳（メタデータ） (2024-09-10T16:05:25Z)
• CyberDemo: Augmenting Simulated Human Demonstration for Real-World Dexterous Manipulation [27.069114421842045]
  CyberDemoは、シミュレーションされた人間のデモを現実世界のタスクに活用するロボット模倣学習の新しいアプローチだ。 本研究は,実世界のデクスタラスな操作作業において,シミュレーションされた人間の実演の有意な可能性を実証するものである。
  論文  参考訳（メタデータ） (2024-02-22T18:54:32Z)
• Learning Video-Conditioned Policies for Unseen Manipulation Tasks [83.2240629060453]
  ビデオ条件付きポリシー学習は、以前は目に見えないタスクの人間のデモをロボット操作スキルにマッピングする。 我々は,現在のシーン観察と対象課題のビデオから適切なアクションを生成するためのポリシーを学習する。 われわれは,多タスクロボット操作環境の課題と,技術面における性能の面から,そのアプローチを検証した。
  論文  参考訳（メタデータ） (2023-05-10T16:25:42Z)
• Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
  我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。 我々の枠組みは、人間の手の動きを予測することに基づいている。 トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
  論文  参考訳（メタデータ） (2023-02-03T21:39:52Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)
• Bottom-Up Skill Discovery from Unsegmented Demonstrations for Long-Horizon Robot Manipulation [55.31301153979621]
  我々は,実世界の長距離ロボット操作作業に,スキル発見による取り組みを行う。 未解決のデモンストレーションから再利用可能なスキルのライブラリを学ぶためのボトムアップアプローチを提案する。 提案手法は,多段階操作タスクにおける最先端の模倣学習手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-09-28T16:18:54Z)
• Video2Skill: Adapting Events in Demonstration Videos to Skills in an Environment using Cyclic MDP Homomorphisms [16.939129935919325]
  Video2Skill(V2S)は、ロボットアームが人間の料理ビデオから学習できるようにすることで、この能力を人工知能に拡張しようとしている。 まずシーケンシャル・ツー・シーケンス・オートエンコーダ・スタイルのアーキテクチャを用いて,長期にわたる実演におけるイベントの時間潜在空間を学習する。 次に、少数のオフラインおよび無関係な相互作用データを用いて、これらの表現をロボットターゲットドメインに転送する。
  論文  参考訳（メタデータ） (2021-09-08T17:59:01Z)
• DexMV: Imitation Learning for Dexterous Manipulation from Human Videos [11.470141313103465]
  本稿では,コンピュータビジョンとロボット学習のギャップを埋めるために,新しいプラットフォームとパイプラインであるDexMVを提案する。 i)多指ロボットハンドによる複雑な操作タスクのシミュレーションシステムと,(ii)人間の手による大規模な実演を記録するコンピュータビジョンシステムとを設計する。 実演ではロボット学習を大きなマージンで改善することができ、強化学習だけでは解決できない複雑なタスクを解決できることが示される。
  論文  参考訳（メタデータ） (2021-08-12T17:51:18Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。