論文の概要: Cross-Embodiment Robot Manipulation Skill Transfer using Latent Space Alignment

• arxiv url: http://arxiv.org/abs/2406.01968v1
• Date: Tue, 4 Jun 2024 05:00:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 18:00:19.007250
• Title: Cross-Embodiment Robot Manipulation Skill Transfer using Latent Space Alignment
• Title（参考訳）: 潜時空間アライメントを用いたクロス・エンボディメント・ロボットマニピュレーション・スキル・トランスファー
• Authors: Tianyu Wang, Dwait Bhatt, Xiaolong Wang, Nikolay Atanasov,
• Abstract要約: 本稿では,形態の異なるロボットマニピュレータ間の制御ポリシの伝達に着目した。 主要な洞察は、ソースとターゲットロボットの状態と行動空間を共通の潜在空間表現に投影することである。 我々は、異なる状態、行動、実施形態のソースとターゲットロボットによるシム・トゥ・シム・トゥ・シム・トゥ・シム・トゥ・リアルな操作ポリシーの伝達を実証する。
• 参考スコア（独自算出の注目度）: 24.93621734941354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper focuses on transferring control policies between robot manipulators with different morphology. While reinforcement learning (RL) methods have shown successful results in robot manipulation tasks, transferring a trained policy from simulation to a real robot or deploying it on a robot with different states, actions, or kinematics is challenging. To achieve cross-embodiment policy transfer, our key insight is to project the state and action spaces of the source and target robots to a common latent space representation. We first introduce encoders and decoders to associate the states and actions of the source robot with a latent space. The encoders, decoders, and a latent space control policy are trained simultaneously using loss functions measuring task performance, latent dynamics consistency, and encoder-decoder ability to reconstruct the original states and actions. To transfer the learned control policy, we only need to train target encoders and decoders that align a new target domain to the latent space. We use generative adversarial training with cycle consistency and latent dynamics losses without access to the task reward or reward tuning in the target domain. We demonstrate sim-to-sim and sim-to-real manipulation policy transfer with source and target robots of different states, actions, and embodiments. The source code is available at \url{https://github.com/ExistentialRobotics/cross_embodiment_transfer}.
• Abstract（参考訳）: 本稿では,形態の異なるロボットマニピュレータ間の制御ポリシの伝達に着目した。 強化学習(RL)手法は、ロボット操作タスクにおいて成功した結果を示す一方で、シミュレーションから実際のロボットへ、あるいは異なる状態、行動、運動学を持ったロボットに、訓練されたポリシーをデプロイすることは困難である。 クロス・エボディメント・ポリシー・トランスファーを実現するために、我々の重要な洞察は、ソースの状態と動作空間を投影し、ターゲットロボットを共通の潜在空間表現に投射することである。 まず、まずエンコーダとデコーダを導入し、ソースロボットの状態と動作を潜在空間に関連付ける。 エンコーダ、デコーダ、及び遅延空間制御ポリシーは、タスク性能、遅延ダイナミクスの一貫性、および元の状態と動作を再構築するエンコーダ・デコーダ能力を用いて同時に訓練される。 学習した制御ポリシーを転送するには、新しいターゲットドメインを潜在空間に整列させるターゲットエンコーダとデコーダのみをトレーニングする必要がある。 我々は,目標領域におけるタスク報酬や報酬のチューニングを必要とせずに,サイクル整合性および潜時ダイナミクス損失を伴う生成的対位トレーニングを使用する。 我々は、異なる状態、行動、実施形態のソースとターゲットロボットによるシム・トゥ・シム・トゥ・シム・トゥ・シム・トゥ・リアルな操作ポリシーの伝達を実証する。 ソースコードは \url{https://github.com/ExistentialRobotics/cross_embodiment_transfer} で公開されている。

関連論文リスト

• Flow as the Cross-Domain Manipulation Interface [73.15952395641136]
  Im2Flow2Actは、現実世界のロボットのトレーニングデータを必要とせずに、ロボットが現実世界の操作スキルを習得することを可能にする。 Im2Flow2Actはフロー生成ネットワークとフロー条件ポリシーの2つのコンポーネントから構成される。 我々はIm2Flow2Actの様々な実世界のタスクにおいて、剛性、調音、変形可能なオブジェクトの操作を含む能力を実証する。
  論文  参考訳（メタデータ） (2024-07-21T16:15:02Z)
• Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
  我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。 私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。 学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
  論文  参考訳（メタデータ） (2024-05-02T17:56:55Z)
• RoboScript: Code Generation for Free-Form Manipulation Tasks across Real and Simulation [77.41969287400977]
  本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。 自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。 我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
  論文  参考訳（メタデータ） (2024-02-22T15:12:00Z)
• Towards Transferring Tactile-based Continuous Force Control Policies from Simulation to Robot [19.789369416528604]
  グリップフォースコントロールは、物体に作用する力の量を制限することによって、物体を安全に操作することを目的としている。 以前の作品では、手動制御器、モデルベースのアプローチ、あるいはsim-to-realトランスファーを示さなかった。 シミュレーションで訓練されたモデルなしの深層強化学習手法を提案し,さらに微調整を行わずにロボットに移行した。
  論文  参考訳（メタデータ） (2023-11-13T11:29:06Z)
• ImitationNet: Unsupervised Human-to-Robot Motion Retargeting via Shared Latent Space [9.806227900768926]
  本稿では,ロボットの動きに対する新しいディープラーニング手法を提案する。 本手法では,新しいロボットへの翻訳を容易にする,人間とロボットのペアデータを必要としない。 我々のモデルは、効率と精度の観点から、人間とロボットの類似性に関する既存の研究よりも優れています。
  論文  参考訳（メタデータ） (2023-09-11T08:55:04Z)
• Nonprehensile Planar Manipulation through Reinforcement Learning with Multimodal Categorical Exploration [8.343657309038285]
  強化学習はそのようなロボットコントローラを開発するための強力なフレームワークである。 分類分布を用いたマルチモーダル探索手法を提案する。 学習したポリシは外部の障害や観測ノイズに対して堅牢であり、複数のプッシュ器でタスクにスケールできることが示される。
  論文  参考訳（メタデータ） (2023-08-04T16:55:00Z)
• Learning Bipedal Walking for Humanoids with Current Feedback [5.429166905724048]
  アクチュエータレベルでの不正確なトルクトラッキングから生じるヒューマノイドロボットのシム2リアルギャップ問題を克服するためのアプローチを提案する。 提案手法は、実際のHRP-5Pヒューマノイドロボットに展開して二足歩行を実現するシミュレーションにおいて、一貫したエンドツーエンドのポリシーをトレーニングする。
  論文  参考訳（メタデータ） (2023-03-07T08:16:46Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)
• REvolveR: Continuous Evolutionary Models for Robot-to-robot Policy Transfer [57.045140028275036]
  本研究では,運動学や形態学など,異なるパラメータを持つ2つの異なるロボット間でポリシーを伝達する問題を考察する。 模倣学習手法を含む動作や状態遷移の分布を一致させることで、新しいポリシーを訓練する既存のアプローチは、最適な動作や/または状態分布が異なるロボットでミスマッチしているために失敗する。 本稿では,物理シミュレータに実装されたロボット政策伝達に連続的進化モデルを用いることで,$RevolveR$という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-02-10T18:50:25Z)
• Neural Dynamic Policies for End-to-End Sensorimotor Learning [51.24542903398335]
  感覚運動制御における現在の主流パラダイムは、模倣であれ強化学習であれ、生の行動空間で政策を直接訓練することである。 軌道分布空間の予測を行うニューラル・ダイナミック・ポリシー(NDP)を提案する。 NDPは、いくつかのロボット制御タスクにおいて、効率と性能の両面で、これまでの最先端よりも優れている。
  論文  参考訳（メタデータ） (2020-12-04T18:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。