論文の概要: X-Sim: Cross-Embodiment Learning via Real-to-Sim-to-Real

• arxiv url: http://arxiv.org/abs/2505.07096v1
• Date: Sun, 11 May 2025 19:04:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.209033
• Title: X-Sim: Cross-Embodiment Learning via Real-to-Sim-to-Real
• Title（参考訳）: X-Sim: 実-実-実-実-実-実-の相互学習
• Authors: Prithwish Dan, Kushal Kedia, Angela Chao, Edward Weiyi Duan, Maximus Adrian Pace, Wei-Chiu Ma, Sanjiban Choudhury,
• Abstract要約: X-Simは、ロボットのポリシーを学ぶための、密集した伝達可能な信号としてオブジェクトの動きを利用する、リアルからシミュレート・トゥ・リアルなフレームワークである。 2つの環境における5つの操作タスクにまたがって評価を行い、手動追従およびシム・トゥ・リアルのベースライン上でのタスク進捗を平均30%改善することを示した。
• 参考スコア（独自算出の注目度）: 13.644777529832291
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human videos offer a scalable way to train robot manipulation policies, but lack the action labels needed by standard imitation learning algorithms. Existing cross-embodiment approaches try to map human motion to robot actions, but often fail when the embodiments differ significantly. We propose X-Sim, a real-to-sim-to-real framework that uses object motion as a dense and transferable signal for learning robot policies. X-Sim starts by reconstructing a photorealistic simulation from an RGBD human video and tracking object trajectories to define object-centric rewards. These rewards are used to train a reinforcement learning (RL) policy in simulation. The learned policy is then distilled into an image-conditioned diffusion policy using synthetic rollouts rendered with varied viewpoints and lighting. To transfer to the real world, X-Si introduces an online domain adaptation technique that aligns real and simulated observations during deployment. Importantly, X-Sim does not require any robot teleoperation data. We evaluate it across 5 manipulation tasks in 2 environments and show that it: (1) improves task progress by 30% on average over hand-tracking and sim-to-real baselines, (2) matches behavior cloning with 10x less data collection time, and (3) generalizes to new camera viewpoints and test-time changes. Code and videos are available at https://portal-cornell.github.io/X-Sim/.
• Abstract（参考訳）: 人間のビデオは、ロボット操作ポリシーを訓練するスケーラブルな方法を提供するが、標準的な模倣学習アルゴリズムに必要なアクションラベルは欠如している。 既存のクロス・エボディメント・アプローチは人間の動きをロボットの動作にマッピングしようとするが、実施形態が著しく異なる場合、しばしば失敗する。 我々は,ロボットのポリシーを学習するために,物体の動きを高密度かつ伝達可能な信号として利用する,リアルからシミュレート・トゥ・リアルなフレームワークであるX-Simを提案する。 X-Simは、RGBDの人間のビデオからフォトリアリスティックなシミュレーションを再構築し、オブジェクト中心の報酬を定義するためにオブジェクトの軌跡を追跡することから始まる。 これらの報酬は、シミュレーションにおいて強化学習(RL)ポリシーを訓練するために使用される。 学習方針は、様々な視点と照明でレンダリングされた合成ロールアウトを用いて、画像調和拡散政策に蒸留される。 現実の世界へ移行するために、X-Siは、実際のおよびシミュレーションされたデプロイメント中の観察を整列するオンラインドメイン適応技術を導入している。 重要なのは、X-Simはロボットの遠隔操作データを必要としないことだ。 2つの環境における5つの操作タスクにまたがって評価を行い、(1)手動追従およびシム・トゥ・リアルベースライン平均でタスク進捗を30%改善し、(2)データ収集時間の10倍の時間で行動クローニングを一致させ、(3)カメラの視点とテスト時間の変化を一般化することを示した。 コードとビデオはhttps://portal-cornell.github.io/X-Sim/.comで公開されている。

関連論文リスト

• Crossing the Human-Robot Embodiment Gap with Sim-to-Real RL using One Human Demonstration [21.94699075066712]
  ロボットに巧妙な操作スキルを教えるには、何百ものデモをウェアラブルや遠隔操作で集める必要がある。 我々は,デクスタラスな操作ポリシーをトレーニングするための,新しい実-実-実-実-実-実-実-のフレームワークであるHuman2Sim2Robotを提案する。
  論文  参考訳（メタデータ） (2025-04-17T03:15:20Z)
• Video2Policy: Scaling up Manipulation Tasks in Simulation through Internet Videos [61.925837909969815]
  我々は,インターネット上のRGBビデオを利用して日常の人間行動に基づいてタスクを再構築する新しいフレームワークであるVideo2Policyを紹介した。 本手法は投球のような複雑で困難なタスクを含む,そのようなタスクに対するRLポリシーのトレーニングに成功している。 生成したシミュレーションデータは,一般的なポリシをトレーニングするためにスケールアップ可能であり,Real2Sim2Real方式で実ロボットに転送可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-14T03:22:03Z)
• TRANSIC: Sim-to-Real Policy Transfer by Learning from Online Correction [25.36756787147331]
  シミュレーションの学習と実世界への学習は、ジェネラリストロボットを可能にする可能性がある。 そこで本研究では,Human-in-the-loopフレームワークをベースとしたSIM-to-real転送を実現するためのデータ駆動型手法を提案する。 本手法は,家具組立などの複雑かつ接触に富んだ操作作業において,シミュレートから現実への伝達を成功させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-16T17:59:07Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。