論文の概要: Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2503.24361v1
• Date: Mon, 31 Mar 2025 17:39:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:37:14.935581
• Title: Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation
• Title（参考訳）: Sim-and-Real Co-Training:視覚に基づくロボットマニピュレーションのための簡単なレシピ
• Authors: Abhiram Maddukuri, Zhenyu Jiang, Lawrence Yunliang Chen, Soroush Nasiriany, Yuqi Xie, Yu Fang, Wenqi Huang, Zu Wang, Zhenjia Xu, Nikita Chernyadev, Scott Reed, Ken Goldberg, Ajay Mandlekar, Linxi Fan, Yuke Zhu,
• Abstract要約: 本稿では,視覚に基づくロボット操作課題を解決するためにシミュレーションデータを利用する手法を提案する。 ロボットアームとヒューマノイドの2つの領域を用いて,シミュレーションデータにより実世界のタスク性能を平均38%向上させることができることを示した。
• 参考スコア（独自算出の注目度）: 40.96453435496208
• License:
• Abstract: Large real-world robot datasets hold great potential to train generalist robot models, but scaling real-world human data collection is time-consuming and resource-intensive. Simulation has great potential in supplementing large-scale data, especially with recent advances in generative AI and automated data generation tools that enable scalable creation of robot behavior datasets. However, training a policy solely in simulation and transferring it to the real world often demands substantial human effort to bridge the reality gap. A compelling alternative is to co-train the policy on a mixture of simulation and real-world datasets. Preliminary studies have recently shown this strategy to substantially improve the performance of a policy over one trained on a limited amount of real-world data. Nonetheless, the community lacks a systematic understanding of sim-and-real co-training and what it takes to reap the benefits of simulation data for real-robot learning. This work presents a simple yet effective recipe for utilizing simulation data to solve vision-based robotic manipulation tasks. We derive this recipe from comprehensive experiments that validate the co-training strategy on various simulation and real-world datasets. Using two domains--a robot arm and a humanoid--across diverse tasks, we demonstrate that simulation data can enhance real-world task performance by an average of 38%, even with notable differences between the simulation and real-world data. Videos and additional results can be found at https://co-training.github.io/
• Abstract（参考訳）: 大規模な現実世界のロボットデータセットは、一般的なロボットモデルを訓練する大きな可能性を秘めている。 シミュレーションは、特に、ロボットの振る舞いデータセットのスケーラブルな作成を可能にする、生成AIと自動データ生成ツールの最近の進歩によって、大規模なデータを補完する大きな可能性を秘めている。 しかし、シミュレーションのみで政策を訓練し、現実の世界に移すには、現実のギャップを埋めるためにかなりの人的努力が必要になることが多い。 魅力的な代替手段は、シミュレーションと実世界のデータセットの混合に関するポリシーを共同トレーニングすることである。 予備研究は、この戦略を、限られた実世界のデータに基づいて訓練された政策よりも大幅に改善することを示してきた。 それにもかかわらず、コミュニティはsim-and-realコトレーニングの体系的な理解に欠けており、実際のロボット学習のためのシミュレーションデータの利点を享受するのに何が必要かは分かっていない。 本研究は、視覚に基づくロボット操作タスクを解決するためにシミュレーションデータを利用するための、シンプルで効果的なレシピを提案する。 このレシピは、様々なシミュレーションや実世界のデータセット上での協調学習戦略を検証する包括的な実験から導かれる。 ロボットアームとヒューマノイドの2つの領域を用いて,シミュレーションデータにより実世界のタスク性能を平均38%向上させることができることを示した。 ビデオと追加結果はhttps://co-training.github.io/で見ることができる。

関連論文リスト

• Robot Learning with Super-Linear Scaling [20.730206708381704]
  CASHERは、データ収集と学習をシミュレーションでスケールアップするためのパイプラインであり、パフォーマンスは人間の努力と超直線的にスケールする。 そこで我々は,CASHERにより,人的努力を伴わないビデオスキャンにより,事前学習したポリシーを目標シナリオに微調整できることを示す。
  論文  参考訳（メタデータ） (2024-12-02T18:12:02Z)
• So You Think You Can Scale Up Autonomous Robot Data Collection? [22.7035324720716]
  強化学習(RL)には、自律的なデータ収集を可能にするという約束がある。 環境設計と計測に要する多大な労力のために、現実世界でのスケーリングは依然として困難である。 イミテーション・ラーニング (IL) の手法は環境設計の努力をほとんど必要とせず、人的監督を必要とする。
  論文  参考訳（メタデータ） (2024-11-04T05:31:35Z)
• ASID: Active Exploration for System Identification in Robotic Manipulation [32.27299045059514]
  本稿では,少数の実世界のデータを活用して,シミュレーションモデルを自律的に洗練し,正確な制御戦略を立案する学習システムを提案する。 本研究は, ロボット操作作業における調音, 質量, その他の物理パラメータの同定における, このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-18T16:35:38Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)
• Hindsight States: Blending Sim and Real Task Elements for Efficient Reinforcement Learning [61.3506230781327]
  ロボット工学では、第一原理から導かれた力学モデルに基づくシミュレーションに基づいて、トレーニングデータを生成する方法がある。 ここでは、力学の複雑さの不均衡を利用して、より標本効率のよい学習を行う。 提案手法をいくつかの課題に対して検証し,既存の近視アルゴリズムと組み合わせた場合の学習改善を実証する。
  論文  参考訳（メタデータ） (2023-03-03T21:55:04Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• Robot Learning from Randomized Simulations: A Review [59.992761565399185]
  ディープラーニングがロボティクス研究のパラダイムシフトを引き起こし、大量のデータを必要とする方法が好まれている。 最先端のアプローチは、データ生成が高速かつ安価であるシミュレーションで学ぶ。 本稿では,ランダム化シミュレーションから学習する手法である「領域ランダム化」に焦点をあてる。
  論文  参考訳（メタデータ） (2021-11-01T13:55:41Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。