論文の概要: Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2503.24361v2
• Date: Wed, 02 Apr 2025 16:40:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:32:13.814049
• Title: Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation
• Title（参考訳）: Sim-and-Real Co-Training:視覚に基づくロボットマニピュレーションのための簡単なレシピ
• Abstract要約: 本稿では,視覚に基づくロボット操作課題を解決するためにシミュレーションデータを利用する手法を提案する。 ロボットアームとヒューマノイドの2つの領域を用いて,シミュレーションデータにより実世界のタスク性能を平均38%向上させることができることを示した。
• 参考スコア（独自算出の注目度）: 40.96453435496208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large real-world robot datasets hold great potential to train generalist robot models, but scaling real-world human data collection is time-consuming and resource-intensive. Simulation has great potential in supplementing large-scale data, especially with recent advances in generative AI and automated data generation tools that enable scalable creation of robot behavior datasets. However, training a policy solely in simulation and transferring it to the real world often demands substantial human effort to bridge the reality gap. A compelling alternative is to co-train the policy on a mixture of simulation and real-world datasets. Preliminary studies have recently shown this strategy to substantially improve the performance of a policy over one trained on a limited amount of real-world data. Nonetheless, the community lacks a systematic understanding of sim-and-real co-training and what it takes to reap the benefits of simulation data for real-robot learning. This work presents a simple yet effective recipe for utilizing simulation data to solve vision-based robotic manipulation tasks. We derive this recipe from comprehensive experiments that validate the co-training strategy on various simulation and real-world datasets. Using two domains--a robot arm and a humanoid--across diverse tasks, we demonstrate that simulation data can enhance real-world task performance by an average of 38%, even with notable differences between the simulation and real-world data. Videos and additional results can be found at https://co-training.github.io/
• Abstract（参考訳）: 大規模な現実世界のロボットデータセットは、一般的なロボットモデルを訓練する大きな可能性を秘めている。 シミュレーションは、特に、ロボットの振る舞いデータセットのスケーラブルな作成を可能にする、生成AIと自動データ生成ツールの最近の進歩によって、大規模なデータを補完する大きな可能性を秘めている。 しかし、シミュレーションのみで政策を訓練し、現実の世界に移すには、現実のギャップを埋めるためにかなりの人的努力が必要になることが多い。 魅力的な代替手段は、シミュレーションと実世界のデータセットの混合に関するポリシーを共同トレーニングすることである。 予備研究は、この戦略を、限られた実世界のデータに基づいて訓練された政策よりも大幅に改善することを示してきた。 それにもかかわらず、コミュニティはsim-and-realコトレーニングの体系的な理解に欠けており、実際のロボット学習のためのシミュレーションデータの利点を享受するのに何が必要かは分かっていない。 本研究は、視覚に基づくロボット操作タスクを解決するためにシミュレーションデータを利用するための、シンプルで効果的なレシピを提案する。 このレシピは、様々なシミュレーションや実世界のデータセット上での協調学習戦略を検証する包括的な実験から導かれる。 ロボットアームとヒューマノイドの2つの領域を用いて,シミュレーションデータにより実世界のタスク性能を平均38%向上させることができることを示した。 ビデオと追加結果はhttps://co-training.github.io/で見ることができる。

関連論文リスト

• OASIS: From Simulation Data Collection to Real-World Humanoid Loco-Manipulation [51.37436817948304]
  OASISはヒューマノイドのロコ操作のためのシミュレーションデータ駆動のフレームワークである。 3次元生成モデルを用いて実世界の画像から現実的なオブジェクト資産を再構築する。 ゼロショットデプロイメントでは、実際のロボット遠隔操作データでトレーニングされたタスクよりも、ほとんどのタスクで高い成功率を達成する。
  論文  参考訳（メタデータ） (2026-06-07T10:01:53Z)
• SIMPLE: Simulation-Based Policy Learning and Evaluation for Humanoid Loco-manipulation [33.50539650112054]
  本稿では,ヒューマノイド政策学習と評価のための統一シミュレーションであるSIMPLEを提案する。 SIMPLEは、MuJoCoの正確な接触リッチなダイナミクスとIsaacSimのレンダリングを結合する。 60の多様なボディタスク、50の屋内シーン、1000以上のオブジェクトアセットからなる大規模な環境を提供する。
  論文  参考訳（メタデータ） (2026-06-06T17:55:43Z)
• ComSim: Building Scalable Real-World Robot Data Generation via Compositional Simulation [90.4702774169675]
  本稿では,古典シミュレーションとニューラルシミュレーションを組み合わせた合成シミュレーションというハイブリッド手法を提案する。 提案手法では,少数の実世界のデータを活用するクローズドループ・リアル・シモン・リアル・データ拡張パイプラインを利用する。 我々はニューラルシミュレーターをトレーニングし、古典的なシミュレーションビデオを現実世界の表現に変換し、現実の環境で訓練されたポリシーモデルの精度を向上させる。
  論文  参考訳（メタデータ） (2026-04-13T12:25:45Z)
• SoftMimicGen: A Data Generation System for Scalable Robot Learning in Deformable Object Manipulation [45.71119158785489]
  我々は、変形可能なオブジェクト操作タスクのための自動データ生成パイプラインであるSoftMimicGenを紹介する。 本稿では,多種多様な変形可能な物体を含む高忠実度シミュレーション環境について紹介する。 我々はSoftMimicGenを適用し、タスクスイート全体にわたってデータセットを生成し、データからハイパフォーマンスなポリシーをトレーニングし、データ生成システムを体系的に分析する。
  論文  参考訳（メタデータ） (2026-03-26T17:58:40Z)
• D-REX: Differentiable Real-to-Sim-to-Real Engine for Learning Dexterous Grasping [66.22412592525369]
  本稿では,ガウスのSplat表現を生かした実--sim-to-realエンジンを導入し,実-sim-to-realエンジンについて述べる。 提案エンジンは, 各種物体の形状と質量値のマス識別において, 高精度かつロバストな性能を実現していることを示す。 これらの最適化された質量値は、力覚的なポリシー学習を促進し、オブジェクトの把握において優れた、高いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-01T15:32:04Z)
• Sim-and-Human Co-training for Data-Efficient and Generalizable Robotic Manipulation [113.13282853889818]
  SimHumは、シミュレーションされたロボット行動と実世界の人間の観察から視覚的事前を同時に抽出するフレームワークである。 2つの相補的前提に基づき、実世界のタスクにおいて、データ効率と一般化可能なロボット操作を実現する。
  論文  参考訳（メタデータ） (2026-01-27T09:41:28Z)
• PolaRiS: Scalable Real-to-Sim Evaluations for Generalist Robot Policies [88.78188489161028]
  シミュレーションにおける政策評価と環境復元(PolaRiS)の導入 PolaRiSは、高忠実度シミュレーションロボット評価のためのスケーラブルなリアルタイム・シミュレート・フレームワークである。 PolaRiSの評価は,既存のシミュレーションベンチマークよりも,現実のジェネラリストのポリシー性能に強い相関関係があることが示されている。
  論文  参考訳（メタデータ） (2025-12-18T18:49:41Z)
• Empirical Analysis of Sim-and-Real Cotraining Of Diffusion Policies For Planar Pushing from Pixels [18.858676073824515]
  シミュレーションと実際のハードウェアの両方で生成されたデモデータとのコトレーニングは、sim2realギャップを克服するための強力なレシピとして現れている。 シミュレーションデータによってパフォーマンスは向上するが、最終的には高調になる。 意外なことに、視覚的なドメインギャップがあることは、実際にコトレインされたポリシーに役立つ。バイナリプローブは、ハイパフォーマンスなポリシーがシミュレーションされたドメインと実際のドメインを区別することを学習していることを明らかにする。
  論文  参考訳（メタデータ） (2025-03-28T17:25:57Z)
• Robot Learning with Super-Linear Scaling [20.730206708381704]
  CASHERは、データ収集と学習をシミュレーションでスケールアップするためのパイプラインであり、パフォーマンスは人間の努力と超直線的にスケールする。 そこで我々は,CASHERにより,人的努力を伴わないビデオスキャンにより,事前学習したポリシーを目標シナリオに微調整できることを示す。
  論文  参考訳（メタデータ） (2024-12-02T18:12:02Z)
• So You Think You Can Scale Up Autonomous Robot Data Collection? [22.7035324720716]
  強化学習(RL)には、自律的なデータ収集を可能にするという約束がある。 環境設計と計測に要する多大な労力のために、現実世界でのスケーリングは依然として困難である。 イミテーション・ラーニング (IL) の手法は環境設計の努力をほとんど必要とせず、人的監督を必要とする。
  論文  参考訳（メタデータ） (2024-11-04T05:31:35Z)
• VITAL: Interactive Few-Shot Imitation Learning via Visual Human-in-the-Loop Corrections [10.49712834719005]
  イミテーション・ラーニング(IL)はロボット工学において強力なアプローチとして登場し、ロボットは人間の行動を模倣することで新しいスキルを身につけることができる。 その可能性にもかかわらず、ILのデータ収集プロセスは、ロジスティックな困難と高品質なデモンストレーションの獲得に伴う高コストのため、依然として重要な課題である。 本稿では,シミュレーションにおけるデータ拡張を通じて,少数の実演から大規模データ生成を提案する。
  論文  参考訳（メタデータ） (2024-07-30T23:29:47Z)
• ASID: Active Exploration for System Identification in Robotic Manipulation [32.27299045059514]
  本稿では,少数の実世界のデータを活用して,シミュレーションモデルを自律的に洗練し,正確な制御戦略を立案する学習システムを提案する。 本研究は, ロボット操作作業における調音, 質量, その他の物理パラメータの同定における, このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-18T16:35:38Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)
• Hindsight States: Blending Sim and Real Task Elements for Efficient Reinforcement Learning [61.3506230781327]
  ロボット工学では、第一原理から導かれた力学モデルに基づくシミュレーションに基づいて、トレーニングデータを生成する方法がある。 ここでは、力学の複雑さの不均衡を利用して、より標本効率のよい学習を行う。 提案手法をいくつかの課題に対して検証し,既存の近視アルゴリズムと組み合わせた場合の学習改善を実証する。
  論文  参考訳（メタデータ） (2023-03-03T21:55:04Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• Robot Learning from Randomized Simulations: A Review [59.992761565399185]
  ディープラーニングがロボティクス研究のパラダイムシフトを引き起こし、大量のデータを必要とする方法が好まれている。 最先端のアプローチは、データ生成が高速かつ安価であるシミュレーションで学ぶ。 本稿では,ランダム化シミュレーションから学習する手法である「領域ランダム化」に焦点をあてる。
  論文  参考訳（メタデータ） (2021-11-01T13:55:41Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。