論文の概要: Empirical Analysis of Sim-and-Real Cotraining Of Diffusion Policies For Planar Pushing from Pixels

• arxiv url: http://arxiv.org/abs/2503.22634v1
• Date: Fri, 28 Mar 2025 17:25:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:28:23.660117
• Title: Empirical Analysis of Sim-and-Real Cotraining Of Diffusion Policies For Planar Pushing from Pixels
• Title（参考訳）: 画素からの平面プッシュのための拡散係数のシミュレート・リアルコトレーニングの実証解析
• Authors: Adam Wei, Abhinav Agarwal, Boyuan Chen, Rohan Bosworth, Nicholas Pfaff, Russ Tedrake,
• Abstract要約: シミュレーションと実際のハードウェアの両方で生成されたデモデータとのコトレーニングは、sim2realギャップを克服するための強力なレシピとして現れている。 シミュレーションデータによってパフォーマンスは向上するが、最終的には高調になる。 意外なことに、視覚的なドメインギャップがあることは、実際にコトレインされたポリシーに役立つ。バイナリプローブは、ハイパフォーマンスなポリシーがシミュレーションされたドメインと実際のドメインを区別することを学習していることを明らかにする。
• 参考スコア（独自算出の注目度）: 18.858676073824515
• License:
• Abstract: In imitation learning for robotics, cotraining with demonstration data generated both in simulation and on real hardware has emerged as a powerful recipe to overcome the sim2real gap. This work seeks to elucidate basic principles of this sim-and-real cotraining to help inform simulation design, sim-and-real dataset creation, and policy training. Focusing narrowly on the canonical task of planar pushing from camera inputs enabled us to be thorough in our study. These experiments confirm that cotraining with simulated data \emph{can} dramatically improve performance in real, especially when real data is limited. Performance gains scale with simulated data, but eventually plateau; real-world data increases this performance ceiling. The results also suggest that reducing the domain gap in physics may be more important than visual fidelity for non-prehensile manipulation tasks. Perhaps surprisingly, having some visual domain gap actually helps the cotrained policy -- binary probes reveal that high-performing policies learn to distinguish simulated domains from real. We conclude by investigating this nuance and mechanisms that facilitate positive transfer between sim-and-real. In total, our experiments span over 40 real-world policies (evaluated on 800+ trials) and 200 simulated policies (evaluated on 40,000+ trials).
• Abstract（参考訳）: ロボット工学の模倣学習では、シミュレーションと実際のハードウェアの両方で生成された実演データとコトレーニングが、sim2realのギャップを克服するための強力なレシピとして登場した。 この研究は、シミュレーション設計、sim-and-realデータセット作成、ポリシートレーニングの通知を支援するために、sim-and-realコトレーニングの基本原則の解明を目指している。 カメラ入力からの平面プッシュの正準タスクに限定して,本研究を徹底的に進めることができた。 これらの実験により、シミュレーションデータ \emph{can} とのコトレーニングにより、特に実データに制限がある場合、実データの性能が劇的に向上することが確認された。 シミュレーションデータによってパフォーマンスは向上するが、最終的には高調になる。 この結果は、非包括的操作タスクの視覚的忠実性よりも、物理学における領域ギャップを減らすことが重要であることを示唆している。 意外なことに、視覚的なドメインギャップがあることは、実際にコトレインされたポリシーに役立つ。バイナリプローブは、ハイパフォーマンスなポリシーがシミュレーションされたドメインと実際のドメインを区別することを学習していることを明らかにする。 我々は、sim-and-real間の正の移動を促進するこのニュアンスとメカニズムを調査することによって結論付ける。 私たちの実験は、実世界の40以上のポリシー(800以上の試験で評価)と200のシミュレートされたポリシー(4万以上の試験で評価)にまたがっています。

関連論文リスト

• Rapidly Adapting Policies to the Real World via Simulation-Guided Fine-Tuning [13.771418136861831]
  物理シミュレーターは、状態、行動、環境を広範囲にカバーした膨大なデータセットを生成することができる。 これらのポリシーを小さな現実世界のデータセットで微調整することは、ロボット学習をスケールするための魅力的な方法だ。 本稿では,シミュレーション誘導ファインチューニング(SGFT)フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2025-02-04T20:40:44Z)
• Overcoming the Sim-to-Real Gap: Leveraging Simulation to Learn to Explore for Real-World RL [25.991354823569033]
  多くの制度において、直接シム2リアルトランスファーは失敗する可能性があるが、シミュレータを使って一連のエフェクト探索ポリシーを学習できることが示される。 特に、低ランクのMDPの設定においては、これらの探索政策と単純で実践的なアプローチが結合していることが示される。 これは、シミュレーション転送が直接sim2real転送が失敗する環境で強化学習において証明可能な利益をもたらすという最初の証拠である。
  論文  参考訳（メタデータ） (2024-10-26T19:12:27Z)
• Are NeRFs ready for autonomous driving? Towards closing the real-to-simulation gap [6.393953433174051]
  本稿では,実際のデータギャップに対処するための新しい視点を提案する。 自律運転環境における実シミュレーションデータギャップの大規模調査を初めて実施する。 シミュレーションデータに対するモデルロバスト性は顕著に向上し,実世界の性能も向上した。
  論文  参考訳（メタデータ） (2024-03-24T11:09:41Z)
• Benchmarking the Sim-to-Real Gap in Cloth Manipulation [10.530012817995656]
  布の操作におけるシム・トゥ・リアルギャップを評価するためのベンチマークデータセットを提案する。 このデータセットを用いて、一般的な4つの変形可能なオブジェクトシミュレータの現実的ギャップ、計算時間、安定性を評価する。
  論文  参考訳（メタデータ） (2023-10-14T09:36:01Z)
• Sim2real Transfer Learning for Point Cloud Segmentation: An Industrial Application Case on Autonomous Disassembly [55.41644538483948]
  我々は,点クラウドデータにsim2realTransfer Learningを用いた産業アプリケーションケースを提案する。 合成ポイントクラウドデータの生成と処理方法に関する洞察を提供する。 この問題に対処するために、パッチベースの新しいアテンションネットワークも提案されている。
  論文  参考訳（メタデータ） (2023-01-12T14:00:37Z)
• Simulation-Based Parallel Training [55.41644538483948]
  このようなボトルネックを緩和するトレーニングフレームワークを設計するために、現在進行中の作業を紹介します。 トレーニングプロセスと並行してデータを生成する。 このバイアスをメモリバッファで軽減する戦略を提案する。
  論文  参考訳（メタデータ） (2022-11-08T09:31:25Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• Practical Imitation Learning in the Real World via Task Consistency Loss [18.827979446629296]
  本稿では,機能レベルと行動予測レベルの両方において,シミュレートと実際のアライメントを促進する自己監督的損失を提案する。 我々は、シミュレートとリアルで遠隔操作されたデモンストレーションを16.2時間しか使っていない10のシーンで80%の成功を達成した。
  論文  参考訳（メタデータ） (2022-02-03T21:43:06Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)
• SimAug: Learning Robust Representations from Simulation for Trajectory Prediction [78.91518036949918]
  本研究では,シミュレーション学習データの拡張により,ロバスト表現を学習する新しい手法を提案する。 我々は,SimAugが実世界の3つのベンチマークで有望な結果を得ることを示す。
  論文  参考訳（メタデータ） (2020-04-04T21:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。