論文の概要: Empirical Analysis of Sim-and-Real Cotraining of Diffusion Policies for Planar Pushing from Pixels

• arxiv url: http://arxiv.org/abs/2503.22634v2
• Date: Tue, 05 Aug 2025 18:17:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 15:43:08.106678
• Title: Empirical Analysis of Sim-and-Real Cotraining of Diffusion Policies for Planar Pushing from Pixels
• Title（参考訳）: 画素からの平面押出のための拡散係数の同時・実時間協調に関する実証解析
• Authors: Adam Wei, Abhinav Agarwal, Boyuan Chen, Rohan Bosworth, Nicholas Pfaff, Russ Tedrake,
• Abstract要約: シミュレーションと実際のハードウェアの両方で生成された実演データとのコトレーニングが、ロボット工学における模倣学習をスケールするための有望なレシピとして登場した。 この研究は、シミュレーション設計、sim-and-realデータセット作成、ポリシートレーニングを知らせるために、sim-and-realコトレーニングの基本原則を解明することを目指している。
• 参考スコア（独自算出の注目度）: 18.858676073824515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cotraining with demonstration data generated both in simulation and on real hardware has emerged as a promising recipe for scaling imitation learning in robotics. This work seeks to elucidate basic principles of this sim-and-real cotraining to inform simulation design, sim-and-real dataset creation, and policy training. Our experiments confirm that cotraining with simulated data can dramatically improve performance, especially when real data is limited. We show that these performance gains scale with additional simulated data up to a plateau; adding more real-world data increases this performance ceiling. The results also suggest that reducing physical domain gaps may be more impactful than visual fidelity for non-prehensile or contact-rich tasks. Perhaps surprisingly, we find that some visual gap can help cotraining -- binary probes reveal that high-performing policies must learn to distinguish simulated domains from real. We conclude by investigating this nuance and mechanisms that facilitate positive transfer between sim-and-real. Focusing narrowly on the canonical task of planar pushing from pixels allows us to be thorough in our study. In total, our experiments span 50+ real-world policies (evaluated on 1000+ trials) and 250 simulated policies (evaluated on 50,000+ trials). Videos and code can be found at https://sim-and-real-cotraining.github.io/.
• Abstract（参考訳）: シミュレーションと実際のハードウェアの両方で生成された実演データとのコトレーニングが、ロボット工学における模倣学習をスケールするための有望なレシピとして登場した。 この研究は、シミュレーション設計、sim-and-realデータセット作成、ポリシートレーニングを知らせるために、sim-and-realコトレーニングの基本原則を解明することを目指している。 実験の結果,特に実データに制限がある場合,シミュレーションデータとのコトレーニングにより性能が劇的に向上することが確認できた。 これらの性能向上は、シミュレーションデータを追加して高原まで拡大することを示し、実際のデータを追加することで、この性能上限が増大することを示した。 その結果,非包括的タスクやコンタクトリッチタスクの視覚的忠実度よりも,物理的な領域ギャップの低減が影響する可能性が示唆された。 バイナリープローブは、シミュレーションされたドメインと実際のドメインを区別するためにハイパフォーマンスなポリシーを学ばなければならないことを示している。 我々は、sim-and-real間の正の移動を促進するこのニュアンスとメカニズムを調査することによって結論付ける。 ピクセルからの平面プッシュの正準タスクを狭義に焦点を合わせることで,本研究を徹底的に進めることが可能となる。 私たちの実験は、実世界の50以上のポリシー(1000以上のトライアルで評価)と250のシミュレートされたポリシー(50,000以上のトライアルで評価)にまたがっています。 ビデオとコードはhttps://sim-and-real-cotraining.github.io/で見ることができる。

関連論文リスト

• Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin for Real-World Robot Policy Evaluation [8.36634439225698]
  本稿では,動的デジタルツインをポリシー開発パイプライン全体に組み込んだ行動クローニングフレームワークであるReal-is-simを提案する。 我々は、PushT操作タスクにおける実数値を検証し、シミュレータで得られた成功率と実世界の評価との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2025-04-04T17:05:56Z)
• Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation [40.96453435496208]
  本稿では,視覚に基づくロボット操作課題を解決するためにシミュレーションデータを利用する手法を提案する。 ロボットアームとヒューマノイドの2つの領域を用いて,シミュレーションデータにより実世界のタスク性能を平均38%向上させることができることを示した。
  論文  参考訳（メタデータ） (2025-03-31T17:39:38Z)
• Rapidly Adapting Policies to the Real World via Simulation-Guided Fine-Tuning [13.771418136861831]
  物理シミュレーターは、状態、行動、環境を広範囲にカバーした膨大なデータセットを生成することができる。 これらのポリシーを小さな現実世界のデータセットで微調整することは、ロボット学習をスケールするための魅力的な方法だ。 本稿では,シミュレーション誘導ファインチューニング(SGFT)フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2025-02-04T20:40:44Z)
• Overcoming the Sim-to-Real Gap: Leveraging Simulation to Learn to Explore for Real-World RL [25.991354823569033]
  多くの制度において、直接シム2リアルトランスファーは失敗する可能性があるが、シミュレータを使って一連のエフェクト探索ポリシーを学習できることが示される。 特に、低ランクのMDPの設定においては、これらの探索政策と単純で実践的なアプローチが結合していることが示される。 これは、シミュレーション転送が直接sim2real転送が失敗する環境で強化学習において証明可能な利益をもたらすという最初の証拠である。
  論文  参考訳（メタデータ） (2024-10-26T19:12:27Z)
• NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking [65.24988062003096]
  我々は,視覚に基づく運転ポリシーをベンチマークするフレームワークであるNAVSIMを提案する。 我々のシミュレーションは非反応性であり、評価された政策と環境は互いに影響を与えない。 NAVSIMはCVPR 2024で開催され、143チームが433のエントリーを提出し、いくつかの新たな洞察を得た。
  論文  参考訳（メタデータ） (2024-06-21T17:59:02Z)
• Are NeRFs ready for autonomous driving? Towards closing the real-to-simulation gap [6.393953433174051]
  本稿では,実際のデータギャップに対処するための新しい視点を提案する。 自律運転環境における実シミュレーションデータギャップの大規模調査を初めて実施する。 シミュレーションデータに対するモデルロバスト性は顕著に向上し,実世界の性能も向上した。
  論文  参考訳（メタデータ） (2024-03-24T11:09:41Z)
• Benchmarking the Sim-to-Real Gap in Cloth Manipulation [10.530012817995656]
  布の操作におけるシム・トゥ・リアルギャップを評価するためのベンチマークデータセットを提案する。 このデータセットを用いて、一般的な4つの変形可能なオブジェクトシミュレータの現実的ギャップ、計算時間、安定性を評価する。
  論文  参考訳（メタデータ） (2023-10-14T09:36:01Z)
• Sim2real Transfer Learning for Point Cloud Segmentation: An Industrial Application Case on Autonomous Disassembly [55.41644538483948]
  我々は,点クラウドデータにsim2realTransfer Learningを用いた産業アプリケーションケースを提案する。 合成ポイントクラウドデータの生成と処理方法に関する洞察を提供する。 この問題に対処するために、パッチベースの新しいアテンションネットワークも提案されている。
  論文  参考訳（メタデータ） (2023-01-12T14:00:37Z)
• Simulation-Based Parallel Training [55.41644538483948]
  このようなボトルネックを緩和するトレーニングフレームワークを設計するために、現在進行中の作業を紹介します。 トレーニングプロセスと並行してデータを生成する。 このバイアスをメモリバッファで軽減する戦略を提案する。
  論文  参考訳（メタデータ） (2022-11-08T09:31:25Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• DiffCloud: Real-to-Sim from Point Clouds with Differentiable Simulation and Rendering of Deformable Objects [19.435386865144586]
  本稿では,最近のニューラルネットワークアーキテクチャを用いて実点雲からのシミュレーションパラメータ推論を行う方法について述べる。 そこで本研究では,アライメントの実現に要する時間を大幅に短縮するために,異なる点クラウドサンプリングと微分可能なシミュレーションを活用することを提案する。 高度に変形可能なオブジェクトによる実験は、本手法が実際のオブジェクトの振る舞いと同等あるいはより良いアライメントを達成できることを示します。
  論文  参考訳（メタデータ） (2022-04-07T00:45:26Z)
• Practical Imitation Learning in the Real World via Task Consistency Loss [18.827979446629296]
  本稿では,機能レベルと行動予測レベルの両方において,シミュレートと実際のアライメントを促進する自己監督的損失を提案する。 我々は、シミュレートとリアルで遠隔操作されたデモンストレーションを16.2時間しか使っていない10のシーンで80%の成功を達成した。
  論文  参考訳（メタデータ） (2022-02-03T21:43:06Z)
• Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation [98.51313127382937]
  合成ドメインのみにおけるラベルの使用に焦点を当てる。 提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。 マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
  論文  参考訳（メタデータ） (2021-11-15T18:37:43Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)
• SimAug: Learning Robust Representations from Simulation for Trajectory Prediction [78.91518036949918]
  本研究では,シミュレーション学習データの拡張により,ロバスト表現を学習する新しい手法を提案する。 我々は,SimAugが実世界の3つのベンチマークで有望な結果を得ることを示す。
  論文  参考訳（メタデータ） (2020-04-04T21:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。