論文の概要: EmbodieDreamer: Advancing Real2Sim2Real Transfer for Policy Training via Embodied World Modeling

• arxiv url: http://arxiv.org/abs/2507.05198v1
• Date: Mon, 07 Jul 2025 16:58:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.529235
• Title: EmbodieDreamer: Advancing Real2Sim2Real Transfer for Policy Training via Embodied World Modeling
• Title（参考訳）: EmbodieDreamer:Embodied World Modelingによる政策トレーニングのためのReal2Sim2Real Transferの促進
• Authors: Boyuan Wang, Xinpan Meng, Xiaofeng Wang, Zheng Zhu, Angen Ye, Yang Wang, Zhiqin Yang, Chaojun Ni, Guan Huang, Xingang Wang,
• Abstract要約: EmbodieDreamerは、Real2Sim2Realのギャップを物理と外観の両方の観点から減らす新しいフレームワークである。 具体的には、Real2Sim物理ギャップを低減するために設計された微分可能な物理モジュールであるPhysAlignerを提案する。 さらに、条件付きビデオ拡散モデルを用いて、Sim2Realの外観ギャップを埋めるVisAlignerを導入する。
• 参考スコア（独自算出の注目度）: 30.706647962741826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid advancement of Embodied AI has led to an increasing demand for large-scale, high-quality real-world data. However, collecting such embodied data remains costly and inefficient. As a result, simulation environments have become a crucial surrogate for training robot policies. Yet, the significant Real2Sim2Real gap remains a critical bottleneck, particularly in terms of physical dynamics and visual appearance. To address this challenge, we propose EmbodieDreamer, a novel framework that reduces the Real2Sim2Real gap from both the physics and appearance perspectives. Specifically, we propose PhysAligner, a differentiable physics module designed to reduce the Real2Sim physical gap. It jointly optimizes robot-specific parameters such as control gains and friction coefficients to better align simulated dynamics with real-world observations. In addition, we introduce VisAligner, which incorporates a conditional video diffusion model to bridge the Sim2Real appearance gap by translating low-fidelity simulated renderings into photorealistic videos conditioned on simulation states, enabling high-fidelity visual transfer. Extensive experiments validate the effectiveness of EmbodieDreamer. The proposed PhysAligner reduces physical parameter estimation error by 3.74% compared to simulated annealing methods while improving optimization speed by 89.91\%. Moreover, training robot policies in the generated photorealistic environment leads to a 29.17% improvement in the average task success rate across real-world tasks after reinforcement learning. Code, model and data will be publicly available.
• Abstract（参考訳）: Embodied AIの急速な進歩により、大規模で高品質な現実世界データへの需要が高まっている。 しかし、そのような具体的データの収集は費用がかかり非効率である。 その結果,シミュレーション環境はロボット政策のトレーニングにおいて重要な代理となっている。 しかし、Real2Sim2Realの大きなギャップは、特に物理力学と視覚的外観において、重要なボトルネックのままである。 この課題に対処するために,物理と外観の両方の観点からReal2Sim2Realギャップを低減する新しいフレームワークであるEmbodieDreamerを提案する。 具体的には、Real2Sim物理ギャップを低減するために設計された微分可能な物理モジュールであるPhysAlignerを提案する。 制御ゲインや摩擦係数などのロボット固有のパラメータを協調的に最適化し、シミュレーションされたダイナミクスと実世界の観測をより良く整合させる。 さらに、VisAlignerを導入し、シム2Realの外観ギャップを埋めるために条件付きビデオ拡散モデルを導入し、低忠実度シミュレートされたレンダリングをシミュレーション状態に条件付けされたフォトリアリスティックビデオに変換することにより、高忠実度映像転送を可能にする。 大規模な実験は、EmbodieDreamerの有効性を検証する。 提案したPhysAlignerは、シミュレーションアニール法と比較して物理パラメータ推定誤差を3.74%削減し、最適化速度を89.91\%改善した。 さらに、生成したフォトリアリスティック環境におけるロボットポリシーのトレーニングは、強化学習後の実世界のタスクの平均タスク成功率を29.17%向上させる。 コード、モデル、データは公開されます。

関連論文リスト

• Hybrid Neural-MPM for Interactive Fluid Simulations in Real-Time [57.30651532625017]
  本稿では,数値シミュレーション,神経物理,生成制御を統合した新しいハイブリッド手法を提案する。 本システムでは, 多様な2D/3Dシナリオ, 材料タイプ, 障害物相互作用における堅牢な性能を示す。 受け入れ次第、モデルとデータの両方をリリースすることを約束します。
  論文  参考訳（メタデータ） (2025-05-25T01:27:18Z)
• Unreal Robotics Lab: A High-Fidelity Robotics Simulator with Advanced Physics and Rendering [4.760567755149477]
  本稿では,Unreal Engineの高度なレンダリング機能とMuJoCoの高精度物理シミュレーションを統合する新しいシミュレーションフレームワークを提案する。 我々のアプローチは、正確な物理的相互作用を維持しながら、現実的なロボット知覚を可能にする。 フレームワーク内のビジュアルナビゲーションとSLAMメソッドをベンチマークし、制御されながら多様なシナリオで実世界のロバスト性をテストするための実用性を実証する。
  論文  参考訳（メタデータ） (2025-04-19T01:54:45Z)
• Vid2Sim: Realistic and Interactive Simulation from Video for Urban Navigation [62.5805866419814]
  Vid2Simは、ニューラル3Dシーンの再構築とシミュレーションのためのスケーラブルで費用効率のよいReal2simパイプラインを通じてsim2realギャップをブリッジする新しいフレームワークである。 実験により、Vid2Simはデジタル双生児と現実世界の都市ナビゲーションの性能を31.2%、成功率68.3%で大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-01-12T03:01:15Z)
• Dynamics as Prompts: In-Context Learning for Sim-to-Real System Identifications [23.94013806312391]
  そこで本研究では,テキスト内学習を用いてシミュレーション環境パラメータを動的に調整する手法を提案する。 オブジェクトスクーピングとテーブルエアホッケーという2つのタスクにまたがるアプローチを検証する。 提案手法は,ロボットの動的現実シナリオへの展開を推し進め,効率的かつスムーズなシステム識別を実現する。
  論文  参考訳（メタデータ） (2024-10-27T07:13:38Z)
• DrEureka: Language Model Guided Sim-To-Real Transfer [64.14314476811806]
  シミュレーションで学んだ政策を現実世界に伝達することは、ロボットのスキルを大規模に獲得する上で有望な戦略である。 本稿では,Large Language Models (LLMs) を用いてシム・トゥ・リアル設計の自動化と高速化を行う。 本手法では,ヨガボールの上を歩行する四足歩行や四足歩行など,新しいロボットタスクを解くことができる。
  論文  参考訳（メタデータ） (2024-06-04T04:53:05Z)
• DiffuseBot: Breeding Soft Robots With Physics-Augmented Generative Diffusion Models [102.13968267347553]
  本稿では,様々なタスクにおいて優れたソフトロボット形態を生成する物理拡張拡散モデルであるDiffuseBotを提案する。 我々は、その能力とともに、シミュレーションされた、そして製造された様々なロボットを紹介します。
  論文  参考訳（メタデータ） (2023-11-28T18:58:48Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。