論文の概要: Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin

• arxiv url: http://arxiv.org/abs/2504.03597v2
• Date: Wed, 02 Jul 2025 03:27:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:57.248509
• Title: Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin
• Title（参考訳）: リアル・イズ・シム:ダイナミック・デジタル・ツインによるシム・トゥ・リアルギャップのブリッジ
• Authors: Jad Abou-Chakra, Lingfeng Sun, Krishan Rana, Brandon May, Karl Schmeckpeper, Niko Suenderhauf, Maria Vittoria Minniti, Laura Herlant,
• Abstract要約: 我々は、シミュレーションを行動クローニングパイプラインに統合するための新しいアプローチである、Real-is-simを導入する。 デプロイ前にポリシーを安全にテストする機能がない実際のメソッドや、sim-to-realメソッドとは対照的に、sim-to-realギャップを横断するために複雑な適応を必要とするsim-to-realメソッドがある。 当社のフレームワークでは,実際のハードウェア上での動作と,並列化された仮想環境での動作とをシームレスに切り替えることが可能です。
• 参考スコア（独自算出の注目度）: 8.498460043101499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce real-is-sim, a new approach to integrating simulation into behavior cloning pipelines. In contrast to real-only methods, which lack the ability to safely test policies before deployment, and sim-to-real methods, which require complex adaptation to cross the sim-to-real gap, our framework allows policies to seamlessly switch between running on real hardware and running in parallelized virtual environments. At the center of real-is-sim is a dynamic digital twin, powered by the Embodied Gaussian simulator, that synchronizes with the real world at 60Hz. This twin acts as a mediator between the behavior cloning policy and the real robot. Policies are trained using representations derived from simulator states and always act on the simulated robot, never the real one. During deployment, the real robot simply follows the simulated robot's joint states, and the simulation is continuously corrected with real world measurements. This setup, where the simulator drives all policy execution and maintains real-time synchronization with the physical world, shifts the responsibility of crossing the sim-to-real gap to the digital twin's synchronization mechanisms, instead of the policy itself. We demonstrate real-is-sim on a long-horizon manipulation task (PushT), showing that virtual evaluations are consistent with real-world results. We further show how real-world data can be augmented with virtual rollouts and compare to policies trained on different representations derived from the simulator state including object poses and rendered images from both static and robot-mounted cameras. Our results highlight the flexibility of the real-is-sim framework across training, evaluation, and deployment stages. Videos available at https://real-is-sim.github.io.
• Abstract（参考訳）: 我々は、シミュレーションを行動クローニングパイプラインに統合するための新しいアプローチである、Real-is-simを導入する。 デプロイ前にポリシーを安全にテストする機能やsim-to-realメソッド、sim-to-realのギャップを横断するために複雑な適応を必要とする、リアルオンリーのメソッドとは対照的に、我々のフレームワークは、実際のハードウェア上での動作と並列化された仮想環境での動作とのシームレスな切り替えを可能にする。 Embodied Gaussianシミュレータ(Embodied Gaussianシミュレーター)によって駆動され、60Hzで現実世界と同期する。 この双子は、行動クローニングポリシーと実際のロボットの間の仲介者として機能する。 ポリシーはシミュレータの状態から派生した表現を使って訓練され、常にシミュレーションされたロボットに作用する。 デプロイ中、実際のロボットは単にシミュレーションされたロボットの関節状態に従うだけで、シミュレーションは実世界の計測によって継続的に修正される。 このセットアップでは、シミュレータがすべてのポリシーの実行を駆動し、物理世界とのリアルタイム同期を維持することで、シミュレート・トゥ・リアルギャップを、ポリシー自体ではなくデジタルツインの同期メカニズムに渡す責任を移す。 本研究では,PushT(Long-Horizon Operation Task)において,仮想評価が実世界の結果と一致していることを示す。 さらに、仮想ロールアウトで現実世界のデータをどのように拡張できるかを示し、静的カメラとロボット搭載カメラの両方のオブジェクトポーズやレンダリング画像を含む、シミュレータ状態から派生したさまざまな表現に基づいて訓練されたポリシーと比較する。 私たちの結果は、トレーニング、評価、デプロイメントの段階にわたって、実際のis-simフレームワークの柔軟性を強調します。 ビデオはhttps://real-is-sim.github.io.comで公開されている。

関連論文リスト

• Empirical Analysis of Sim-and-Real Cotraining Of Diffusion Policies For Planar Pushing from Pixels [18.858676073824515]
  シミュレーションと実際のハードウェアの両方で生成されたデモデータとのコトレーニングは、sim2realギャップを克服するための強力なレシピとして現れている。 シミュレーションデータによってパフォーマンスは向上するが、最終的には高調になる。 意外なことに、視覚的なドメインギャップがあることは、実際にコトレインされたポリシーに役立つ。バイナリプローブは、ハイパフォーマンスなポリシーがシミュレーションされたドメインと実際のドメインを区別することを学習していることを明らかにする。
  論文  参考訳（メタデータ） (2025-03-28T17:25:57Z)
• Overcoming the Sim-to-Real Gap: Leveraging Simulation to Learn to Explore for Real-World RL [25.991354823569033]
  多くの制度において、直接シム2リアルトランスファーは失敗する可能性があるが、シミュレータを使って一連のエフェクト探索ポリシーを学習できることが示される。 特に、低ランクのMDPの設定においては、これらの探索政策と単純で実践的なアプローチが結合していることが示される。 これは、シミュレーション転送が直接sim2real転送が失敗する環境で強化学習において証明可能な利益をもたらすという最初の証拠である。
  論文  参考訳（メタデータ） (2024-10-26T19:12:27Z)
• Evaluating Real-World Robot Manipulation Policies in Simulation [91.55267186958892]
  実環境と模擬環境の制御と視覚的格差は、信頼性のある模擬評価の鍵となる課題である。 実環境に完全忠実なデジタル双生児を作らなくても、これらのギャップを軽減できる手法を提案する。 シミュレーション環境の集合体であるSIMPLERを作成した。
  論文  参考訳（メタデータ） (2024-05-09T17:30:16Z)
• Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
  シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。 しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。 視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
  論文  参考訳（メタデータ） (2023-07-28T05:47:24Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• Practical Imitation Learning in the Real World via Task Consistency Loss [18.827979446629296]
  本稿では,機能レベルと行動予測レベルの両方において,シミュレートと実際のアライメントを促進する自己監督的損失を提案する。 我々は、シミュレートとリアルで遠隔操作されたデモンストレーションを16.2時間しか使っていない10のシーンで80%の成功を達成した。
  論文  参考訳（メタデータ） (2022-02-03T21:43:06Z)
• TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
  リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。 特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。 TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
  論文  参考訳（メタデータ） (2021-01-17T00:29:30Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。