論文の概要: Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin

• arxiv url: http://arxiv.org/abs/2504.03597v2
• Date: Wed, 02 Jul 2025 03:27:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:57.248509
• Title: Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin
• Title（参考訳）: リアル・イズ・シム:ダイナミック・デジタル・ツインによるシム・トゥ・リアルギャップのブリッジ
• Authors: Jad Abou-Chakra, Lingfeng Sun, Krishan Rana, Brandon May, Karl Schmeckpeper, Niko Suenderhauf, Maria Vittoria Minniti, Laura Herlant,
• Abstract要約: 我々は、シミュレーションを行動クローニングパイプラインに統合するための新しいアプローチである、Real-is-simを導入する。 デプロイ前にポリシーを安全にテストする機能がない実際のメソッドや、sim-to-realメソッドとは対照的に、sim-to-realギャップを横断するために複雑な適応を必要とするsim-to-realメソッドがある。 当社のフレームワークでは,実際のハードウェア上での動作と,並列化された仮想環境での動作とをシームレスに切り替えることが可能です。
• 参考スコア（独自算出の注目度）: 8.498460043101499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce real-is-sim, a new approach to integrating simulation into behavior cloning pipelines. In contrast to real-only methods, which lack the ability to safely test policies before deployment, and sim-to-real methods, which require complex adaptation to cross the sim-to-real gap, our framework allows policies to seamlessly switch between running on real hardware and running in parallelized virtual environments. At the center of real-is-sim is a dynamic digital twin, powered by the Embodied Gaussian simulator, that synchronizes with the real world at 60Hz. This twin acts as a mediator between the behavior cloning policy and the real robot. Policies are trained using representations derived from simulator states and always act on the simulated robot, never the real one. During deployment, the real robot simply follows the simulated robot's joint states, and the simulation is continuously corrected with real world measurements. This setup, where the simulator drives all policy execution and maintains real-time synchronization with the physical world, shifts the responsibility of crossing the sim-to-real gap to the digital twin's synchronization mechanisms, instead of the policy itself. We demonstrate real-is-sim on a long-horizon manipulation task (PushT), showing that virtual evaluations are consistent with real-world results. We further show how real-world data can be augmented with virtual rollouts and compare to policies trained on different representations derived from the simulator state including object poses and rendered images from both static and robot-mounted cameras. Our results highlight the flexibility of the real-is-sim framework across training, evaluation, and deployment stages. Videos available at https://real-is-sim.github.io.
• Abstract（参考訳）: 我々は、シミュレーションを行動クローニングパイプラインに統合するための新しいアプローチである、Real-is-simを導入する。 デプロイ前にポリシーを安全にテストする機能やsim-to-realメソッド、sim-to-realのギャップを横断するために複雑な適応を必要とする、リアルオンリーのメソッドとは対照的に、我々のフレームワークは、実際のハードウェア上での動作と並列化された仮想環境での動作とのシームレスな切り替えを可能にする。 Embodied Gaussianシミュレータ(Embodied Gaussianシミュレーター)によって駆動され、60Hzで現実世界と同期する。 この双子は、行動クローニングポリシーと実際のロボットの間の仲介者として機能する。 ポリシーはシミュレータの状態から派生した表現を使って訓練され、常にシミュレーションされたロボットに作用する。 デプロイ中、実際のロボットは単にシミュレーションされたロボットの関節状態に従うだけで、シミュレーションは実世界の計測によって継続的に修正される。 このセットアップでは、シミュレータがすべてのポリシーの実行を駆動し、物理世界とのリアルタイム同期を維持することで、シミュレート・トゥ・リアルギャップを、ポリシー自体ではなくデジタルツインの同期メカニズムに渡す責任を移す。 本研究では,PushT(Long-Horizon Operation Task)において,仮想評価が実世界の結果と一致していることを示す。 さらに、仮想ロールアウトで現実世界のデータをどのように拡張できるかを示し、静的カメラとロボット搭載カメラの両方のオブジェクトポーズやレンダリング画像を含む、シミュレータ状態から派生したさまざまな表現に基づいて訓練されたポリシーと比較する。 私たちの結果は、トレーニング、評価、デプロイメントの段階にわたって、実際のis-simフレームワークの柔軟性を強調します。 ビデオはhttps://real-is-sim.github.io.comで公開されている。

関連論文リスト

• X-Sim: Cross-Embodiment Learning via Real-to-Sim-to-Real [13.644777529832291]
  X-Simは、ロボットのポリシーを学ぶための、密集した伝達可能な信号としてオブジェクトの動きを利用する、リアルからシミュレート・トゥ・リアルなフレームワークである。 X-Simは、RGBDの人間のビデオからシミュレーションを再構築し、オブジェクト中心の報酬を定義するためにオブジェクトの軌跡を追跡することから始まる。 学習方針は、様々な視点と照明でレンダリングされた合成ロールアウトを用いて、画像調和拡散政策に蒸留される。
  論文  参考訳（メタデータ） (2025-05-11T19:04:00Z)
• Empirical Analysis of Sim-and-Real Cotraining Of Diffusion Policies For Planar Pushing from Pixels [18.858676073824515]
  シミュレーションと実際のハードウェアの両方で生成されたデモデータとのコトレーニングは、sim2realギャップを克服するための強力なレシピとして現れている。 シミュレーションデータによってパフォーマンスは向上するが、最終的には高調になる。 意外なことに、視覚的なドメインギャップがあることは、実際にコトレインされたポリシーに役立つ。バイナリプローブは、ハイパフォーマンスなポリシーがシミュレーションされたドメインと実際のドメインを区別することを学習していることを明らかにする。
  論文  参考訳（メタデータ） (2025-03-28T17:25:57Z)
• Dynamics as Prompts: In-Context Learning for Sim-to-Real System Identifications [23.94013806312391]
  そこで本研究では,テキスト内学習を用いてシミュレーション環境パラメータを動的に調整する手法を提案する。 オブジェクトスクーピングとテーブルエアホッケーという2つのタスクにまたがるアプローチを検証する。 提案手法は,ロボットの動的現実シナリオへの展開を推し進め,効率的かつスムーズなシステム識別を実現する。
  論文  参考訳（メタデータ） (2024-10-27T07:13:38Z)
• Overcoming the Sim-to-Real Gap: Leveraging Simulation to Learn to Explore for Real-World RL [25.991354823569033]
  多くの制度において、直接シム2リアルトランスファーは失敗する可能性があるが、シミュレータを使って一連のエフェクト探索ポリシーを学習できることが示される。 特に、低ランクのMDPの設定においては、これらの探索政策と単純で実践的なアプローチが結合していることが示される。 これは、シミュレーション転送が直接sim2real転送が失敗する環境で強化学習において証明可能な利益をもたらすという最初の証拠である。
  論文  参考訳（メタデータ） (2024-10-26T19:12:27Z)
• EAGERx: Graph-Based Framework for Sim2real Robot Learning [9.145895178276822]
  Sim2realは、シミュレーションから現実世界への学習制御ポリシーの移行であり、ロボット工学への関心が高まりつつある分野である。 EAGERxは,実際のロボット学習とシミュレーションロボット学習の両方に統一されたソフトウェアパイプラインを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-05T08:01:19Z)
• TRANSIC: Sim-to-Real Policy Transfer by Learning from Online Correction [25.36756787147331]
  シミュレーションの学習と実世界への学習は、ジェネラリストロボットを可能にする可能性がある。 そこで本研究では,Human-in-the-loopフレームワークをベースとしたSIM-to-real転送を実現するためのデータ駆動型手法を提案する。 本手法は,家具組立などの複雑かつ接触に富んだ操作作業において,シミュレートから現実への伝達を成功させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-16T17:59:07Z)
• Evaluating Real-World Robot Manipulation Policies in Simulation [91.55267186958892]
  実環境と模擬環境の制御と視覚的格差は、信頼性のある模擬評価の鍵となる課題である。 実環境に完全忠実なデジタル双生児を作らなくても、これらのギャップを軽減できる手法を提案する。 シミュレーション環境の集合体であるSIMPLERを作成した。
  論文  参考訳（メタデータ） (2024-05-09T17:30:16Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)
• Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
  シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。 しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。 視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
  論文  参考訳（メタデータ） (2023-07-28T05:47:24Z)
• Sim-to-Real via Sim-to-Seg: End-to-end Off-road Autonomous Driving Without Real Data [56.49494318285391]
  我々は、オフロード自動運転の視覚的現実的ギャップを横断するRCANを再想像するSim2Segを紹介する。 これは、ランダム化されたシミュレーション画像をシミュレートされたセグメンテーションと深さマップに変換する学習によって行われる。 これにより、シミュレーションでエンドツーエンドのRLポリシーをトレーニングし、現実世界に直接デプロイできます。
  論文  参考訳（メタデータ） (2022-10-25T17:50:36Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• Practical Imitation Learning in the Real World via Task Consistency Loss [18.827979446629296]
  本稿では,機能レベルと行動予測レベルの両方において,シミュレートと実際のアライメントを促進する自己監督的損失を提案する。 我々は、シミュレートとリアルで遠隔操作されたデモンストレーションを16.2時間しか使っていない10のシーンで80%の成功を達成した。
  論文  参考訳（メタデータ） (2022-02-03T21:43:06Z)
• TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
  リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。 特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。 TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
  論文  参考訳（メタデータ） (2021-01-17T00:29:30Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。