論文の概要: Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin for Real-World Robot Policy Evaluation

• arxiv url: http://arxiv.org/abs/2504.03597v1
• Date: Fri, 04 Apr 2025 17:05:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 16:01:23.085131
• Title: Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin for Real-World Robot Policy Evaluation
• Title（参考訳）: Real-is-Sim: 実世界ロボット政策評価のための動的デジタルツインを用いたSim-to-Realギャップのブリッジ
• Authors: Jad Abou-Chakra, Lingfeng Sun, Krishan Rana, Brandon May, Karl Schmeckpeper, Maria Vittoria Minniti, Laura Herlant,
• Abstract要約: 本稿では,動的デジタルツインをポリシー開発パイプライン全体に組み込んだ行動クローニングフレームワークであるReal-is-simを提案する。 我々は、PushT操作タスクにおける実数値を検証し、シミュレータで得られた成功率と実世界の評価との間に強い相関関係を示す。
• 参考スコア（独自算出の注目度）: 8.36634439225698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in behavior cloning have enabled robots to perform complex manipulation tasks. However, accurately assessing training performance remains challenging, particularly for real-world applications, as behavior cloning losses often correlate poorly with actual task success. Consequently, researchers resort to success rate metrics derived from costly and time-consuming real-world evaluations, making the identification of optimal policies and detection of overfitting or underfitting impractical. To address these issues, we propose real-is-sim, a novel behavior cloning framework that incorporates a dynamic digital twin (based on Embodied Gaussians) throughout the entire policy development pipeline: data collection, training, and deployment. By continuously aligning the simulated world with the physical world, demonstrations can be collected in the real world with states extracted from the simulator. The simulator enables flexible state representations by rendering image inputs from any viewpoint or extracting low-level state information from objects embodied within the scene. During training, policies can be directly evaluated within the simulator in an offline and highly parallelizable manner. Finally, during deployment, policies are run within the simulator where the real robot directly tracks the simulated robot's joints, effectively decoupling policy execution from real hardware and mitigating traditional domain-transfer challenges. We validate real-is-sim on the PushT manipulation task, demonstrating strong correlation between success rates obtained in the simulator and real-world evaluations. Videos of our system can be found at https://realissim.rai-inst.com.
• Abstract（参考訳）: 近年の行動クローニングの進歩により、ロボットは複雑な操作を行えるようになった。 しかし、特に実世界のアプリケーションでは、動作のクローン化損失が実際のタスク成功と相関しにくいため、トレーニングパフォーマンスを正確に評価することは依然として困難である。 その結果、研究者は、コストと時間を要する実世界の評価から得られた成功率の指標を活用し、最適なポリシーの特定と過度な適合や不適合の検出を可能にした。 これらの問題に対処するため、我々は、データ収集、トレーニング、デプロイメントというポリシー開発パイプライン全体を通して、動的デジタルツイン(Embodied Gaussianに基づく)を組み込んだ、新しい行動クローニングフレームワークであるReal-is-simを提案する。 シミュレーションされた世界を物理世界と連続的に整列させることにより、シミュレータから抽出された状態とともに実世界でデモを収集することができる。 シミュレータは、任意の視点から画像入力をレンダリングしたり、シーン内に具現化されたオブジェクトから低レベル状態情報を抽出することで、フレキシブルな状態表現を可能にする。 トレーニング中、ポリシーはオフラインかつ高度に並列化可能な方法でシミュレータ内で直接評価することができる。 最後に、実際のロボットがシミュレーションされたロボットの関節を直接追跡し、実際のハードウェアからポリシー実行を効果的に分離し、従来のドメイン転送課題を緩和するシミュレータ内でポリシーが実行される。 我々は、PushT操作タスクにおける実数値を検証し、シミュレータで得られた成功率と実世界の評価との間に強い相関関係を示す。 私たちのシステムのビデオはhttps://realissim.rai-inst.com.comで見ることができる。

関連論文リスト

• X-Sim: Cross-Embodiment Learning via Real-to-Sim-to-Real [13.644777529832291]
  X-Simは、ロボットのポリシーを学ぶための、密集した伝達可能な信号としてオブジェクトの動きを利用する、リアルからシミュレート・トゥ・リアルなフレームワークである。 X-Simは、RGBDの人間のビデオからシミュレーションを再構築し、オブジェクト中心の報酬を定義するためにオブジェクトの軌跡を追跡することから始まる。 学習方針は、様々な視点と照明でレンダリングされた合成ロールアウトを用いて、画像調和拡散政策に蒸留される。
  論文  参考訳（メタデータ） (2025-05-11T19:04:00Z)
• Empirical Analysis of Sim-and-Real Cotraining Of Diffusion Policies For Planar Pushing from Pixels [18.858676073824515]
  シミュレーションと実際のハードウェアの両方で生成されたデモデータとのコトレーニングは、sim2realギャップを克服するための強力なレシピとして現れている。 シミュレーションデータによってパフォーマンスは向上するが、最終的には高調になる。 意外なことに、視覚的なドメインギャップがあることは、実際にコトレインされたポリシーに役立つ。バイナリプローブは、ハイパフォーマンスなポリシーがシミュレーションされたドメインと実際のドメインを区別することを学習していることを明らかにする。
  論文  参考訳（メタデータ） (2025-03-28T17:25:57Z)
• Dynamics as Prompts: In-Context Learning for Sim-to-Real System Identifications [23.94013806312391]
  そこで本研究では,テキスト内学習を用いてシミュレーション環境パラメータを動的に調整する手法を提案する。 オブジェクトスクーピングとテーブルエアホッケーという2つのタスクにまたがるアプローチを検証する。 提案手法は,ロボットの動的現実シナリオへの展開を推し進め,効率的かつスムーズなシステム識別を実現する。
  論文  参考訳（メタデータ） (2024-10-27T07:13:38Z)
• Overcoming the Sim-to-Real Gap: Leveraging Simulation to Learn to Explore for Real-World RL [25.991354823569033]
  多くの制度において、直接シム2リアルトランスファーは失敗する可能性があるが、シミュレータを使って一連のエフェクト探索ポリシーを学習できることが示される。 特に、低ランクのMDPの設定においては、これらの探索政策と単純で実践的なアプローチが結合していることが示される。 これは、シミュレーション転送が直接sim2real転送が失敗する環境で強化学習において証明可能な利益をもたらすという最初の証拠である。
  論文  参考訳（メタデータ） (2024-10-26T19:12:27Z)
• EAGERx: Graph-Based Framework for Sim2real Robot Learning [9.145895178276822]
  Sim2realは、シミュレーションから現実世界への学習制御ポリシーの移行であり、ロボット工学への関心が高まりつつある分野である。 EAGERxは,実際のロボット学習とシミュレーションロボット学習の両方に統一されたソフトウェアパイプラインを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-05T08:01:19Z)
• TRANSIC: Sim-to-Real Policy Transfer by Learning from Online Correction [25.36756787147331]
  シミュレーションの学習と実世界への学習は、ジェネラリストロボットを可能にする可能性がある。 そこで本研究では,Human-in-the-loopフレームワークをベースとしたSIM-to-real転送を実現するためのデータ駆動型手法を提案する。 本手法は,家具組立などの複雑かつ接触に富んだ操作作業において,シミュレートから現実への伝達を成功させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-16T17:59:07Z)
• Evaluating Real-World Robot Manipulation Policies in Simulation [91.55267186958892]
  実環境と模擬環境の制御と視覚的格差は、信頼性のある模擬評価の鍵となる課題である。 実環境に完全忠実なデジタル双生児を作らなくても、これらのギャップを軽減できる手法を提案する。 シミュレーション環境の集合体であるSIMPLERを作成した。
  論文  参考訳（メタデータ） (2024-05-09T17:30:16Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)
• Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
  シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。 しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。 視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
  論文  参考訳（メタデータ） (2023-07-28T05:47:24Z)
• Sim-to-Real via Sim-to-Seg: End-to-end Off-road Autonomous Driving Without Real Data [56.49494318285391]
  我々は、オフロード自動運転の視覚的現実的ギャップを横断するRCANを再想像するSim2Segを紹介する。 これは、ランダム化されたシミュレーション画像をシミュレートされたセグメンテーションと深さマップに変換する学習によって行われる。 これにより、シミュレーションでエンドツーエンドのRLポリシーをトレーニングし、現実世界に直接デプロイできます。
  論文  参考訳（メタデータ） (2022-10-25T17:50:36Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• Practical Imitation Learning in the Real World via Task Consistency Loss [18.827979446629296]
  本稿では,機能レベルと行動予測レベルの両方において,シミュレートと実際のアライメントを促進する自己監督的損失を提案する。 我々は、シミュレートとリアルで遠隔操作されたデモンストレーションを16.2時間しか使っていない10のシーンで80%の成功を達成した。
  論文  参考訳（メタデータ） (2022-02-03T21:43:06Z)
• TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
  リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。 特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。 TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
  論文  参考訳（メタデータ） (2021-01-17T00:29:30Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。