論文の概要: SimFoundry: Modular and Automated Scene Generation for Policy Learning and Evaluation

• arxiv url: http://arxiv.org/abs/2606.28276v1
• Date: Fri, 26 Jun 2026 17:18:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.547101
• Title: SimFoundry: Modular and Automated Scene Generation for Policy Learning and Evaluation
• Title（参考訳）: SimFoundry: 政策学習と評価のためのモジュール的で自動化されたシーン生成
• Abstract要約: SimFoundry(シムファウントリー)は、ビデオから実写シーンをゼロショットで撮影するシステムである。 SimFoundryは、再現された現実世界のシーンをサポートする類似のデジタルツインを生成する。 シミュレーションにおいて、オブジェクト、シーン、タスク従兄弟で訓練されたポリシーは、それぞれ平均タスク成功率を17%、21%、40%改善している。
• 参考スコア（独自算出の注目度）: 43.92931315573574
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Training and evaluating robot policies in the real world is costly and difficult to scale. We introduce SimFoundry, a modular and automated system for zero-shot real-to-sim scene construction from a video. SimFoundry generates sim-ready digital twins and supports object, scene, and task editing, enabling the automated generation of diverse digital cousins: affordance-preserving variations of reconstructed real-world scenes. Policies trained on SimFoundry data transfer zero-shot to challenging real tasks involving multi-step manipulation, articulated object interaction, and bimanual interaction, and its digital cousins (variations of the original scene, objects, and tasks) facilitate generalization to new real-world conditions. Across 7 manipulation tasks and 5 policy architectures, SimFoundry simulation evaluations strongly predict real-world performance, with mean Pearson correlation 0.911 and mean maximum ranking violation 0.018. When evaluating sim-trained policies zero-shot in the real world, policies trained with object, scene, and task cousins in simulation show average task success rate improvements of 17%, 21%, and 40%, respectively. Additional details at https://research.nvidia.com/labs/gear/simfoundry/ .
• Abstract（参考訳）: 現実世界でのロボットポリシーの訓練と評価は、費用がかかり、スケールが難しい。 シムファウントリー(SimFoundry)は、ビデオからのゼロショット実写シーン構築のためのモジュール式で自動化されたシステムである。 SimFoundryはsim-readyデジタルツインを生成し、オブジェクト、シーン、タスク編集をサポートし、さまざまなデジタル従兄弟の自動生成を可能にする。 SimFoundryのデータ転送ゼロショットで訓練されたポリシーは、多段階の操作、明示されたオブジェクトの相互作用、および双方向の相互作用を含む実際のタスクに挑戦し、そのデジタル従兄弟(元のシーン、オブジェクト、タスクのバリエーション)は、新しい現実世界の条件への一般化を促進する。 7つの操作タスクと5つのポリシーアーキテクチャにおいて,SimFoundryシミュレーションはPearson相関平均0.911と平均最大ランキング違反平均0.018で実世界の性能を強く予測する。 実世界のシミュレートされたポリシーをゼロショットで評価すると、オブジェクト、シーン、タスク従兄弟で訓練されたポリシーは、それぞれ17%、21%、40%のタスク成功率の改善を示している。 詳細はhttps://research.nvidia.com/labs/gear/simfoundry/ を参照のこと。

関連論文リスト

• RoboSnap: One-Shot Real-to-Sim Scene Generation for Generalizable Robot Learning and Evaluation [55.07260698542592]
  我々は,1枚のRGB画像をシミュレーション可能なシーンに変換する,リアル・トゥ・シミュレート・フレームワークであるRoboSnapを紹介した。 DROIDシーンと実ロボットタスクの実験は、復元されたシーンでRoboSnapが信頼できる軌道再生を実現することを示している。 DROIDのリアルワールドシーン564から構築したリアル・トゥ・シムデータセットであるDROID-Simを紹介する。
  論文  参考訳（メタデータ） (2026-07-07T18:19:10Z)
• ComSim: Building Scalable Real-World Robot Data Generation via Compositional Simulation [90.4702774169675]
  本稿では,古典シミュレーションとニューラルシミュレーションを組み合わせた合成シミュレーションというハイブリッド手法を提案する。 提案手法では,少数の実世界のデータを活用するクローズドループ・リアル・シモン・リアル・データ拡張パイプラインを利用する。 我々はニューラルシミュレーターをトレーニングし、古典的なシミュレーションビデオを現実世界の表現に変換し、現実の環境で訓練されたポリシーモデルの精度を向上させる。
  論文  参考訳（メタデータ） (2026-04-13T12:25:45Z)
• Real-to-Sim Robot Policy Evaluation with Gaussian Splatting Simulation of Soft-Body Interactions [27.247431258140463]
  本稿では,現実の映像からソフトボディのディジタルツインを構築するための,リアル・トゥ・シミュレート・ポリシー評価フレームワークを提案する。 我々は,ぬいぐるみのパッキング,ロープルーティング,Tブロックプッシュなど,代表的な変形可能な操作タスクに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2025-11-06T18:52:08Z)
• GSWorld: Closed-Loop Photo-Realistic Simulation Suite for Robotic Manipulation [18.684526752120412]
  GSWorldは、3Dガウススプラッティングと物理エンジンを組み合わせたロボット操作のための写真リアルシミュレータだ。 本フレームワークは,実ロボットデータから得られたポリシーを再現可能な評価で評価する操作ポリシーの「ループを閉じる」ことを提唱する。
  論文  参考訳（メタデータ） (2025-10-23T17:59:26Z)
• X-Sim: Cross-Embodiment Learning via Real-to-Sim-to-Real [20.561250366126625]
  X-Simは、ロボットのポリシーを学ぶための、密集した伝達可能な信号としてオブジェクトの動きを利用する、リアルからシミュレート・トゥ・リアルなフレームワークである。 X-Simは、RGBDの人間のビデオからシミュレーションを再構築し、オブジェクト中心の報酬を定義するためにオブジェクトの軌跡を追跡することから始まる。 学習方針は、様々な視点と照明でレンダリングされた合成ロールアウトを用いて、画像調和拡散政策に蒸留される。
  論文  参考訳（メタデータ） (2025-05-11T19:04:00Z)
• Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin [8.498460043101499]
  我々は、シミュレーションを行動クローニングパイプラインに統合するための新しいアプローチである、Real-is-simを導入する。 デプロイ前にポリシーを安全にテストする機能がない実際のメソッドや、sim-to-realメソッドとは対照的に、sim-to-realギャップを横断するために複雑な適応を必要とするsim-to-realメソッドがある。 当社のフレームワークでは,実際のハードウェア上での動作と,並列化された仮想環境での動作とをシームレスに切り替えることが可能です。
  論文  参考訳（メタデータ） (2025-04-04T17:05:56Z)
• Video2Policy: Scaling up Manipulation Tasks in Simulation through Internet Videos [61.925837909969815]
  我々は,インターネット上のRGBビデオを利用して日常の人間行動に基づいてタスクを再構築する新しいフレームワークであるVideo2Policyを紹介した。 本手法は投球のような複雑で困難なタスクを含む,そのようなタスクに対するRLポリシーのトレーニングに成功している。 生成したシミュレーションデータは,一般的なポリシをトレーニングするためにスケールアップ可能であり,Real2Sim2Real方式で実ロボットに転送可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-14T03:22:03Z)
• Local Policies Enable Zero-shot Long-horizon Manipulation [80.1161776000682]
  ManipGenを紹介します。これはsim2real転送のための新しいポリシーのクラスであるローカルポリシーを活用します。 ManipGenは、SayCan、OpenVLA、LLMTrajGen、VoxPoserといったSOTAアプローチを、50の現実世界操作タスクで36%、76%、62%、60%で上回っている。
  論文  参考訳（メタデータ） (2024-10-29T17:59:55Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。