論文の概要: Agentic RSR: Real-to-Sim-to-Real through Scene Reconstruction and Execution-Grounded Robot Policies

• arxiv url: http://arxiv.org/abs/2610.10479v2
• Date: Sun, 11 Oct 2026 15:02:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-14 23:39:49.595504
• Title: Agentic RSR: Real-to-Sim-to-Real through Scene Reconstruction and Execution-Grounded Robot Policies
• Title（参考訳）: エージェントRSR:シーン再構築と実行型ロボットポリシー
• Abstract要約: Agentic Real-to-Sim-to-Realは、シーン再構築、ポリシー開発、リアルロボット実行をリンクするフレームワークである。 共有タスクレベルのインタフェースは、ポリシーと蓄積された経験を実際のロボットに伝達し、新鮮な観察と安全チェックがガイド実行をチェックする。 実ロボット実験では、シミュレーションタスク成功率の80%に達し、ハードウェア上でのシミュレーションパフォーマンスの相当な保持を示す。
• 参考スコア（独自算出の注目度）: 30.386726797060508
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A simulation of a real robot workspace must preserve task-relevant interactions, while policies developed in it must operate on observations available to the real robot. Yet scene reconstruction and policy development are often treated separately. We present Agentic Real-to-Sim-to-Real (Agentic RSR), a framework that links scene reconstruction, policy development, and real-robot execution through the same manipulation task. Given a workspace video, a task description, and a known robot model, an agent recovers metric scale, iteratively refines the scene using visual feedback, and checks task-relevant interactions in MuJoCo. A coding agent then develops an executable policy, progressing from privileged object poses to visual observations and randomized simulation. The policy can interleave multiple observations and actions within one invocation, while the agent uses execution feedback to continue, retry, or revise its approach. A shared task-level interface carries the policy and accumulated experience to the real robot, where fresh observations and safety checks guide execution. Using Claude Opus 5.5 through DeepSeek Harness (DSH), all 18 scenes across two robots pass the joint visual check; mean four-view Depth MAE against reference depth estimates is 0.0808 m, mean Lab $ΔE_{76}$ is 8.01, and mean grayscale SSIM is 0.7338. In real-robot experiments, the aggregate task success rate reaches 80% of the simulation task success rate, indicating substantial retention of simulated performance on hardware. Code and reconstructed scene data will be made publicly available.
• Abstract（参考訳）: 実際のロボット作業空間のシミュレーションはタスク関連相互作用を保たなければならないが、それで開発されたポリシーは実際のロボットに利用可能な観察に基づいて動作する必要がある。 しかし、シーンの再構築と政策開発は、しばしば別々に扱われる。 我々は、シーン再構築、ポリシー開発、および実際のロボット実行を同じ操作タスクで結びつけるフレームワークであるAgentic Real-to-Sim-to-Real(Agentic RSR)を提案する。 ワークスペースビデオ、タスク記述、既知のロボットモデルが与えられたエージェントは、メトリックスケールを回復し、視覚フィードバックを使用してシーンを反復的に洗練し、MuJoCo内のタスク関連インタラクションをチェックする。 次に、符号化エージェントが実行可能なポリシーを開発し、特権オブジェクトから視覚的な観察とランダム化されたシミュレーションにポーズする。 ポリシーは、1つの呼び出し内で複数の観察とアクションをインターリーブし、エージェントは実行フィードバックを使用してアプローチを継続、再試行、または修正する。 共有タスクレベルのインタフェースは、ポリシーと蓄積された経験を実際のロボットに伝達し、新鮮な観察と安全チェックがガイド実行をチェックする。 Claude Opus 5.5 から DeepSeek Harness (DSH) を使用すれば、2つのロボットの18シーンが共同視覚検査に合格し、参照深度推定に対する4ビューの深度MAEは0.0808m、 Lab $ΔE_{76}$は8.01、グレースケールのSSIMは0.7338である。 実ロボット実験では, シミュレーションタスク成功率の80%に達し, ハードウェア上でのシミュレーション性能の保持率を示す。 コードと再構築されたシーンデータは公開されます。

関連論文リスト

• ARSTAG: An Agentic Real2Sim2Real System for Task-Specific Robot Data Generation [8.905569408078067]
  ARSTAGはエージェント的なReal2Sim2Realシステムで、単一のRGBイメージと自然言語命令を直接ロボットポリシー学習データに変換する。 本稿では,1つのRGBイメージと自然言語命令を直接ロボットポリシー学習データに変換するエージェント型Real2Sim2RealシステムARSTAGを提案する。
  論文  参考訳（メタデータ） (2026-09-21T13:25:05Z)
• RoboSnap: One-Shot Real-to-Sim Scene Generation for Generalizable Robot Learning and Evaluation [55.07260698542592]
  我々は,1枚のRGB画像をシミュレーション可能なシーンに変換する,リアル・トゥ・シミュレート・フレームワークであるRoboSnapを紹介した。 DROIDシーンと実ロボットタスクの実験は、復元されたシーンでRoboSnapが信頼できる軌道再生を実現することを示している。 DROIDのリアルワールドシーン564から構築したリアル・トゥ・シムデータセットであるDROID-Simを紹介する。
  論文  参考訳（メタデータ） (2026-07-07T18:19:10Z)
• RoboDojo: A Unified Sim-and-Real Benchmark for Comprehensive Evaluation of Generalist Robot Manipulation Policies [121.35821705538768]
  汎用的なロボット操作ポリシーは急速に進歩しているが、既存のベンチマークは、その能力を体系的に評価することに制限されている。 本稿では,汎用ロボット操作ポリシーの総合的な評価のための統一型sim-and-realベンチマークであるRoboDojoを紹介する。 RoboDojoには42のシミュレーションタスクと18の現実世界タスクが含まれており、多様な補完的な操作機能を備えている。
  論文  参考訳（メタデータ） (2026-07-05T17:58:02Z)
• SimFoundry: Modular and Automated Scene Generation for Policy Learning and Evaluation [43.92931315573574]
  SimFoundry(シムファウントリー)は、ビデオから実写シーンをゼロショットで撮影するシステムである。 SimFoundryは、再現された現実世界のシーンをサポートする類似のデジタルツインを生成する。 シミュレーションにおいて、オブジェクト、シーン、タスク従兄弟で訓練されたポリシーは、それぞれ平均タスク成功率を17%、21%、40%改善している。
  論文  参考訳（メタデータ） (2026-06-26T17:18:43Z)
• Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin [8.498460043101499]
  我々は、シミュレーションを行動クローニングパイプラインに統合するための新しいアプローチである、Real-is-simを導入する。 デプロイ前にポリシーを安全にテストする機能がない実際のメソッドや、sim-to-realメソッドとは対照的に、sim-to-realギャップを横断するために複雑な適応を必要とするsim-to-realメソッドがある。 当社のフレームワークでは,実際のハードウェア上での動作と,並列化された仮想環境での動作とをシームレスに切り替えることが可能です。
  論文  参考訳（メタデータ） (2025-04-04T17:05:56Z)
• Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
  シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。 しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。 視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
  論文  参考訳（メタデータ） (2023-07-28T05:47:24Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。