論文の概要: Test-Time Spatial Reasoning for Robot Manipulation Using Generative Real-to-Sim
- arxiv url: http://arxiv.org/abs/2609.33982v1
- Date: Sun, 27 Sep 2026 22:28:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 08:06:50.916902
- Title: Test-Time Spatial Reasoning for Robot Manipulation Using Generative Real-to-Sim
- Title（参考訳）: 生成実空間を用いたロボットマニピュレーションのためのテスト時間空間推論
- Abstract要約: 我々は,超並列物理シミュレーションによる空間的推論を明示的に行う,トレーニング不要なテストタイムフレームワークであるSimifyを紹介した。
シーンの1枚のRGB-D画像から、Simifyは3D生成モデルと視覚言語モデルを活用するシミュレーション可能な資産を再構築する。
実ロボットハードウェア上で定量的な実験を行い、複雑なオブジェクト再構成タスクをエンドツーエンドで実行できることを実証する。
- 参考スコア（独自算出の注目度）: 17.704274640664924
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spatial reasoning is fundamental to general robot intelligence, as it enables robots to complete long-horizon tasks involving multi-object interaction. We introduce Simify, a training-free, test-time framework that performs explicit spatial reasoning via massively parallel physics simulation. From a single RGB-D image of a scene, Simify reconstructs simulation-ready assets leveraging 3D generative models and vision-language models. Then given a task specified by a reward function (e.g., build the tallest tower), Simify launches thousands of parallel rollouts in simulation and performs an evolutionary search to optimize object arrangements, typically converging within seconds. We conduct quantitative experiments on real-robot hardware to demonstrate the ability of our framework to execute complex object rearrangement tasks end-to-end with previously unseen objects. Results show that our framework outperforms prior work on foundation models for spatial reasoning by effectively exploiting large-scale parallel simulation during inference, and also highlight the importance of complete and accurate geometry for successful sim-to-real transfer.
- Abstract（参考訳）: 空間推論は、ロボットが多目的インタラクションを含む長距離タスクを完了できるようにするため、一般的なロボットインテリジェンスの基本となる。
我々は,超並列物理シミュレーションによる空間的推論を明示的に行う,トレーニング不要なテストタイムフレームワークであるSimifyを紹介した。
シーンの1枚のRGB-D画像から、Simifyは3D生成モデルと視覚言語モデルを活用するシミュレーション可能な資産を再構築する。
次に、報酬関数によって指定されたタスク(例えば、最も高いタワーを構築する)を与えられたSimifyは、シミュレーション中に何千もの並列ロールアウトを起動し、オブジェクトの配置を最適化するための進化的探索を実行する。
実ロボットハードウェア上で定量的な実験を行い、これまでに見つからなかったオブジェクトで複雑なオブジェクト配置タスクをエンドツーエンドで実行できることを実証する。
提案手法は,推論中に大規模並列シミュレーションを効果的に活用することにより,空間推論のための基礎モデルに関する先行研究よりも優れており,シミュレート・トゥ・リアル・トランスファーを成功させるための完全かつ正確な幾何学の重要性を強調している。
関連論文リスト
- Robot-GST: geometry-aware spatial-temporal robot policy representation and evaluation [44.56500874064694]
本稿では,実際の政策検証と評価のための幾何対応表現フレームワークを提案する。
提案手法は3次元ガウシアンティングとSAM3Dを用いたRGB-D観測から高忠実なロボット環境を構築する。
我々は,剛性,軟性,変形可能な物体を含む代表的操作タスクに対するアプローチを検証する。
論文 参考訳（メタデータ） (2026-09-27T19:48:57Z) - OASIS: From Simulation Data Collection to Real-World Humanoid Loco-Manipulation [51.37436817948304]
OASISはヒューマノイドのロコ操作のためのシミュレーションデータ駆動のフレームワークである。
3次元生成モデルを用いて実世界の画像から現実的なオブジェクト資産を再構築する。
ゼロショットデプロイメントでは、実際のロボット遠隔操作データでトレーニングされたタスクよりも、ほとんどのタスクで高い成功率を達成する。
論文 参考訳（メタデータ） (2026-06-07T10:01:53Z) - Toward Visually Realistic Simulation: A Benchmark for Evaluating Robot Manipulation in Simulation [62.51953630639423]
既存のベンチマークには視覚的リアリズムがなく、シミュレーションと現実の間に大きな領域ギャップが生じる。
シミュレーションにおけるロボット操作評価のための,視覚的にリアルなベンチマークであるVISERを提案する。
VISERは、物理ベースのレンダリング(PBR)素材を備えた1000以上の3Dアセットの高忠実度データセットと、それらのアセットから作成される3Dシーンを、レイアウトや生成によって構成する。
論文 参考訳（メタデータ） (2026-05-07T14:13:05Z) - URDF-Anything+: Autoregressive Articulated 3D Models Generation for Physical Simulation [45.4820195450296]
本稿では,視覚的観察から実行可能なオブジェクトモデルを直接生成する,エンドツーエンドの自動回帰フレームワークを提案する。
視覚的観察から構築された高忠実度デジタル双生児は、シミュレーションで訓練されたポリシーを、オンライン適応なしで実際のロボットに転送することができる。
論文 参考訳（メタデータ） (2026-03-14T16:23:44Z) - D-REX: Differentiable Real-to-Sim-to-Real Engine for Learning Dexterous Grasping [66.22412592525369]
本稿では,ガウスのSplat表現を生かした実--sim-to-realエンジンを導入し,実-sim-to-realエンジンについて述べる。
提案エンジンは, 各種物体の形状と質量値のマス識別において, 高精度かつロバストな性能を実現していることを示す。
これらの最適化された質量値は、力覚的なポリシー学習を促進し、オブジェクトの把握において優れた、高いパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-03-01T15:32:04Z) - Real2Sim based on Active Perception with automatically VLM-generated Behavior Trees [41.21672421530866]
本稿では,タスク固有の物理的インタラクションのための行動木を自律的に生成・実行するReal2Simフレームワークを提案する。
高レベルのユーザ要求、不完全なシミュレーション記述、シーンのRGB観察が与えられた場合、視覚言語モデルは、関連するオブジェクトを特定するためのマルチモーダル推論を実行する。
結果の挙動はトルク制御されたフランカ・エミカ・パンダ上で実行され、パラメータ推定に適合し、接触に富んだ相互作用を可能にする。
論文 参考訳（メタデータ） (2026-01-13T11:28:46Z) - RoboPearls: Editable Video Simulation for Robot Manipulation [81.18434338506621]
RoboPearlsは、ロボット操作のための編集可能なビデオシミュレーションフレームワークである。
3D Gaussian Splatting (3DGS)に基づいて構築されたRoboPearlsは、フォトリアリスティックでビュー一貫性のあるシミュレーションの構築を可能にする。
我々は、RLBench、COLOSSEUM、Ego4D、Open X-Embodiment、現実世界のロボットなど、複数のデータセットやシーンで広範な実験を行う。
論文 参考訳（メタデータ） (2025-06-28T05:03:31Z) - Is Single-View Mesh Reconstruction Ready for Robotics? [78.14584238127338]
本研究では,ロボット操作のための物理シミュレータを用いたリアルタイム計画と動的予測のためのディジタル双対生成の実現の可能性について,単一ビューメッシュ再構成モデルの評価を行った。
我々の研究は、コンピュータビジョンの進歩とロボティクスの必要性の間に重要なギャップがあることを浮き彫りにし、この交差点における将来の研究を導く。
論文 参考訳（メタデータ） (2025-05-23T14:35:56Z) - Scan, Materialize, Simulate: A Generalizable Framework for Physically Grounded Robot Planning [16.193477346643295]
Scan, Materialize, Simulate (SMS) は,正確なシーン再構成のための3次元ガウススプラッティング,セマンティックセグメンテーションのための視覚基盤モデル,物質特性推定のための視覚言語モデル,アクション結果の信頼性予測のための物理シミュレーションを組み合わせた統合フレームワークである。
本研究は,シーン再構築のための異種レンダリング,セマンティック理解のための基礎モデル,物理に基づくシミュレーションにより,多様な環境にまたがる物理的基盤を持つロボット計画を実現する可能性を強調した。
論文 参考訳（メタデータ） (2025-05-20T21:55:01Z) - Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial
Observability in Visual Navigation [62.22058066456076]
強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。
RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。
本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
論文 参考訳（メタデータ） (2020-07-27T17:46:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。