論文の概要: Scan, Materialize, Simulate: A Generalizable Framework for Physically Grounded Robot Planning

• arxiv url: http://arxiv.org/abs/2505.14938v1
• Date: Tue, 20 May 2025 21:55:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 14:49:22.535967
• Title: Scan, Materialize, Simulate: A Generalizable Framework for Physically Grounded Robot Planning
• Title（参考訳）: Scan, Materialize, Simulate: 物理的に接地したロボット計画のための一般化可能なフレームワーク
• Authors: Amine Elhafsi, Daniel Morton, Marco Pavone,
• Abstract要約: Scan, Materialize, Simulate (SMS) は,正確なシーン再構成のための3次元ガウススプラッティング,セマンティックセグメンテーションのための視覚基盤モデル,物質特性推定のための視覚言語モデル,アクション結果の信頼性予測のための物理シミュレーションを組み合わせた統合フレームワークである。 本研究は,シーン再構築のための異種レンダリング,セマンティック理解のための基礎モデル,物理に基づくシミュレーションにより,多様な環境にまたがる物理的基盤を持つロボット計画を実現する可能性を強調した。
• 参考スコア（独自算出の注目度）: 16.193477346643295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autonomous robots must reason about the physical consequences of their actions to operate effectively in unstructured, real-world environments. We present Scan, Materialize, Simulate (SMS), a unified framework that combines 3D Gaussian Splatting for accurate scene reconstruction, visual foundation models for semantic segmentation, vision-language models for material property inference, and physics simulation for reliable prediction of action outcomes. By integrating these components, SMS enables generalizable physical reasoning and object-centric planning without the need to re-learn foundational physical dynamics. We empirically validate SMS in a billiards-inspired manipulation task and a challenging quadrotor landing scenario, demonstrating robust performance on both simulated domain transfer and real-world experiments. Our results highlight the potential of bridging differentiable rendering for scene reconstruction, foundation models for semantic understanding, and physics-based simulation to achieve physically grounded robot planning across diverse settings.
• Abstract（参考訳）: 自律ロボットは、非構造的で現実世界の環境で効果的に動作するために、彼らの行動の物理的結果について推論する必要がある。 Scan, Materialize, Simulate (SMS) は3次元ガウススプラッティングを正確なシーン再構成に組み合わせた統合フレームワークであり, セマンティックセグメンテーションのための視覚基盤モデル, 物質特性推定のための視覚言語モデル, アクション結果の信頼性予測のための物理シミュレーションを提供する。 これらのコンポーネントを統合することで、SMSは基本的な物理力学を再学習することなく、一般化可能な物理的推論とオブジェクト中心の計画を可能にする。 我々は、ビリヤードにインスパイアされた操作タスクと挑戦的な四段着陸シナリオにおいて、SMSを実証的に検証し、シミュレーションされたドメイン転送と実世界の実験の両方において堅牢な性能を示す。 本研究は,シーン再構築のための異種レンダリング,セマンティック理解のための基礎モデル,物理に基づくシミュレーションにより,多様な環境にまたがる物理的基盤を持つロボット計画を実現する可能性を強調した。

関連論文リスト

• Unreal Robotics Lab: A High-Fidelity Robotics Simulator with Advanced Physics and Rendering [4.760567755149477]
  本稿では,Unreal Engineの高度なレンダリング機能とMuJoCoの高精度物理シミュレーションを統合する新しいシミュレーションフレームワークを提案する。 我々のアプローチは、正確な物理的相互作用を維持しながら、現実的なロボット知覚を可能にする。 フレームワーク内のビジュアルナビゲーションとSLAMメソッドをベンチマークし、制御されながら多様なシナリオで実世界のロバスト性をテストするための実用性を実証する。
  論文  参考訳（メタデータ） (2025-04-19T01:54:45Z)
• GausSim: Foreseeing Reality by Gaussian Simulator for Elastic Objects [55.02281855589641]
  GausSimは、ガウスカーネルを通して表現される現実の弾性物体の動的挙動をキャプチャするために設計された、ニューラルネットワークベースの新しいシミュレータである。 我々は連続体力学を活用し、各カーネルを連続体を表すCenter of Mass System (CMS)として扱う。 さらに、ガウスシムは質量や運動量保存のような明示的な物理制約を取り入れ、解釈可能な結果と堅牢で物理的に妥当なシミュレーションを確実にする。
  論文  参考訳（メタデータ） (2024-12-23T18:58:17Z)
• GaussianProperty: Integrating Physical Properties to 3D Gaussians with LMMs [21.3615403516602]
  視覚データに対する物理的特性の推定は、コンピュータビジョン、グラフィックス、ロボット工学において重要な課題である。 教材の物理的特性を3Dガウスアンに割り当てる学習自由フレームワークであるガウスプロパティを紹介する。 物理特性アノテーションを持つ3次元ガウスアンが物理に基づく動的シミュレーションやロボットグルーピングに応用できることを実証する。
  論文  参考訳（メタデータ） (2024-12-15T17:44:10Z)
• URDFormer: A Pipeline for Constructing Articulated Simulation Environments from Real-World Images [39.0780707100513]
  そこで本研究では,実世界の画像からキネマティック構造と動的構造を合成したシミュレーションシーンを生成するエンドツーエンドパイプラインを提案する。 そこで本研究は,大規模シミュレーション環境のためのパイプラインと,ロバストなロボット制御ポリシをトレーニングするための統合システムの両方を提供する。
  論文  参考訳（メタデータ） (2024-05-19T20:01:29Z)
• PhyRecon: Physically Plausible Neural Scene Reconstruction [81.73129450090684]
  PHYRECONは、微分可能なレンダリングと微分可能な物理シミュレーションの両方を利用して暗黙的な表面表現を学習する最初のアプローチである。 この設計の中心は、SDFに基づく暗黙の表現と明示的な表面点の間の効率的な変換である。 また,物理シミュレータの安定性も向上し,全データセットに対して少なくとも40%の改善が得られた。
  論文  参考訳（メタデータ） (2024-04-25T15:06:58Z)
• Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
  本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。 連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。 我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
  論文  参考訳（メタデータ） (2021-11-15T18:50:04Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。