論文の概要: Robot-GST: geometry-aware spatial-temporal robot policy representation and evaluation

• arxiv url: http://arxiv.org/abs/2609.33872v1
• Date: Sun, 27 Sep 2026 19:48:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 16:04:22.563892
• Title: Robot-GST: geometry-aware spatial-temporal robot policy representation and evaluation
• Title（参考訳）: ロボットGST:幾何を考慮した時空間ロボットポリシーの表現と評価
• Abstract要約: 本稿では,実際の政策検証と評価のための幾何対応表現フレームワークを提案する。 提案手法は3次元ガウシアンティングとSAM3Dを用いたRGB-D観測から高忠実なロボット環境を構築する。 我々は,剛性,軟性,変形可能な物体を含む代表的操作タスクに対するアプローチを検証する。
• 参考スコア（独自算出の注目度）: 44.56500874064694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robotic manipulation policies are advancing rapidly with increasing reliance on vision-language models for end-to-end decision making. However, reliable deployment remains challenging because many policies lack explicit mechanisms for predicting task outcomes and evaluating whether generated actions will achieve desired final states, causing execution errors to accumulate during long-horizon manipulation. We present Robot-GST, a geometry-aware spatio-temporal behaviour representation and evaluation framework that constructs a Gaussian-SAM robotic environment for real-to-sim policy verification and improves the reliability of real-world manipulation deployment. Our approach constructs a high-fidelity robotic environment from RGB-D observations using 3D Gaussian Splatting and SAM3D, enabling ``simulation and evaluation before acting''. It integrates visual observations and language instructions with spatio-temporal reasoning for long-horizon task planning using large vision-language models. To bridge high-level planning and real-world execution, we introduce Gaussian-aware final-state estimation through geometric sampling and state-based trajectory planning. Before execution, candidate action sequences are simulated and evaluated in the Gaussian-SAM environment to filter infeasible behaviours. We validate our approach on representative manipulation tasks involving rigid, soft, and deformable objects, including cube placing, toy packing, and duck rearrangement, demonstrating that geometry-aware spatio-temporal reasoning and state-aware execution improve manipulation reliability across different object categories. Our results suggest that combining geometry-aware reconstruction with high-quality rendering and simulation provides a scalable approach for evaluating robotic manipulation behaviours. Website: https://robot-gst.github.io
• Abstract（参考訳）: ロボット操作ポリシーは、エンドツーエンド意思決定のためのビジョン言語モデルへの依存度が高まるにつれて、急速に進歩している。 しかし、多くのポリシーはタスクの結果を予測し、生成されたアクションが望ましい最終状態を達成するかどうかを評価するための明確なメカニズムを欠いているため、信頼性の高いデプロイメントは依然として困難である。 本稿では,ガウス的・SAM型ロボット環境の構築と実世界操作の信頼性向上を目的とした,幾何対応の時空間行動表現・評価フレームワークであるRobot-GSTを提案する。 提案手法は,3次元ガウス散乱とSAM3Dを用いたRGB-D観測から高忠実度ロボット環境を構築し,その「動作前のシミュレーションと評価」を可能にする。 視覚的観察と言語指導と時空間推論を統合し、大きな視覚言語モデルを用いた長期タスク計画を行う。 高レベルな計画と実世界の実行を橋渡しするために,幾何的サンプリングと状態に基づく軌道計画によるガウス的な最終状態推定を導入する。 実行前、候補アクションシーケンスはガウス-SAM環境でシミュレートされ、評価され、実現不可能な振る舞いをフィルタリングする。 我々は,立方体配置,玩具包装,アヒル再配置など,剛性,軟性,変形可能な物体を含む代表的操作タスクに対するアプローチを検証し,幾何学的時空間推論と状態認識実行が,異なる対象カテゴリ間の操作信頼性を向上させることを実証した。 この結果から,幾何認識再構成と高品質なレンダリングとシミュレーションを組み合わせることで,ロボットの操作動作を評価するためのスケーラブルなアプローチが提案されている。 ウェブサイト:https://robot-gst.github.io

関連論文リスト

• Test-Time Spatial Reasoning for Robot Manipulation Using Generative Real-to-Sim [17.704274640664924]
  我々は,超並列物理シミュレーションによる空間的推論を明示的に行う,トレーニング不要なテストタイムフレームワークであるSimifyを紹介した。 シーンの1枚のRGB-D画像から、Simifyは3D生成モデルと視覚言語モデルを活用するシミュレーション可能な資産を再構築する。 実ロボットハードウェア上で定量的な実験を行い、複雑なオブジェクト再構成タスクをエンドツーエンドで実行できることを実証する。
  論文  参考訳（メタデータ） (2026-09-27T22:28:10Z)
• GaussianDream: A Feed-Forward 3D Gaussian World Model for Robotic Manipulation [54.671815855499034]
  視覚言語アクション(VLA)ポリシーは、セマンティック先行をアクション生成に転送することで、言語条件のロボット操作を進化させた。 標準的な行動模倣学習は、しばしば明示的な3次元空間情報、密集した幾何学的監督、将来の環境進化の十分なモデリングを欠いている。 フィードフォワード3Dガウス世界モデルプラグインである textbfGaussianDream を提案する。
  論文  参考訳（メタデータ） (2026-05-20T05:51:30Z)
• Toward Visually Realistic Simulation: A Benchmark for Evaluating Robot Manipulation in Simulation [62.51953630639423]
  既存のベンチマークには視覚的リアリズムがなく、シミュレーションと現実の間に大きな領域ギャップが生じる。 シミュレーションにおけるロボット操作評価のための,視覚的にリアルなベンチマークであるVISERを提案する。 VISERは、物理ベースのレンダリング(PBR)素材を備えた1000以上の3Dアセットの高忠実度データセットと、それらのアセットから作成される3Dシーンを、レイアウトや生成によって構成する。
  論文  参考訳（メタデータ） (2026-05-07T14:13:05Z)
• STARRY: Spatial-Temporal Action-Centric World Modeling for Robotic Manipulation [30.24537271257149]
  STARRYは、空間的時間的予測と行動生成を整合させる世界モデル強化アクションジェネレーションポリシーである。 RoboTwin 2.0では、クリーンでランダムな設定で平均93.82% / 93.30%の成功を達成した。 これらの結果は,ロボット操作の空間的・時間的要求に対する行動中心型時空間世界モデリングの有効性を示す。
  論文  参考訳（メタデータ） (2026-04-29T16:13:39Z)
• Generalizable Geometric Prior and Recurrent Spiking Feature Learning for Humanoid Robot Manipulation [90.90219129619344]
  本稿では,スパイキング機能を備えたR-prior-S, Recurrent Geometric-priormodal Policyを提案する。 物理的現実の高レベル推論を基礎として、軽量な2次元幾何学的帰納バイアスを利用する。 ロボット行動生成におけるデータ効率問題に対して,再帰的適応スパイクネットワークを導入する。
  論文  参考訳（メタデータ） (2026-01-13T23:36:30Z)
• ParaMaP: Parallel Mapping and Collision-free Motion Planning for Reactive Robot Manipulation [17.260700135265267]
  未知の環境でのロボット操作には、リアルタイムおよび衝突のないモーションプランニングが依然として困難である。 本研究では,Euclidean Distance Transform(EDT)に基づく環境表現をサンプリングベースモデル予測制御(SMPC)プランナと密に統合する並列マッピングと動作計画フレームワークを提案する。 提案手法の有効性は, 7-DoFロボットマニピュレータを用いた広範囲なシミュレーションと実世界の実験により検証した。
  論文  参考訳（メタデータ） (2025-12-27T12:24:10Z)
• Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
  シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。 しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。 視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
  論文  参考訳（メタデータ） (2023-07-28T05:47:24Z)
• Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
  本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。 連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。 我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
  論文  参考訳（メタデータ） (2021-11-15T18:50:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。