論文の概要: GSMem: 3D Gaussian Splatting as Persistent Spatial Memory for Zero-Shot Embodied Exploration and Reasoning
- arxiv url: http://arxiv.org/abs/2603.19137v1
- Date: Thu, 19 Mar 2026 16:55:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-20 17:19:06.280001
- Title: GSMem: 3D Gaussian Splatting as Persistent Spatial Memory for Zero-Shot Embodied Exploration and Reasoning
- Title（参考訳）: GSMem:Zero-Shot Embodied Exploration and Reasoningにおける空間記憶としての3次元ガウススプラッティング
- Abstract要約: GSMemは3Dガウススプラッティング(3DGS)上に構築されたゼロショット型探査・推論フレームワーク
連続幾何と密接な外観を明示的にパラメータ化することにより、3DGSは持続的な空間記憶として機能し、エージェントにtextitSpatial Recollection を付与する。
本稿では,VLMによるセマンティックスコアリングと3DGSに基づくカバレッジ目標を組み合わせ,タスク認識探索と幾何学的カバレッジのバランスをとるハイブリッド探索戦略を提案する。
- 参考スコア（独自算出の注目度）: 9.203056739430865
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Effective embodied exploration requires agents to accumulate and retain spatial knowledge over time. However, existing scene representations, such as discrete scene graphs or static view-based snapshots, lack \textit{post-hoc re-observability}. If an initial observation misses a target, the resulting memory omission is often irrecoverable. To bridge this gap, we propose \textbf{GSMem}, a zero-shot embodied exploration and reasoning framework built upon 3D Gaussian Splatting (3DGS). By explicitly parameterizing continuous geometry and dense appearance, 3DGS serves as a persistent spatial memory that endows the agent with \textit{Spatial Recollection}: the ability to render photorealistic novel views from optimal, previously unoccupied viewpoints. To operationalize this, GSMem employs a retrieval mechanism that simultaneously leverages parallel object-level scene graphs and semantic-level language fields. This complementary design robustly localizes target regions, enabling the agent to ``hallucinate'' optimal views for high-fidelity Vision-Language Model (VLM) reasoning. Furthermore, we introduce a hybrid exploration strategy that combines VLM-driven semantic scoring with a 3DGS-based coverage objective, balancing task-aware exploration with geometric coverage. Extensive experiments on embodied question answering and lifelong navigation demonstrate the robustness and effectiveness of our framework
- Abstract（参考訳）: 効果的な具体的探索では、エージェントは時間とともに空間的な知識を蓄積し保持する必要がある。
しかし、離散的なシーングラフや静的ビューベースのスナップショットのような既存のシーン表現には、 \textit{post-hoc re-observability}が欠けている。
初期観測が目標を外れた場合、結果として生じるメモリの欠落はしばしば発見できない。
このギャップを埋めるために、3Dガウススプラッティング(3DGS)上に構築されたゼロショットな探索・推論フレームワークである \textbf{GSMem} を提案する。
連続幾何学と密接な外観を明示的にパラメータ化することにより、3DGSは、エージェントに \textit{Spatial Recollection} を付与する永続的な空間記憶として機能する。
これを運用するために、GSMemは並列オブジェクトレベルのシーングラフとセマンティックレベルの言語フィールドを同時に活用する検索メカニズムを採用している。
この相補的な設計は、ターゲット領域をしっかりとローカライズし、エージェントは高忠実度ビジョン・ランゲージ・モデル(VLM)推論のための 'hallucinate' の最適なビューを作成できる。
さらに,VLMによるセマンティックスコアリングと3DGSに基づくカバレッジ目標を組み合わせ,タスク認識探索と幾何学的カバレッジのバランスをとるハイブリッド探索戦略を導入する。
具体的質問応答と生涯ナビゲーションに関する広範囲にわたる実験は、我々の枠組みの堅牢性と有効性を示している
関連論文リスト
- Beyond 2D Matching: A Unified Single-Stage Framework for Geometry-Aware Cross-View Object Geo-Localization [21.013795754583697]
クロスビューオブジェクトジオローカライゼーション(CVOGL)は、ジオタグ付き参照画像(衛星など)内のクエリビューからターゲットオブジェクトを見つけることを目的としている。
既存のアプローチは2次元の外観マッチングに大きく依存しており、幾何学的メタデータを欠いた限られたデータセットによって制約されている。
まず、22万以上の地上衛星とドローンと衛星のペアからなる大規模で高忠実なビルディングデータセットであるデータセットを紹介します。
変分同変量3D基礎モデル$をベースとした新しい一段階幾何対応ジオローカライゼーションフレームワーク(GAGeo)を提案する。
論文 参考訳（メタデータ） (2026-06-29T17:19:49Z) - S-Agent: Spatial Tool-Use Elicits Reasoning for Spatial Intelligence [77.5121349100339]
textscS-Agentは空間的知覚をフレーム中心の認識を超えたシーン中心の理解に再認識する。
textscS-Agentは、VLMをセマンティックプランナーとしてキャストし、必要な証拠を決定する。
textscS-Agentは、トレーニングのない方法で、オープンソースとクローズドソース両方のVLMを一貫して改善する。
論文 参考訳（メタデータ） (2026-06-18T17:34:55Z) - DGSG-Mind: Dynamic 3D Gaussian Scene Graphs for Long-Term Scene Understanding and Grounding [6.961193964556352]
本稿では,DGSG-Mindについて述べる。DGSG-Mindは3次元ガウス動的シーングラフを具体化したハイブリッドなインスタンス認識型動的シーングラフシステムである。
DGSG-Mindは自己再構成マップ上で動作させる手法の中で最高のゼロショット3DVG性能が得られることを示す。
また、現実のロボットにDGSG-Mindを配置し、ターゲット指向の推論と動的更新機能を示す。
論文 参考訳（メタデータ） (2026-05-28T13:04:17Z) - Sparse View Distractor-Free Gaussian Splatting [31.812029183156245]
3D Gaussian Splatting (3DGS) は静的環境における効率的なトレーニングと高速な新しいビューを実現する。
そこで本稿では,よりリッチな事前情報を組み込むことにより,スパースビュー条件下でのイントラクタフリーな3DGSを実現するフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-02T08:32:32Z) - 3DGSNav: Enhancing Vision-Language Model Reasoning for Object Navigation via Active 3D Gaussian Splatting [12.057873540714098]
3DGSNavは、3D Gaussian Splatting (3DGS)を視覚言語モデル(VLM)の永続メモリとして組み込んで空間推論を強化する新しいフレームワークである。
3DGSNavは環境の3DGS表現を段階的に構築し、フロンティア対応のファーストパーソンビューの軌跡誘導自由視点レンダリングを可能にする。
ナビゲーション中、リアルタイムオブジェクト検出器が潜在的なターゲットをフィルタリングし、VLM駆動のアクティブな視点スイッチングがターゲットを再検証する。
論文 参考訳（メタデータ） (2026-02-12T16:41:26Z) - GaussExplorer: 3D Gaussian Splatting for Embodied Exploration and Reasoning [55.826192239140596]
GaussExplorerは3D Gaussian Splatting(3DGS)上に構築されたボディード探索と推論のためのフレームワークである
3DGS上に視覚言語モデル(VLM)を導入し、3Dシーン内で質問駆動探索と推論を可能にする。
論文 参考訳（メタデータ） (2026-01-19T15:17:58Z) - ObjectGS: Object-aware Scene Reconstruction and Scene Understanding via Gaussian Splatting [54.92763171355442]
ObjectGSは3Dシーンをセマンティックな理解と統合するオブジェクト認識フレームワークである。
我々はObjectGSがオープンボキャブラリやパン光学のセグメンテーションタスクにおいて最先端の手法より優れていることを示す実験を通して示す。
論文 参考訳（メタデータ） (2025-07-21T10:06:23Z) - Move to Understand a 3D Scene: Bridging Visual Grounding and Exploration for Efficient and Versatile Embodied Navigation [54.04601077224252]
身近なシーン理解には、視覚空間情報の理解だけでなく、3D物理世界における次の探索場所の決定も必要である。
アンダーラインテキストbf3D視覚言語学習は、エンボディエージェントが環境を効果的に探索し理解することを可能にする。
モデルの汎用性は、カテゴリ、言語記述、参照イメージなど、多様な入力モダリティを使ったナビゲーションを可能にする。
論文 参考訳（メタデータ） (2025-07-05T14:15:52Z) - 3D-Mem: 3D Scene Memory for Embodied Exploration and Reasoning [65.40458559619303]
エンボディエージェントのための新しい3Dシーンメモリフレームワークである3D-Memを提案する。
3D-Memは、シーンを表現するために、Memory Snapshotsと呼ばれる情報的なマルチビューイメージを使用している。
さらに、Frontier Snapshots-glimpsの未探索領域対応エージェントを導入して、情報的な意思決定を行うことによって、フロンティアベースの探索をさらに統合する。
論文 参考訳（メタデータ） (2024-11-23T09:57:43Z) - HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。
我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。
提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
論文 参考訳（メタデータ） (2024-03-19T13:39:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。