論文の概要: Gaussian Episodic Memory for Long-Term Spatiotemporal Reasoning
- arxiv url: http://arxiv.org/abs/2610.33158v1
- Date: Fri, 23 Oct 2026 18:00:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.261362
- Title: Gaussian Episodic Memory for Long-Term Spatiotemporal Reasoning
- Title(参考訳): 長期時空間推論におけるガウスのエピソード記憶
- Abstract要約: 既存のロボットの記憶は、構造化されたかイメージベースの表現に依存している。
本稿では,永続時間3DGSマップとエージェントパイプラインを組み合わせたGEMSを紹介する。
GEMSは,シーン更新,3次元オブジェクトグラウンド,時間的質問応答,記憶効率において,新規な合成品質を評価する。
- 参考スコア(独自算出の注目度): 1.013462469644215
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world environments undergo continual semi-static changes, requiring a memory representation that captures both the spatial and temporal evolution of a scene. Existing spatio-temporal memories for robots typically rely either on structured representations, which are limited to the entities and attributes captured during construction, or on image-based memories, which are constrained to previously observed viewpoints. We introduce GEMS, a framework that combines a persistent spatio-temporal 3D Gaussian Splatting (3DGS) map with an agentic reasoning pipeline. The 3DGS map is reconstructed once and subsequently updated only in regions where the scene changes, storing only these modifications while preserving visual detail across time. The agentic pipeline leverages this map to render novel views on demand, iteratively accumulating evidence to answer spatio-temporal questions and ground objects from natural-language queries. To advance future research, we introduce GEMS-Bench, a spatiotemporal question-answering benchmark focused on semi-static environments. It comprises 3 real-world and 12 synthetic environments, spanning 473 question-answer pairs. We evaluate GEMS on novel-view synthesis quality across scene updates, 3D object grounding, spatiotemporal question answering, and storage efficiency. GEMS outperforms recent baselines in 3D object grounding and spatiotemporal question answering, while achieving rendering quality on par with dedicated scene-update methods. Code and data: https://abwerby.github.io/GEMS/
- Abstract(参考訳): 実世界の環境は、連続的な半静的な変化を受け、シーンの空間的および時間的進化をキャプチャするメモリ表現を必要とする。
既存のロボットの時空間記憶は、通常、構築中にキャプチャーされた実体や属性に限られる構造化された表現や、以前に観察された視点に制約された画像ベースの記憶に依存する。
GEMSは,時空間3次元ガウススプラッティング(3DGS)マップとエージェント推論パイプラインを組み合わせたフレームワークである。
3DGSマップは一度再構築され、その後、シーンが変化する地域でのみ更新される。
エージェントパイプラインは、このマップを利用して、需要に関する新しいビューを描画し、反復的にエビデンスを蓄積し、時空間的な質問に回答し、自然言語クエリからグラウンドオブジェクトを抽出する。
今後の研究を進めるために,半静的環境に着目した時空間質問応答ベンチマークであるGEMS-Benchを紹介する。
3つの現実世界と12の合成環境から構成され、473の質問応答対にまたがる。
GEMSは,シーン更新,3次元オブジェクトグラウンド,時空間質問応答,記憶効率など,新規な視点合成品質について評価した。
GEMSは、3Dオブジェクトの接地や時空間質問応答において最近のベースラインよりも優れており、専用のシーン更新手法と同等のレンダリング品質を実現している。
コードとデータ:https://abwerby.github.io/GEMS/
関連論文リスト
- Beyond Episodic Evaluation: Memory Architectural Bottlenecks in Sequential Embodied Question Answering [93.80043825360514]
EQA(Embodied Question answering)は、伝統的にエピソードの定式化の下で評価され、エージェントは各タスクを独立して解決し、エピソード間の内部状態をリセットする。
EQAエージェントを逐次評価する際に異なるメモリアーキテクチャがどのように振る舞うかを検討する。
既存のメモリを単純に保存することは、しばしば不十分である。
連続したシーン表現の視覚的意味的証拠を3次元幾何学にマッピングするアーキテクチャについて, 構造的, 空間的基盤的記憶の必要性を強調した。
論文 参考訳(メタデータ) (2026-07-23T17:50:45Z) - FreeTimeGS: Free Gaussian Primitives at Anytime and Anywhere for Dynamic Scene Reconstruction [64.30050475414947]
FreeTimeGSはガウスのプリミティブを任意の時間と位置で表示できる新しい4D表現である。
我々の表現は強い柔軟性を持ち、ダイナミックな3Dシーンをモデル化する能力を向上させる。
いくつかのデータセットに対する実験結果から,本手法のレンダリング品質は,最近の手法よりも大きなマージンで優れていることが示された。
論文 参考訳(メタデータ) (2025-06-05T17:59:57Z) - Living Scenes: Multi-object Relocalization and Reconstruction in Changing 3D Environments [20.890476387720483]
MoREは進化する環境における多目的再局在と再構成のための新しいアプローチである。
これらの環境を「生きたシーン」とみなし、異なる時点のスキャンをオブジェクトインスタンスの3次元再構成に変換する問題について考察する。
論文 参考訳(メタデータ) (2023-12-14T17:09:57Z) - Nothing Stands Still: A Spatiotemporal Benchmark on 3D Point Cloud Registration Under Large Geometric and Temporal Change [82.31647863785923]
人工空間の3次元幾何学地図の構築は、基本的なコンピュータビジョンとロボット工学である。
Not Stands Still (NSS)ベンチマークは、大きな空間的および時間的変化を行う3Dシーンの時間的登録に焦点を当てている。
NSSの一環として,建設中または改修中の大規模建築屋内環境において,3次元点雲のデータセットを連続的に取得する。
論文 参考訳(メタデータ) (2023-11-15T20:09:29Z) - SpOT: Spatiotemporal Modeling for 3D Object Tracking [68.12017780034044]
3Dマルチオブジェクトトラッキングは、常にすべてのモバイル時間を特定することを目的としている。
現在の3Dトラッキング手法は、抽象化された情報と限られた歴史に依存している。
本研究では,空間的情報と時間的情報の両方を活用するシーンの全体的表現を開発する。
論文 参考訳(メタデータ) (2022-07-12T21:45:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。