論文の概要: Dynamic Resilient Spatio-Semantic Memory with Hybrid Localization for Mobile Manipulation
- arxiv url: http://arxiv.org/abs/2606.00576v1
- Date: Sat, 30 May 2026 06:58:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 15:11:47.660519
- Title: Dynamic Resilient Spatio-Semantic Memory with Hybrid Localization for Mobile Manipulation
- Title（参考訳）: 移動マニピュレーションのためのハイブリッド局在化による動的レジリエント・スパンス・セマンティックメモリ
- Abstract要約: 本稿では,メモリ,ローカライゼーション,ナビゲーション,操作を,事前に構築されたマップを使わずに,未確認の屋内環境において統合する実ロボット移動操作フレームワークであるDREAMを提案する。
ターゲットのローカライゼーションと再獲得のために、DREAMは言語条件付き3D検索、オープンボキャブラリ画像検出、マルチモーダルな大規模言語モデルに基づくセマンティック検証を組み合わせた。
DREAMはDynaMemで40%-60%、DynaMemで55%-70%に改善し、メモリフットプリント0.37-0.63GB、オンラインメモリ更新0.43-0.53を維持した。
- 参考スコア（独自算出の注目度）: 13.692484702750313
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reliable mobile manipulation in dynamic indoor environments requires a scene representation that remains geometrically consistent, semantically queryable, and computationally bounded as the environment changes. Existing systems often rely on pre-built maps, static-scene assumptions, or highly accurate camera poses, which can lead to stale or misaligned scene information when target objects are relocated or pose estimates are corrected. This paper presents DREAM, a real-robot mobile manipulation framework that integrates perception, memory, localization, navigation, and manipulation in previously unseen indoor environments without a pre-built map. DREAM constructs an online spatio-semantic voxel memory from RGB-D observations registered by a LiDAR-inertial-visual SLAM backend. It further introduces pose-graph-aware Redundancy-Aware Memory Pruning (RMP) to update historical observations after pose corrections while keeping long-horizon observation history bounded. For target localization and reacquisition, DREAM combines language-conditioned 3D retrieval, open-vocabulary image detection, and multimodal large language model based semantic verification. Real-robot experiments in four dynamic indoor laboratory scenes show that DREAM improves long-horizon task success rates from 40%-60% with DynaMem to 55%-70%, while maintaining a memory footprint of 0.37-0.63 GB and an online memory-update time of 0.43-0.53 s across scenes.
- Abstract（参考訳）: 動的屋内環境における信頼性の高いモバイル操作は、環境が変化するにつれて、幾何学的に一貫した、意味的にクエリ可能で、計算的に境界づけられたシーン表現を必要とする。
既存のシステムは、しばしば事前に構築された地図、静的シーンの仮定、あるいは高度に正確なカメラのポーズに依存しており、ターゲットオブジェクトが移動されたり、推定値が修正されたりする際には、古いまたは不一致のシーン情報につながる可能性がある。
本稿では、事前に構築された地図を使わずに、未確認の屋内環境における知覚、記憶、局所化、ナビゲーション、操作を統合した実ロボット移動操作フレームワークであるDREAMを提案する。
DREAMは、LiDAR-inertial-visual SLAMバックエンドで登録されたRGB-D観測からオンラインのスポース・セマンティック・ボクセルメモリを構築する。
さらに、ポーズグラフを意識した冗長メモリ・プルーニング(RMP)を導入し、長い水平観測履歴を境界に保ちながら、ポーズ修正後の過去の観測を更新する。
ターゲットのローカライゼーションと再獲得のために、DREAMは言語条件付き3D検索、オープンボキャブラリ画像検出、マルチモーダルな大規模言語モデルに基づくセマンティック検証を組み合わせた。
DREAMはDynaMemで40%-60%、DynaMemで55%-70%に改善し、メモリフットプリントは0.37-0.63GB、オンラインメモリ更新時間は0.43-0.53GBを維持した。
関連論文リスト
- HitMem: Hierarchical Temporal 3D Memory with Multi-Modal Context-Aware Retrieval for Dynamic Environments [5.55387168911911]
HitMemは階層的な時間的3Dメモリフレームワークで、マルチモーダルなコンテキスト認識検索機構を備えている。
HitMemはオブジェクトの移動精度を大幅に向上し、探索コストを低減し、動的環境におけるタスク実行性能を向上させる。
論文 参考訳（メタデータ） (2026-09-01T09:09:21Z) - Beyond Episodic Evaluation: Memory Architectural Bottlenecks in Sequential Embodied Question Answering [93.80043825360514]
EQA(Embodied Question answering)は、伝統的にエピソードの定式化の下で評価され、エージェントは各タスクを独立して解決し、エピソード間の内部状態をリセットする。
EQAエージェントを逐次評価する際に異なるメモリアーキテクチャがどのように振る舞うかを検討する。
既存のメモリを単純に保存することは、しばしば不十分である。
連続したシーン表現の視覚的意味的証拠を3次元幾何学にマッピングするアーキテクチャについて, 構造的, 空間的基盤的記憶の必要性を強調した。
論文 参考訳（メタデータ） (2026-07-23T17:50:45Z) - Mem-World: Memory-Augmented Action-Conditioned World Models for Persistent Robot Manipulation [55.42006264038458]
アクション条件付き世界モデルは、ロボット学習の有望なパラダイムとして登場した。
Mem-Worldはメモリ拡張されたマルチビューアクション条件の世界モデルである。
W-VMemは4次元手首ビュー中心のサーベイルインデクシングメモリで、歴史的観測を時間的に変化する表面要素に固定する。
論文 参考訳（メタデータ） (2026-06-17T11:42:00Z) - EvoMemNav: Efficient Self-Evolving Fine-Grained Memory for Zero-Shot Embodied Navigation [81.54723508469617]
EvoMemNavは、ゼロショットエンボディナビゲーションのための効率的で自己進化的できめ細かいメモリフレームワークである。
VSMGraphは、セマンティックキューとトポロジ的関係を持つビューをルームビューオブジェクト階層に整理する。
GOAT-BenchとHM3Dのオブジェクト、テキスト記述、画像ゴールのモダリティによる実験は、SR/SPLにおいて一貫した利得を示している。
論文 参考訳（メタデータ） (2026-06-02T11:27:44Z) - Reasmory: 3D Reconstruction as Explicit Memory for VLMs Spatial Reasoning [43.950190960277865]
VLM(Vision-Language Models)は、空間的推論能力の出現を示すが、正確な空間的理解を必要とするタスクには信頼できない。
再構成空間メモリ上での構造化プログラム実行として空間推論を定式化するフレームワークであるtextbfReasmoryを提案する。
Reasmoryは明示的な3Dメモリを構築し、セマンティックな3Dオブジェクトインスタンスで拡張し、軽量なDomain-Specific Languageを導入している。
論文 参考訳（メタデータ） (2026-05-31T02:36:57Z) - Learning to Evolve: Multi-modal Interactive Fields for Robust Humanoid Navigation in Dynamic Environments [10.149525023566712]
マルチモーダル・インタラクティブ・フィールド(MIF)は、信頼を意識したセマンティック3Dガウス・スプラッティング、離散性トリガー付き空間記憶更新、およびクローズドループ認識適応パイプライン内でのタスク駆動幾何再構成を統合したヒューマノイド指向システムである。
実際のダイナミックオフィスのUnitree-G1ヒューマノイドでは、MIFは静的なシーングラフメモリに比べて12%から94%の非静的環境における再配置の成功を改善し、実用的なオンライン操作のための機能蒸留によってセマンティックメモリのフットプリントを91.4%削減した。
論文 参考訳（メタデータ） (2026-05-21T03:11:43Z) - Scal3R: Scalable Test-Time Training for Large-Scale 3D Reconstruction [50.5449251266956]
本稿では,長い映像シーケンスから大規模3Dシーンを再構築する作業について述べる。
近年のフィードフォワード再構成モデルでは,RGB画像からの3次元幾何を,明示的な3次元先行や幾何学的制約なく直接回帰することで,有望な結果を示している。
本稿では,長距離シーン情報を効率よく圧縮し,保持するニューラルグローバルコンテキスト表現を提案する。
論文 参考訳（メタデータ） (2026-04-09T17:59:50Z) - CogniMap3D: Cognitive 3D Mapping and Rapid Retrieval [13.47989214839101]
動的3次元シーン理解と再構築のためのバイオインスパイアされたフレームワークであるCogniMap3Dを提案する。
提案手法は静的なシーンの永続的メモリバンクを維持し,空間知識の効率的な記憶と迅速な検索を可能にする。
論文 参考訳（メタデータ） (2026-01-13T03:09:35Z) - ChangingGrounding: 3D Visual Grounding in Changing Scenes [92.00984845186679]
現実世界のロボットは自然言語からオブジェクトをローカライズするが、周囲のシーンは変化し続けている。
既存の3Dビジュアルグラウンドティング(3DVG)手法のほとんどは、再構築された最新の点雲を前提としている。
エージェントが過去の観測をいかにうまく活用できるかを明示的に測定する最初のベンチマークであるChangeingGroundingを紹介します。
論文 参考訳（メタデータ） (2025-10-16T17:59:16Z) - Memory Forcing: Spatio-Temporal Memory for Consistent Scene Generation on Minecraft [45.363427511806385]
Memory Forcingは、トレーニングプロトコルとジオメトリインデックス付き空間メモリを組み合わせた学習フレームワークである。
メモリフォーシングは,様々な環境において,長期的空間整合性と生成品質に優れることを示す。
論文 参考訳（メタデータ） (2025-10-03T17:35:16Z) - 3D-Mem: 3D Scene Memory for Embodied Exploration and Reasoning [65.40458559619303]
エンボディエージェントのための新しい3Dシーンメモリフレームワークである3D-Memを提案する。
3D-Memは、シーンを表現するために、Memory Snapshotsと呼ばれる情報的なマルチビューイメージを使用している。
さらに、Frontier Snapshots-glimpsの未探索領域対応エージェントを導入して、情報的な意思決定を行うことによって、フロンティアベースの探索をさらに統合する。
論文 参考訳（メタデータ） (2024-11-23T09:57:43Z) - DynaMem: Online Dynamic Spatio-Semantic Memory for Open World Mobile Manipulation [24.95545399754476]
DynaMemは、ロボットの環境を表現するために動的ワークセマンティックメモリを使用する、オープンソースのモバイル操作に対する新しいアプローチである。
DynaMemの力で、私たちのロボットは、新しい環境を探索し、記憶にない物体を探し出し、オブジェクトが動いたり、現れたり、消えたりするにつれて、記憶を継続的に更新することができる。
論文 参考訳（メタデータ） (2024-11-07T18:59:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。