論文の概要: MemoryVLN: From Ego-Aware Memory Representation to Cross-Context Memory Reuse in Vision-Language Navigation
- arxiv url: http://arxiv.org/abs/2610.18478v1
- Date: Tue, 13 Oct 2026 14:40:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.644125
- Title: MemoryVLN: From Ego-Aware Memory Representation to Cross-Context Memory Reuse in Vision-Language Navigation
- Title(参考訳): MemoryVLN:Ego-Aware Memory RepresentationからVision-Language Navigationにおけるクロスコンテキストメモリリユースへ
- Abstract要約: 大規模視覚言語モデル(LVLM)は、視覚言語ナビゲーション(VLN)の具体的可能性を示している。
これらの問題は、長い航法履歴を圧縮することと、過去の空間経験を確実に再利用することの両方を困難にしている。
メモリ構築と管理を中心に構築されたメモリ駆動ナビゲーションシステムである textbfMemoryVLN を提案する。
- 参考スコア(独自算出の注目度): 43.33875837933959
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large vision-language models (LVLMs) have shown strong potential for embodied vision-language navigation (VLN), yet their performance degrades on long-horizon trajectories due to context-length limits, redundant historical observations, and unstable spatial alignment across time. These issues make it difficult to both compress long navigation histories and reliably reuse past spatial experience. To address these limitations, we propose \textbf{MemoryVLN}, a unified memory-driven navigation system built around memory construction and management. During memory construction, \emph{Long Sequence Compression} employs forgetting-curve-inspired temporal sampling to preserve dense recent evidence and sparse yet representative distant observations under a limited token budget. \emph{Ego-Aware Memory Representation} further integrates 2D semantic tokens, 3D geometric tokens, and 6D agent poses, allowing each memory to encode both what was observed and where it was observed. During memory management, \emph{Hierarchical Memory Bank} maintains in-episode and context-level memories through cross-context warm-start and confidence-controlled write-back. \emph{Memory Enhancement} then retrieves the Top-$K$ relevant memories according to the current navigation state and fuses them with the current visual tokens. Together, these mechanisms transform raw navigation history into compact, spatially grounded, selectively retrievable, and reusable navigation experience. Extensive experiments on R2R-CE and RxR-CE demonstrate consistent improvements over the state-of-the-art baselines by a substantial margin (i.e., 2\% and 6.5\% in successful rate).
- Abstract(参考訳): 大規模視覚言語モデル(LVLM)は、視覚言語ナビゲーション(VLN)を具現化する可能性を示しているが、その性能は、コンテキスト長の制限、冗長な歴史的観察、不安定な空間的アライメントにより、長い水平軌道に低下している。
これらの問題は、長い航法履歴を圧縮することと、過去の空間経験を確実に再利用することの両方を困難にしている。
これらの制約に対処するため,メモリ構築と管理を中心に構築されたメモリ駆動ナビゲーションシステムである \textbf{MemoryVLN} を提案する。
メモリ構築中、 \emph{Long Sequence Compression} は、密度の高い最近の証拠を保存し、限られたトークン予算の下で遠くの観測を疎結合にするために、忘れられた曲線にインスパイアされた時間的サンプリングを利用する。
\emph{Ego-Aware Memory Representation}はさらに2Dセマンティックトークン、3D幾何トークン、6Dエージェントのポーズを統合し、各メモリが観察されたものと観察された場所の両方をエンコードする。
メモリ管理中、 \emph{Hierarchical Memory Bank} は、コンテキスト間ウォームスタートと信頼性制御による書き込みバックを通じて、エピソード内およびコンテキストレベルのメモリを維持する。
その後、現在のナビゲーション状態に従ってTop-$K$の関連メモリを取得し、それらを現在のビジュアルトークンでフューズする。
これらのメカニズムが組み合わさって、生の航法履歴をコンパクトで空間的に接地し、選択的に検索可能で、再利用可能な航法体験に変換する。
R2R-CEとRxR-CEの大規模な実験では、最先端のベースラインに対して実質的なマージン(成功率2\%と6.5\%)で一貫した改善が示された。
関連論文リスト
- CreaMem: A Scene-Aware Memory Architecture for Personalized Agents [10.59532182467324]
本稿では,メモリを複数のライフシーンメモリに分割することで,シーン認識型メモリ構成を可能にするCreaMemアーキテクチャを提案する。
CreaMemは、すべての評価指標のQA精度を改善し、特にマルチホップ推論のパフォーマンスを大きく向上させる。
強化するために、私たちはコードをパブリックなGitHubリポジトリにリリースしました。
論文 参考訳(メタデータ) (2026-09-08T10:33:05Z) - Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding [64.34948094316685]
latentStreamは、ストリーミングメモリをストア・アンド・レトリーブから検索・インターナライズへシフトする、プログレッシブな潜伏型ワーキングメモリフレームワークです。
LatentStreamは、既存のオンラインおよびオフラインビデオベンチマークで、最先端の新たな結果を達成する。
論文 参考訳(メタデータ) (2026-09-03T17:28:14Z) - Remember Smarter: Visual History Compressor and Hyperbolic Experience Space for Robotic Memory [54.400138177707504]
remember Smarter (RS) は、視覚履歴と双曲的なエクスペリエンスメモリのブランチを補完するプラグイン・アンド・プレイモジュールである。
pi0に適合すると、RSはLIBERO-Plusの総成功率を53.6%から70.6%に引き上げ、実際のロボット実験でかなりの性能向上を達成した。
論文 参考訳(メタデータ) (2026-08-15T15:13:33Z) - Dual Latent Memory in Vision-Language-Action Models for Robotic Manipulation [96.18832998704329]
ラメムVLA(LaMem-VLA)は、ラメムVLA(LaMem-VLA)という、ラメムVLA(LaMem-VLA)という、ラメムVLA(LaMem-VLA)という、ラメムVLA(LaMem-VLA)という、ラメムVLA(LaMem-VLA)のフレームワークである。
LaMem-VLAは、メモリがVLA推論に直接参加し、コンテキスト境界下でアクション生成をガイドすることを可能にする。
論文 参考訳(メタデータ) (2026-07-08T16:26:06Z) - EvoMemNav: Efficient Self-Evolving Fine-Grained Memory for Zero-Shot Embodied Navigation [81.54723508469617]
EvoMemNavは、ゼロショットエンボディナビゲーションのための効率的で自己進化的できめ細かいメモリフレームワークである。
VSMGraphは、セマンティックキューとトポロジ的関係を持つビューをルームビューオブジェクト階層に整理する。
GOAT-BenchとHM3Dのオブジェクト、テキスト記述、画像ゴールのモダリティによる実験は、SR/SPLにおいて一貫した利得を示している。
論文 参考訳(メタデータ) (2026-06-02T11:27:44Z) - Mem4Nav: Boosting Vision-and-Language Navigation in Urban Environments with a Hierarchical Spatial-Cognition Long-Short Memory System [9.687946545604492]
大規模都市環境における視覚・言語ナビゲーション (VLN) は、複雑な場面で言語指導を行うための具体的エージェントを必要とする。
階層型空間認識長短メモリシステムである textbfMem4Nav を導入し,任意のVLNバックボーンを拡張できる。
論文 参考訳(メタデータ) (2025-06-24T09:00:43Z) - LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。
LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。
広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
論文 参考訳(メタデータ) (2022-04-15T06:11:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。