論文の概要: MemVLN: Streaming Episodic Memory for Vision-Language Navigation

• arxiv url: http://arxiv.org/abs/2610.35066v2
• Date: Tue, 27 Oct 2026 03:47:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.357132
• Title: MemVLN: Streaming Episodic Memory for Vision-Language Navigation
• Title（参考訳）: MemVLN:視覚言語ナビゲーションのためのエピソード記憶のストリーミング
• Abstract要約: MEMVLNは、視覚言語ナビゲーションのためのストリーミングエピソードメモリフレームワークである。 クロスアテンションによりコンパクトなメモリトークンを生成する。 標準的なVLM-CEベンチマークで最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 23.333686003048097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language navigation (VLN) requires an embodied agent to follow language instructions through 3D environments. Maintaining persistent episodic memory remains a challenge for VLM-based streaming agents in long-horizon navigation. We present MEMVLN, a streaming episodic memory framework that maintains a bounded bank of compressed perceptual features annotated with timesteps and action-derived relative poses, and produces compact memory tokens via cross-attention. We pair the proposed memory with a frozen pretrained geometry encoder. To learn the memory module, we design a masking-based trajectory summarization task with multi-granularity sub-trajectory decomposition, encouraging route reconstruction exclusively from episodic memory. Under navigation training restricted to the official R2R/RxR trajectories, MEMVLN achieves state-of-the-art performance on most reported metrics on standard VLN-CE benchmarks. Long-horizon analyses further characterize when episodic memory is useful. For physical evaluation, we collect 30 instruction-conditioned episodes in one physical scene, use 24 as demonstrations for post-training, and hold out six for testing. On the held-out episodes, MEMVLN improves success over the VLM baseline from 17% to 40%, and post-training further raises it to 47%.
• Abstract（参考訳）: 視覚言語ナビゲーション(VLN)は、3D環境を通じて言語指示に従うために、エンボディエージェントを必要とする。 永続的なエピソードメモリを維持することは、長距離ナビゲーションにおけるVLMベースのストリーミングエージェントにとって依然として課題である。 圧縮された知覚的特徴の束縛されたバンクを保持するストリーミング・エピソード・メモリ・フレームワークであるMEMVLNについて,時間ステップとアクションから派生した相対的なポーズを付加し,クロスアテンションによりコンパクトなメモリトークンを生成する。 提案したメモリと凍結した事前学習された幾何エンコーダをペアリングする。 メモリモジュールを学習するために,多粒度サブトラジェクトリ分解を用いたマスキングに基づくトラジェクトリ要約タスクを設計し,エピソードメモリからのみ経路再構成を奨励する。 公式のR2R/RxRトラジェクトリに制限されたナビゲーショントレーニングの下で、MEMVLNは標準VLN-CEベンチマークで報告されたほとんどの指標に対して最先端のパフォーマンスを達成する。 長期水平解析は、エピソード記憶が有用であるときにさらに特徴付ける。 身体的評価には,30エピソードの指導条件付きエピソードを1つの物理シーンに集め,24エピソードをポストトレーニングのデモとして使用し,6エピソードをテストに用いた。 保留中のエピソードでは、MEMVLNはVLMベースラインを17%から40%に改善し、後トレーニングではさらに47%に向上する。

関連論文リスト

• MemoryVLN: From Ego-Aware Memory Representation to Cross-Context Memory Reuse in Vision-Language Navigation [43.33875837933959]
  大規模視覚言語モデル(LVLM)は、視覚言語ナビゲーション(VLN)の具体的可能性を示している。 これらの問題は、長い航法履歴を圧縮することと、過去の空間経験を確実に再利用することの両方を困難にしている。 メモリ構築と管理を中心に構築されたメモリ駆動ナビゲーションシステムである textbfMemoryVLN を提案する。
  論文  参考訳（メタデータ） (2026-10-13T14:40:04Z)
• MemVLN: Episodic and Procedural Memory for Vision-and-Language Navigation [68.89913903899101]
  リアルタイム推論効率(14 FPS)で最先端性能を実現する新しいVLNフレームワークを提案する。 MemVLNは、視覚エンコーダを使用して連続観察を処理し、LLM(Large Language Model)を使用して命令を解釈し、アクションを生成する。 VLN-CEの実験では、MemVLN-4BはベースラインのQwen3-VL-4Bアーキテクチャを5.8%のSRでR2R、9.7%のSRで上回り、推論遅延の7$times$スピードアップを達成した。
  論文  参考訳（メタデータ） (2026-07-26T07:08:30Z)
• VTM-Nav: Hierarchical Visual-Topological Memory for Cross-Episode Object-Goal Navigation [55.45263611374435]
  エージェントが同じシーンで繰り返し操作し、自己獲得経験のみを保持し、モデルパラメータを固定するクロスエポソードオブジェクトゴールナビゲーションを提案する。 経験の再利用を支援するために,永続的階層型ビジュアルトポロジカルメモリ(VTM)を用いたトレーニング不要なVLMナビゲーションフレームワークを提案する。 提案手法は,3つのベンチマークすべてで最高のパフォーマンスを実現し,データセット間の構造化視覚トポロジカルエクスペリエンスの再利用の有効性と堅牢性を示す。
  論文  参考訳（メタデータ） (2026-07-16T03:11:37Z)
• EvoMemNav: Efficient Self-Evolving Fine-Grained Memory for Zero-Shot Embodied Navigation [81.54723508469617]
  EvoMemNavは、ゼロショットエンボディナビゲーションのための効率的で自己進化的できめ細かいメモリフレームワークである。 VSMGraphは、セマンティックキューとトポロジ的関係を持つビューをルームビューオブジェクト階層に整理する。 GOAT-BenchとHM3Dのオブジェクト、テキスト記述、画像ゴールのモダリティによる実験は、SR/SPLにおいて一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-06-02T11:27:44Z)
• MemGym: a Long-Horizon Memory Environment for LLM Agents [69.79226770543049]
  本稿では,エージェントメモリのベンチマークであるMemGymを紹介する。 MemGymは、メモリパフォーマンスを推論、検索、ツール使用能力から切り離すメモリアイソレーションスコアを報告している。 MEMGYM-CODEQAとMEMGYM-DRの合成パイプラインは、長さ制御可能であり、各ステージでアブレーションを検証可能であり、下流のシナリオと密に整合している。
  論文  参考訳（メタデータ） (2026-05-20T07:25:33Z)
• Memory-enhanced Retrieval Augmentation for Long Video Understanding [91.7163732531159]
  本稿では,メモリ強化型RAGベースの新しいアプローチであるMemVidを紹介する。 提案手法は,1) 全体的映像情報の記憶,2) メモリに基づくタスクの情報要求の推論,3) 情報要求に基づくクリティカルモーメントの検索,4) 最終回答を生成するための検索モーメントの抽出という4つの基本的なステップで機能する。 MemVid は LVLM 法と RAG 法に比較して, 効率と有効性を示す。
  論文  参考訳（メタデータ） (2025-03-12T08:23:32Z)
• Online Episodic Memory Visual Query Localization with Egocentric Streaming Object Memory [17.305576093380168]
  モデルがオンラインストリームを処理するタスクであるVisual Online 2D(OVQ2D)を導入し、各フレームを一度だけ観察し、完全なビデオ履歴ではなく、コンパクトなメモリを用いてオブジェクトのローカライゼーションを検索する。 他のオンラインアプローチよりもESOMビデオの方が優れていることを実証していますが、OVQ2Dは依然として挑戦的であり、最高のパフォーマンスはわずか4%の成功です。
  論文  参考訳（メタデータ） (2024-11-25T21:07:25Z)
• MemoNav: Working Memory Model for Visual Navigation [47.011190883888446]
  イメージゴールナビゲーションは、不慣れな環境でイメージによって示されるゴールにエージェントがナビゲートする必要がある、困難なタスクである。 様々な場面の記憶を利用する既存の手法は、すべての歴史的観察を意思決定に用いているため、非効率な探索に苦しむ。 動作メモリにインスパイアされたパイプラインを用いてナビゲーション性能を向上させる,イメージゴールナビゲーションのための新しいメモリモデルであるMemoNavを提案する。
  論文  参考訳（メタデータ） (2024-02-29T13:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。