論文の概要: What Should a Navigator Remember? Spatiotemporal Memory for Zero-Shot Vision-Language Navigation
- arxiv url: http://arxiv.org/abs/2610.38318v2
- Date: Tue, 03 Nov 2026 03:35:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.366059
- Title: What Should a Navigator Remember? Spatiotemporal Memory for Zero-Shot Vision-Language Navigation
- Title（参考訳）: ナビゲーターが思い出すべきことは? ゼロショット視界ナビゲーションのための時空間記憶
- Abstract要約: ゼロショット視覚言語ナビゲーション (Zero-shot Vision-and-Language Navigation, VLN) は、エージェントがナビゲーション固有のトレーニングなしで過去の観察を使用する必要がある。
本研究では,8B規模のナビゲーションシステムが保持すべき情報と,その後の意思決定のためにどのように整理されるべきかを検討する。
我々のエージェントは、指示の進行、ポーズに固定された階層的に圧縮された観察履歴、および相補的なタスク、時間、空間記憶における幾何の蓄積を組み合わせている。
- 参考スコア（独自算出の注目度）: 11.826268824920767
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Zero-shot vision-and-language navigation (VLN) requires an agent to use past observations without navigation-specific training. We study what information an 8B-scale navigation system should retain and how it should be organized for subsequent decisions. Our agent combines instruction progress, hierarchically compressed observation history anchored to poses, and accumulated geometry in complementary task, temporal, and spatial memories. An 8B observer summarizes observations, and an 8B reasoner uses the memories to select waypoint intents or request additional views, a geometric controller executes the selected targets. A semantic information perspective motivates the distinction between retaining evidence, making it accessible to the reasoner, and acquiring further observations. On R2R-CE val-unseen, the complete system achieves the highest among the evaluated Qwen3-based zero-shot baselines. Removing temporal memory reduces SR and sharply increases average path length from 16.9 to 39.1m, removing the spatial-map and planning component reduces SR as well. Real-world experiments on a Unitree Go2 show that our zero-shot method achieves higher success rates than the post-trained baseline in both corridor and office environments, suggesting better transfer to the evaluated real-world settings. As a complementary evaluation, LAW2 uses paired instruction interventions to examine behavioral responses, instruction following ability beyond endpoint success. These results support preserving task progress, observation history, and geometry in structured memory for zero-shot navigation with smaller open models.
- Abstract（参考訳）: ゼロショット視覚言語ナビゲーション (Zero-shot Vision-and-Language Navigation, VLN) は、エージェントがナビゲーション固有のトレーニングなしで過去の観察を使用する必要がある。
本研究では,8B規模のナビゲーションシステムが保持すべき情報と,その後の意思決定のためにどのように整理されるべきかを検討する。
我々のエージェントは、指示の進行、ポーズに固定された階層的に圧縮された観察履歴、および相補的なタスク、時間、空間記憶における幾何の蓄積を組み合わせている。
8Bオブザーバは観察を要約し、8B推論器はメモリを使用して経路ポイントインテントを選択したり、追加のビューを要求し、幾何学コントローラは選択したターゲットを実行する。
意味情報パースペクティブは、証拠を保持することと、推論者にアクセスし、さらなる観察を取得することの区別を動機付けている。
R2R-CE val-unseenでは、完全なシステムは評価されたQwen3ベースのゼロショットベースラインの中で最高となる。
時間記憶の除去はSRを減少させ、平均パス長を16.9から39.1mに急激に増加させ、空間マップと計画成分を除去する。
また,Unitree Go2における実環境実験により,このゼロショット法は,廊下環境とオフィス環境の両方において,訓練後のベースラインよりも高い成功率を達成し,評価された実環境へのよりよい移行が示唆された。
補完的な評価として、LAW2は、ペア化された命令の介入を使用して、行動応答、終端成功以上の命令追従能力を調べる。
これらの結果は、より小さなオープンモデルによるゼロショットナビゲーションのための構造化メモリにおけるタスク進捗、観測履歴、および幾何の保存を支援する。
関連論文リスト
- Data-Centric Recursive Self-Improvement for Navigation via Policy-Synchronized Language-Action Dual Bootstrapping [95.41014675801112]
RSI-Navは、ナビゲーションのためのデータ中心のデータ中心の自己改善フレームワークである。
共有モデル内で、視覚-言語-行動指示と視覚-行動-言語命令生成を統一する。
実験の結果、RSI-NavはR2R-CEで68.6%、RxR-CEで72.4%に達することが示された。
論文 参考訳（メタデータ） (2026-10-11T17:09:07Z) - LERR-Nav: Learning to Coordinate Exploration, Recovery, and Reminiscing for Object Navigation [15.56415756506933]
本稿では,探索,回復,回想を協調するオブジェクトナビゲーションフレームワークLERR-Navを提案する。
ヒストリー・アウェア・コーディネーションをサポートするため、すべての戦略実行のテキスト要約を保持する実行メモリを保守する。
HM3DとMP3Dの実験は、最先端のナビゲーション性能を示し、アブレーション研究は個々のコンポーネントの寄与を検証する。
論文 参考訳（メタデータ） (2026-10-11T05:38:33Z) - Lifelong small-object navigation in changing object layouts: a benchmark and method [60.642096348895876]
家庭内のロボットは、同じ環境のさまざまな物体に継続的に行き来する必要がある。
本稿では,この課題をLiSoNav-COL (LiSoNav-COL) における生涯小物体ナビゲーションとして定式化する。
エージェントは、信頼できる観察のために適切な視点を求め、シーン知識を蓄積し再利用し、オブジェクトの移動後に古いメモリを更新する必要がある。
論文 参考訳（メタデータ） (2026-10-07T14:07:34Z) - SparseNav: Instruction-conditioned Sparse Semantic Perception for Training-Free Vision-Language Navigation [5.542420543782519]
SparseNavは、セマンティックナビゲーションのより少ない原則に従う、トレーニング不要のフレームワークである。
SparseNavは、軽量な幾何学鳥眼ビュー(BEV)マップとスパースランドマークメモリを持続的に維持する。
命令条件付きウェイポイントナビゲーションを用いて,複数の屋内環境にまたがる実効性を検証した。
論文 参考訳（メタデータ） (2026-09-22T13:41:49Z) - HarnessVLN: Unifying Training-Free Embodied Navigation through an Agent Harness [30.61739879302674]
身体的ナビゲーションでは、エージェントは空間観測において指示や目標を下ろす必要がある。
本稿では,ゼロショットでトレーニング不要なフレームワークであるHarnessVLNを紹介した。
論文 参考訳（メタデータ） (2026-09-14T08:15:56Z) - EvoMemNav: Efficient Self-Evolving Fine-Grained Memory for Zero-Shot Embodied Navigation [81.54723508469617]
EvoMemNavは、ゼロショットエンボディナビゲーションのための効率的で自己進化的できめ細かいメモリフレームワークである。
VSMGraphは、セマンティックキューとトポロジ的関係を持つビューをルームビューオブジェクト階層に整理する。
GOAT-BenchとHM3Dのオブジェクト、テキスト記述、画像ゴールのモダリティによる実験は、SR/SPLにおいて一貫した利得を示している。
論文 参考訳（メタデータ） (2026-06-02T11:27:44Z) - ReMemNav: A Rethinking and Memory-Augmented Framework for Zero-Shot Object Navigation [35.416693138335354]
ゼロショットオブジェクトナビゲーションでは、エージェントは未知のターゲットオブジェクトを未知の環境で見つける必要がある。
視覚言語モデルの最近の進歩は、このタスクに有望な常識推論機能を提供する。
本稿では,パノラマ的セマンティック先行とエピソード記憶をシームレスに統合するReMemNavという新しい階層型ナビゲーションフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-25T09:07:32Z) - SR-Nav: Spatial Relationships Matter for Zero-shot Object Goal Navigation [23.52929533412924]
ゼロショットのオブジェクトゴールナビゲーションは、エゴセントリックな観測のみを使用して、目に見えない環境で対象物を見つけることを目的としている。
近年の手法は、ナビゲーション性能を高めるために基礎モデルの理解と推論能力を活用している。
本研究では、観察と経験に基づく空間的関係をモデル化し、知覚と計画の両面を強化するフレームワークであるSpatial Relation-Aware Navigation (SR-Nav)を提案する。
論文 参考訳（メタデータ） (2026-03-19T03:09:32Z) - DORAEMON: Decentralized Ontology-aware Reliable Agent with Enhanced Memory Oriented Navigation [55.888688171010365]
DORAEMONは、人間のナビゲーション機能を模倣したVentralとDorsal Streamsで構成される、認知にインスパイアされたフレームワークである。
我々は,DORAEMONをHM3D,MP3D,GOATのデータセット上で評価し,成功率(SR)と成功度(SPL)の測定値の両方で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-05-28T04:46:13Z) - Explore before Moving: A Feasible Path Estimation and Memory Recalling
Framework for Embodied Navigation [117.26891277593205]
ナビゲーションに焦点をあて,経験や常識に欠ける既存のナビゲーションアルゴリズムの問題を解決する。
移動前に2回思考する能力に触発されて、不慣れな場面で目標を追求する実現可能な経路を考案し、パス推定とメモリリコールフレームワークと呼ばれる経路計画手法を提案する。
EmbodiedQAナビゲーションタスクにおけるPEMRの強力な実験結果を示す。
論文 参考訳（メタデータ） (2021-10-16T13:30:55Z) - Structured Scene Memory for Vision-Language Navigation [155.63025602722712]
視覚言語ナビゲーション(VLN)のための重要なアーキテクチャを提案する。
ナビゲーション中に知覚を正確に記憶できるほど区画化されている。
また、環境内の視覚的および幾何学的な手がかりを捉え、取り除く、構造化されたシーン表現としても機能する。
論文 参考訳（メタデータ） (2021-03-05T03:41:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。