論文の概要: LookStep: Efficient Vision-Language Navigation with Linguistic Foresight and Event Driven Memory

• arxiv url: http://arxiv.org/abs/2609.02350v2
• Date: Fri, 04 Sep 2026 09:59:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 13:53:00.590306
• Title: LookStep: Efficient Vision-Language Navigation with Linguistic Foresight and Event Driven Memory
• Title（参考訳）: LookStep: 言語的展望とイベント駆動メモリを備えた効率的な視覚言語ナビゲーション
• Abstract要約: Vision-Language Navigation (VLN) は、目に見えない環境で自然言語の指示に従うための具体的エージェントを必要とする。 我々は、Language Centric Future State ModelingとEvent Driven Rolling Memoryを組み合わせた、統合されたエンドツーエンドフレームワークであるLookStepを提案する。 LookStepはR2R-CE Val-Unseenで49.7%の成功率を達成した。
• 参考スコア（独自算出の注目度）: 33.55585026363977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Navigation (VLN) requires an embodied agent to follow natural-language instructions in unseen environments. Recent progress has been largely driven by Multimodal Large Language Models (MLLMs). Existing methods follow a next-step action prediction paradigm, supervising only the expert action, which requires a high quantity of data for training. They also rely on cognitive maps, accumulated historical frames, or external 3D tools to maintain states, leading to high computational and memory overhead. To realize resource efficiency VLN, we propose LookStep, a unified end-to-end framework that combines Language Centric Future State Modeling and Event Driven Rolling Memory that uses language labels to generate coarse-grained navigation progress and future states for each candidate action, while autonomously deciding whether to write each observation into a bounded rolling memory with a semantic role. We validate LookStep empirically. On VLN-CE tasks, LookStep outperforms existing methods under the same training settings, achieving a 49.7\% success rate on R2R-CE Val-Unseen with better memory efficiency and less data usage. Code and model is available at https://github.com/kunyang-YU/LookStep.
• Abstract（参考訳）: Vision-Language Navigation (VLN) は、目に見えない環境で自然言語の指示に従うための具体的エージェントを必要とする。 最近の進歩は、主にMultimodal Large Language Models (MLLM)によって推進されている。 既存の方法は、訓練に大量のデータを必要とするエキスパートアクションのみを監督する、次のステップのアクション予測パラダイムに従っている。 また、認知マップ、蓄積された歴史的なフレーム、あるいは状態を維持するための外部3Dツールにも依存しており、高い計算とメモリオーバーヘッドをもたらす。 VLNを実現するために,LookStepを提案する。LookStepはLanguage Centric Future State ModelingとEvent Driven Rolling Memoryを組み合わせた,統一されたエンドツーエンドフレームワークである。 LookStepを実証的に検証する。 VLN-CEタスクでは、LookStepは同じトレーニング設定下で既存のメソッドよりも優れており、R2R-CE Val-Unseenで49.7\%の成功率を達成した。 コードとモデルはhttps://github.com/kunyang-YU/LookStep.comで入手できる。

関連論文リスト

• AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation [78.80536515102305]
  VLN(Vision-and-Language Navigation)は、エージェントが視覚環境内の自身の動きに言語命令を接地する必要がある。 本稿では,ナビゲーションモデルに自己認識推論機構を備えた新しいフレームワークであるAwareVLNを提案する。 提案手法は,(1)空間的およびタスク指向の自己認識を促進する構造的推論モジュール,(2)効果的な学習のための進歩分担付き自動データエンジンの2つの重要な革新を特徴とする。
  論文  参考訳（メタデータ） (2026-05-21T17:58:26Z)
• JanusVLN: Decoupling Semantics and Spatiality with Dual Implicit Memory for Vision-Language Navigation [22.956416709470503]
  Vision-and-Language Navigationでは、自然言語命令と連続的なビデオストリームによってガイドされた、目に見えない環境をナビゲートするために、エンボディエージェントが必要である。 VLNの最近の進歩は、マルチモーダル大規模言語モデルの強力な意味理解によって推進されている。 本稿では,空間幾何学的,視覚的セマンティックメモリを分離,コンパクト,固定サイズのニューラル表現としてモデル化した,二重暗黙的ニューラルメモリを備えた新しいVLNフレームワークであるJanusVLNを提案する。
  論文  参考訳（メタデータ） (2025-09-26T16:29:37Z)
• VLN-R1: Vision-Language Navigation via Reinforcement Fine-Tuning [77.34267241692706]
  Vision-Language Navigation(VLN)は、エージェントが自然言語命令を使用して現実世界の環境をナビゲートする必要がある、AIの実施における中核的な課題である。 本稿では、LVLM(Large Vision-Language Models)を利用して、エゴセントリックな動画ストリームを連続的なナビゲーションアクションに変換するエンドツーエンドフレームワークであるVLN-R1を提案する。
  論文  参考訳（メタデータ） (2025-06-20T17:59:59Z)
• IRef-VLA: A Benchmark for Interactive Referential Grounding with Imperfect Language in 3D Scenes [10.139461308573336]
  IRef-VLAは、11.5K以上のスキャンされた3D部屋からなる参照グラウンドタスクのための、世界で最大のデータセットである。 我々は,ロバストでインタラクティブなナビゲーションシステムの開発を支援する3Dシーン理解のためのリソースの提供を目指している。
  論文  参考訳（メタデータ） (2025-03-20T16:16:10Z)
• Memory-Space Visual Prompting for Efficient Vision-Language Fine-Tuning [59.13366859237086]
  大規模視覚言語(VL)モデルを効率的に構築するための現在のソリューションは、2段階のパラダイムに従う。 視覚情報に関連するタスクに対処する際の言語モデルを容易にする追加知識として視覚的プロンプトを考察する。 本稿では,視覚的知識注入のためのFFNの重み付けにより視覚的プロンプトを記憶する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-09T08:23:20Z)
• Pink: Unveiling the Power of Referential Comprehension for Multi-modal LLMs [49.88461345825586]
  本稿では,MLLMの微細な画像理解能力を高めるための新しい枠組みを提案する。 本稿では,既存のデータセットのアノテーションを活用して,命令チューニングデータセットを低コストで構築する手法を提案する。 本研究では,Qwen-VLよりも5.2%精度が向上し,Kosmos-2の精度が24.7%向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-01T05:53:15Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Deep Indexed Active Learning for Matching Heterogeneous Entity Representations [20.15233789156307]
  本稿では,ブロッキングのリコールとブロックペアのマッチング精度を最大化するために,組込みを共同で学習するスケーラブルなアクティブラーニング手法であるdiardを提案する。 5つのベンチマークデータセットと多言語レコードマッチングデータセットの実験は、精度、リコール、実行時間の観点から、我々のアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2021-04-08T18:00:19Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Towards Learning a Generic Agent for Vision-and-Language Navigation via Pre-training [150.35927365127176]
  視覚・言語ナビゲーション(VLN)タスクのための,最初の事前学習および微調整パラダイムを提案する。 自己教師付き学習方式で大量の画像-テキスト-アクション三つ子を訓練することにより、事前学習されたモデルは、視覚環境と言語命令の一般的な表現を提供する。 新たなタスクにおいてより効果的に学習し、以前は目に見えない環境でより良く一般化する。
  論文  参考訳（メタデータ） (2020-02-25T03:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。