論文の概要: PanoVLN: Towards Effective Panoramic Vision-and-Language Navigation

• arxiv url: http://arxiv.org/abs/2609.34759v1
• Date: Mon, 28 Sep 2026 09:44:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 03:07:51.931988
• Title: PanoVLN: Towards Effective Panoramic Vision-and-Language Navigation
• Title（参考訳）: PanoVLN: 効果的なパノラマ視覚・言語ナビゲーションを目指して
• Abstract要約: 最近の視覚言語モデル(VLM)は高度な視覚・言語ナビゲーション(VLN)を持つ 本研究では,パノラマ観測によるVLNの探索とパノVLNの導入について述べる。 4BのバックボーンとRGBのみの入力で、PanoVLNは以前のSOTAを11.9%、R2R-CEとRxR-CE Val-Unseenで8.7%上回る。
• 参考スコア（独自算出の注目度）: 22.56650093752126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent vision-language models (VLMs) have advanced vision-and-language navigation (VLN), enabling models to predict navigation actions from visual observations and language instructions. In this work, we explore VLN with panoramic observations and introduce PanoVLN. The motivation is straightforward: more complete visual context should enable better-informed navigation decisions. For example, a panorama can reveal a passage outside a perspective camera's field of view, allowing the model to identify the intended route without additional exploration. However, we find that simply replacing perspective images with panoramas yields only limited gains. Our diagnosis suggests that fully exploiting wider visibility requires modifications to action prediction, training supervision, and visual representation. First, wider visibility supports longer-horizon action planning. We make the model predict longer action sequences, enabling larger turns and subsequent movement from a single panorama. Specifically, we introduce a confidence-guided execution (CGE) strategy that dynamically determines how many predicted actions to execute before replanning. Second, wider visibility also brings more complex route choices. We therefore construct training routes with frequent branching points and clear instructions to provide targeted supervision for route selection. Third, panoramic navigation requires understanding spatial relationships across viewing directions, beyond recognizing individual landmarks. We combine semantic and geometric features from RGB panoramas to capture both scene content and spatial layout without adding visual tokens. With a 4B backbone and RGB-only input, PanoVLN surpasses the previous SOTA by 11.9% and 8.7% in success rate on R2R-CE and RxR-CE Val-Unseen. Real-world experiments on a quadruped further demonstrate faster navigation with fewer pauses than prior VLN methods.
• Abstract（参考訳）: 近年の視覚言語モデル (VLM) は高度な視覚・言語ナビゲーション (VLN) を備えており、視覚観察や言語指示からナビゲーション動作を予測することができる。 本研究では,パノラマ観測によるVLNの探索とパノVLNの導入について述べる。 より完全な視覚的コンテキストは、より良いインフォームドナビゲーション決定を可能にするべきである。 例えば、パノラマは視点カメラの視野の外側の通路を明らかにすることができ、追加の探索をすることなく、モデルが意図したルートを特定することができる。 しかし、視線画像をパノラマに置き換えれば、限られた利得しか得られないことがわかった。 我々の診断は、より広い視界をフル活用するためには、行動予測、訓練監督、視覚表現の修正が必要であることを示唆している。 まず、より広い可視性は、長期的なアクションプランニングをサポートする。 モデルにより、より長いアクションシーケンスを予測させ、1つのパノラマからより大きなターンとその後の動きを可能にする。 具体的には、リプラン前に予測されたアクションの数を動的に決定する信頼誘導実行(CGE)戦略を導入する。 第二に、より広い視認性は、より複雑な経路選択をもたらす。 そこで我々は,経路選択のための目標監督を行うために,分岐点の頻繁な分岐点と明確な指示を用いた訓練経路を構築した。 第3に、パノラマナビゲーションは、個々のランドマークを認識する以外に、視線方向の空間的関係を理解する必要がある。 我々はRGBパノラマの意味的特徴と幾何学的特徴を組み合わせて、視覚的トークンを追加することなく、シーン内容と空間的レイアウトの両方をキャプチャする。 4BのバックボーンとRGBのみの入力で、PanoVLNは以前のSOTAを11.9%、R2R-CEとRxR-CE Val-Unseenで8.7%上回る。 四重奏法における実世界の実験は、以前のVLN法よりも短い停止時間でより高速なナビゲーションを実証している。

関連論文リスト

• LookasideVLN: Direction-Aware Aerial Vision-and-Language Navigation [96.09246387639006]
  LookasideVLNは、より正確な空間推論とより高い計算効率を達成するために、自然言語の方向の手がかりを利用する。 LookasideVLNは、シングルレベルのルックアヘッドでも、最先端のCityNavAgentよりも大幅に優れています。
  論文  参考訳（メタデータ） (2026-04-19T01:36:53Z)
• ImagineNav++: Prompting Vision-Language Models as Embodied Navigator through Scene Imagination [36.489349671649045]
  VLM(Vision-Language Models)は、オンボードのRGB/RGB-Dストリームのみを使用してマップレスなビジュアルナビゲーションを実現し、空間的な知覚と計画の可能性を解き放つ。 我々はこれを、想像力によるナビゲーションフレームワークImagineNav++で実現している。 空間的整合性を維持するため,スパース・トゥ・デンス・フレームワークによる観測を階層的に統合する選択的葉形成記憶機構を開発した。
  論文  参考訳（メタデータ） (2025-12-19T10:40:16Z)
• MonoDream: Monocular Vision-Language Navigation with Panoramic Dreaming [15.920885177995505]
  VLN(Vision-Language Navigation)タスクは、パノラマRGBと深度入力を利用して、アクション計画のための豊富な空間的手がかりを提供する。 単分子エージェントがUNR(Unified Navigation Representation)を学習できる軽量なVLAフレームワークMonoDreamを提案する。 この共有された特徴表現は、ナビゲーションに関連する視覚的意味論(例えば、グローバルなレイアウト、深さ、将来の手がかり)と言語に基づく行動意図を共同で調整し、より信頼性の高い行動予測を可能にする。
  論文  参考訳（メタデータ） (2025-08-04T16:01:30Z)
• Aerial Vision-and-Language Navigation with Grid-based View Selection and Map Construction [102.70482302750897]
  Aerial Vision-and-Language Navigation (Aerial VLN)は、人間の指示に従って空中3D環境をナビゲートする無人航空機エージェントの取得を目的としている。 より長い航法、より複雑な3Dシーン、垂直アクションと水平アクションの相互作用の無視により、従来の手法はうまく機能しない。 グリッドベースのビュー選択タスクとして空のVLN動作予測を定式化する,グリッドベースのビュー選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-14T05:20:43Z)
• ESceme: Vision-and-Language Navigation with Episodic Scene Memory [72.69189330588539]
  ヴィジュアル・アンド・ランゲージ・ナビゲーション(VLN)は、現実世界のシーンで自然言語のナビゲーション指示に従う視覚エージェントをシミュレートする。 本稿では,VLNにおける情景記憶(esceme)のメカニズムについて紹介する。
  論文  参考訳（メタデータ） (2023-03-02T07:42:07Z)
• History Aware Multimodal Transformer for Vision-and-Language Navigation [96.80655332881432]
  ヴィジュアル・アンド・ランゲージナビゲーション(VLN)は、指示に従う自律的な視覚エージェントの構築と、実際のシーンでのナビゲーションを目的としている。 長い水平履歴をマルチモーダルな意思決定に組み込むために,HAMT(History Aware Multimodal Transformer)を導入する。
  論文  参考訳（メタデータ） (2021-10-25T22:54:41Z)
• Pathdreamer: A World Model for Indoor Navigation [62.78410447776939]
  本研究では,新しい屋内環境をナビゲートするエージェントの視覚的世界モデルPathdreamerを紹介する。 過去に1つ以上の視覚観測がなされると、パスドレーマーは可視性の高い高解像度の360度視覚観測を生成する。 不確実性の高い地域では、Pathdreamerは多様なシーンを予測でき、エージェントは複数の現実的な結果をサンプリングすることができる。
  論文  参考訳（メタデータ） (2021-05-18T18:13:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。