論文の概要: Why Only Text: Empowering Vision-and-Language Navigation with Multi-modal Prompts

• arxiv url: http://arxiv.org/abs/2406.02208v1
• Date: Tue, 4 Jun 2024 11:06:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 16:42:06.236856
• Title: Why Only Text: Empowering Vision-and-Language Navigation with Multi-modal Prompts
• Title（参考訳）: テキストのみ:マルチモーダルプロンプトによる視覚・言語ナビゲーションの強化
• Authors: Haodong Hong, Sen Wang, Zi Huang, Qi Wu, Jiajun Liu,
• Abstract要約: Vision-and-Language Navigation with Multi-Modal Prompts (VLN-MP) は、自然言語と画像の両方を命令に統合することにより、従来のVLNを増強する新しいタスクである。 VLN-MPは、テキストのみのプロンプトを効果的に扱うことで後方互換性を維持するだけでなく、異なる量と視覚的プロンプトの関連性を一貫して示す。
• 参考スコア（独自算出の注目度）: 37.20272055902246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current Vision-and-Language Navigation (VLN) tasks mainly employ textual instructions to guide agents. However, being inherently abstract, the same textual instruction can be associated with different visual signals, causing severe ambiguity and limiting the transfer of prior knowledge in the vision domain from the user to the agent. To fill this gap, we propose Vision-and-Language Navigation with Multi-modal Prompts (VLN-MP), a novel task augmenting traditional VLN by integrating both natural language and images in instructions. VLN-MP not only maintains backward compatibility by effectively handling text-only prompts but also consistently shows advantages with different quantities and relevance of visual prompts. Possible forms of visual prompts include both exact and similar object images, providing adaptability and versatility in diverse navigation scenarios. To evaluate VLN-MP under a unified framework, we implement a new benchmark that offers: (1) a training-free pipeline to transform textual instructions into multi-modal forms with landmark images; (2) diverse datasets with multi-modal instructions for different downstream tasks; (3) a novel module designed to process various image prompts for seamless integration with state-of-the-art VLN models. Extensive experiments on four VLN benchmarks (R2R, RxR, REVERIE, CVDN) show that incorporating visual prompts significantly boosts navigation performance. While maintaining efficiency with text-only prompts, VLN-MP enables agents to navigate in the pre-explore setting and outperform text-based models, showing its broader applicability.
• Abstract（参考訳）: 現在のVision-and-Language Navigation (VLN)タスクは、主にガイドエージェントのテキスト命令を使用する。 しかし、本質的には抽象的であり、同じテキスト命令は異なる視覚信号に関連付けられ、曖昧さと視覚領域における事前知識のユーザからエージェントへの移動を制限する。 このギャップを埋めるために、自然言語と画像の両方をインストラクションに統合することにより、従来のVLNを増強する新しいタスクであるVLN-MP(Vision-and-Language Navigation with Multi-modal Prompts)を提案する。 VLN-MPは、テキストのみのプロンプトを効果的に扱うことで後方互換性を維持するだけでなく、異なる量と視覚的プロンプトの関連性を一貫して示す。 視覚的なプロンプトには、正確なオブジェクトイメージと類似したオブジェクトイメージの両方が含まれており、多様なナビゲーションシナリオにおいて適応性と汎用性を提供する。 統一されたフレームワーク下でのVLN-MPを評価するために,(1)テキスト命令をランドマーク付きマルチモーダル形式に変換するトレーニングフリーパイプライン,(2)下流タスクのマルチモーダル命令を持つ多様なデータセット,(3)最先端VLNモデルとのシームレスな統合のために,さまざまな画像プロンプトを処理するように設計された新しいモジュールを提案する。 4つのVLNベンチマーク(R2R、RxR、REVERIE、CVDN)の大規模な実験は、視覚的なプロンプトを組み込むことでナビゲーション性能が大幅に向上することを示している。 テキストのみのプロンプトで効率を保ちながら、VLN-MPはエージェントが事前に設定された設定やテキストベースのモデルよりも優れており、より広い適用性を示している。

関連論文リスト

• Draw-and-Understand: Leveraging Visual Prompts to Enable MLLMs to Comprehend What You Want [58.091825321168514]
  我々は、Draw-and-Understandプロジェクト、新しいモデル、マルチドメインデータセット、ビジュアルプロンプトのための挑戦的なベンチマークを紹介する。 具体的には、視覚エンコーダ、視覚プロンプトエンコーダ、LLMを接続する、エンド・ツー・エンドのマルチモーダル大規模言語モデル(MLLM)を提案する。 MLLMの視覚的プロンプト研究を進めるために,MDVP-DataとMDVP-Benchを紹介する。
  論文  参考訳（メタデータ） (2024-03-29T16:26:20Z)
• Enhancing Visual Document Understanding with Contrastive Learning in Large Visual-Language Models [56.76307866160105]
  文書オブジェクト協調学習(Document Object Contrastive Learning, DoCo)と呼ばれる対照的な学習フレームワークを提案する。 DoCoは補助的なマルチモーダルエンコーダを利用して文書オブジェクトの特徴を取得し、それをLVLM(Large Visual-Language Models)の視覚エンコーダによって生成された視覚的特徴に合わせる。 提案するDoCoは,様々なLVLMの事前学習において,推論過程における計算複雑性の増大を招くことなく,プラグイン・アンド・プレイの事前学習手法として機能することが実証された。
  論文  参考訳（メタデータ） (2024-02-29T10:17:27Z)
• Prompt-based Context- and Domain-aware Pretraining for Vision and Language Navigation [19.793659852435486]
  本稿では,これらの問題に対処する新しい Prompt-bAsed coNtext- and inDoor-Aware (PANDA) プレトレーニングフレームワークを提案する。 室内認識の段階では,室内データセットから深い視覚的プロンプトを学習するために,効率的なチューニングパラダイムを適用している。 文脈認識の段階では、命令中のシーケンスレベルの意味をキャプチャするハードコンテキストプロンプトのセットを設計する。
  論文  参考訳（メタデータ） (2023-09-07T11:58:34Z)
• ADAPT: Vision-Language Navigation with Modality-Aligned Action Prompts [92.92047324641622]
  視覚言語ナビゲーション(VLN)のためのmodAlity-aligneD Action PrompT(ADAPT)を提案する。 ADAPTは、アクションレベルのモダリティアライメントの明示的な学習を可能にするために、アクションプロンプトをVLNエージェントに提供する。 R2RとRxRの両方の実験結果は、最先端手法よりもADAPTの方が優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-31T02:41:31Z)
• Know What and Know Where: An Object-and-Room Informed Sequential BERT for Indoor Vision-Language Navigation [120.90387630691816]
  VLN(Vision-and-Language Navigation)は、自然言語命令と写真リアリスティックパノラマのセットに基づいて、エージェントが遠隔地へ移動する必要がある。 既存の手法の多くは、各パノラマの命令と離散ビューで単語をエンコーディングの最小単位とする。 視覚知覚と言語指示を同一のきめ細かいレベルで符号化するオブジェクトインフォームド・シーケンシャルBERTを提案する。
  論文  参考訳（メタデータ） (2021-04-09T02:44:39Z)
• Towards Learning a Generic Agent for Vision-and-Language Navigation via Pre-training [150.35927365127176]
  視覚・言語ナビゲーション(VLN)タスクのための,最初の事前学習および微調整パラダイムを提案する。 自己教師付き学習方式で大量の画像-テキスト-アクション三つ子を訓練することにより、事前学習されたモデルは、視覚環境と言語命令の一般的な表現を提供する。 新たなタスクにおいてより効果的に学習し、以前は目に見えない環境でより良く一般化する。
  論文  参考訳（メタデータ） (2020-02-25T03:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。