論文の概要: Vision-and-Language Navigation with Analogical Textual Descriptions in LLMs

• arxiv url: http://arxiv.org/abs/2509.25139v1
• Date: Mon, 29 Sep 2025 17:51:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:20.187129
• Title: Vision-and-Language Navigation with Analogical Textual Descriptions in LLMs
• Title（参考訳）: LLMにおけるテキスト記述を用いた視覚・言語ナビゲーション
• Authors: Yue Zhang, Tianyi Ma, Zun Wang, Yanyuan Qiao, Parisa Kordjamshidi,
• Abstract要約: 既存のVision-and-Language Navigation (VLN)エージェントは、画像をテキストシーン記述としてエンコードする。 複数の視点からテキスト記述を組み込むことで,ナビゲーションエージェントの文脈理解を改善した。 R2Rデータセットに対する我々のアプローチの評価を行い、ナビゲーション性能を大幅に改善したことを示す。
• 参考スコア（独自算出の注目度）: 41.977702477816756
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Integrating large language models (LLMs) into embodied AI models is becoming increasingly prevalent. However, existing zero-shot LLM-based Vision-and-Language Navigation (VLN) agents either encode images as textual scene descriptions, potentially oversimplifying visual details, or process raw image inputs, which can fail to capture abstract semantics required for high-level reasoning. In this paper, we improve the navigation agent's contextual understanding by incorporating textual descriptions from multiple perspectives that facilitate analogical reasoning across images. By leveraging text-based analogical reasoning, the agent enhances its global scene understanding and spatial reasoning, leading to more accurate action decisions. We evaluate our approach on the R2R dataset, where our experiments demonstrate significant improvements in navigation performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)を具体化したAIモデルに統合する動きがますます広まっている。 しかし、既存のゼロショットLLMベースのビジョン・アンド・ランゲージ・ナビゲーション(VLN)エージェントは、画像をテキストのシーン記述としてエンコードするか、視覚的詳細を過度に単純化するか、あるいは生画像入力を処理し、高レベルの推論に必要な抽象的意味論を捉えることができない。 本稿では、画像間の類似推論を容易にする複数の視点からテキスト記述を組み込むことにより、ナビゲーションエージェントの文脈理解を改善する。 テキストベースの類似推論を活用することにより、エージェントはグローバルなシーン理解と空間推論を強化し、より正確なアクション決定につながる。 R2Rデータセットに対する我々のアプローチの評価を行い、ナビゲーション性能を大幅に改善したことを示す。

関連論文リスト

• Integrating Visual Interpretation and Linguistic Reasoning for Math Problem Solving [61.992824291296444]
  現在の大型視覚言語モデル(LVLM)は、通常、大型言語モデル(LLM)のテキスト埋め込みと視覚的特徴をリンクするためのコネクタモジュールを使用する。 本稿では,エンド・ツー・エンドの視覚言語推論モデルをトレーニングする代わりに,分離された推論フレームワークの開発を提唱する。
  論文  参考訳（メタデータ） (2025-05-23T08:18:00Z)
• VIPER: Visual Perception and Explainable Reasoning for Sequential Decision-Making [17.313485392764353]
  VIPERはマルチモーダル命令ベースの計画のための新しいフレームワークである。 VLMベースの知覚とLLMベースの推論を統合する。 その結果、VIPERは最先端のビジュアル・インストラクション・ベース・プランナーよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-19T11:05:42Z)
• Towards Interpreting Visual Information Processing in Vision-Language Models [24.51408101801313]
  VLM(Vision-Language Models)は、テキストや画像の処理と理解のための強力なツールである。 著名なVLMであるLLaVAの言語モデルコンポーネントにおける視覚トークンの処理について検討する。
  論文  参考訳（メタデータ） (2024-10-09T17:55:02Z)
• From Redundancy to Relevance: Information Flow in LVLMs Across Reasoning Tasks [33.476693301050275]
  我々は,視覚的質問応答と画像キャプションタスクのために,様々なLVLMの切り抜き戦略を用いて実験を行った。 視覚的表現の貢献の観点から情報の流れを探索することにより、浅い層に収束する傾向にあるが、より深い層に分散する傾向があることを観察する。
  論文  参考訳（メタデータ） (2024-06-04T13:52:54Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• VELMA: Verbalization Embodiment of LLM Agents for Vision and Language Navigation in Street View [81.58612867186633]
  視覚と言語ナビゲーション(VLN)は、視覚的および自然言語の理解と空間的および時間的推論能力を必要とする。 VELMAは,2つのコンテキスト内例のみを用いて,ストリートビューでのナビゲーション指示に従うことができることを示す。 数千の例でLLMエージェントをさらに微調整し、従来の2つのデータセットのタスク完了に対する25%-30%の相対的な改善を実現した。
  論文  参考訳（メタデータ） (2023-07-12T11:08:24Z)
• Visually-Situated Natural Language Understanding with Contrastive Reading Model and Frozen Large Language Models [24.456117679941816]
  Contrastive Reading Model (Cream)は、Large Language Models (LLM)の言語画像理解能力を高めるために設計された、新しいニューラルネットワークである。 我々のアプローチは、視覚と言語理解のギャップを埋め、より洗練されたドキュメントインテリジェンスアシスタントの開発の道を開く。
  論文  参考訳（メタデータ） (2023-05-24T11:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。