論文の概要: GoViG: Goal-Conditioned Visual Navigation Instruction Generation

• arxiv url: http://arxiv.org/abs/2508.09547v1
• Date: Wed, 13 Aug 2025 07:05:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.79285
• Title: GoViG: Goal-Conditioned Visual Navigation Instruction Generation
• Title（参考訳）: GoViG: ゴールコンディションのビジュアルナビゲーション命令生成
• Authors: Fengyi Wu, Yifei Dong, Zhi-Qi Cheng, Yilong Dai, Guangyu Chen, Hang Wang, Qi Dai, Alexander G. Hauptmann,
• Abstract要約: 本稿では,Goal-Conditioned Visual Navigation Instruction Generation (GoViG)を紹介する。 GoViGは生のエゴセントリックな視覚データのみを活用し、目に見えない非構造環境への適応性を大幅に改善する。
• 参考スコア（独自算出の注目度）: 69.79110149746506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Goal-Conditioned Visual Navigation Instruction Generation (GoViG), a new task that aims to autonomously generate precise and contextually coherent navigation instructions solely from egocentric visual observations of initial and goal states. Unlike conventional approaches that rely on structured inputs such as semantic annotations or environmental maps, GoViG exclusively leverages raw egocentric visual data, substantially improving its adaptability to unseen and unstructured environments. Our method addresses this task by decomposing it into two interconnected subtasks: (1) visual forecasting, which predicts intermediate visual states bridging the initial and goal views; and (2) instruction generation, which synthesizes linguistically coherent instructions grounded in both observed and anticipated visuals. These subtasks are integrated within an autoregressive multimodal large language model trained with tailored objectives to ensure spatial accuracy and linguistic clarity. Furthermore, we introduce two complementary multimodal reasoning strategies, one-pass and interleaved reasoning, to mimic incremental human cognitive processes during navigation. To evaluate our method, we propose the R2R-Goal dataset, combining diverse synthetic and real-world trajectories. Empirical results demonstrate significant improvements over state-of-the-art methods, achieving superior BLEU-4 and CIDEr scores along with robust cross-domain generalization.
• Abstract（参考訳）: 本稿では,Goal-Conditioned Visual Navigation Instruction Generation (GoViG)について紹介する。 セマンティックアノテーションや環境マップのような構造化された入力に依存する従来のアプローチとは異なり、GoViGは生のエゴセントリックな視覚データのみを活用し、目に見えない環境への適応性を著しく改善している。 本手法は,(1)初期視点と目標視点を橋渡しする中間視覚状態を予測する視覚予測,(2)観察および予測された視覚の両方に根ざした言語的に一貫性のある指示を合成する命令生成という2つの相互接続サブタスクに分解することで,この問題に対処する。 これらのサブタスクは、空間的精度と言語的明瞭さを確保するために、調整された目的によって訓練された自己回帰多モーダルな大規模言語モデルに統合される。 さらに、ナビゲーション中の段階的な人間の認知過程を模倣する2つの補完的マルチモーダル推論戦略、ワンパス推論とインターリーブ推論を導入する。 提案手法を評価するために,R2R-Goalデータセットを提案する。 実験により、最先端の手法よりも優れたBLEU-4とCIDErのスコアと堅牢なクロスドメインの一般化が得られた。

関連論文リスト

• Unseen from Seen: Rewriting Observation-Instruction Using Foundation Models for Augmenting Vision-Language Navigation [67.31811007549489]
  視覚言語ナビゲーション(VLN)のためのリライト駆動型AugMentation(RAM)パラダイムを提案する。 書き換え機構を応用して, シミュレータフリー, 省力化の両面で新たな観察指導が可能となり, 一般化が促進される。 離散環境 (R2R, REVERIE, R4R) と連続環境 (R2R-CE) の両方における実験により, 本手法の優れた性能と優れた一般化能力が示された。
  論文  参考訳（メタデータ） (2025-03-23T13:18:17Z)
• Cog-GA: A Large Language Models-based Generative Agent for Vision-Language Navigation in Continuous Environments [19.818370526976974]
  VLN-CE(Vision Language Navigation in Continuous Environments)は、AIのフロンティアである。 本稿では,VLN-CEタスクに適した大規模言語モデル(LLM)に基づく生成エージェントであるCog-GAを紹介する。 Cog-GAは、人間のような認知過程をエミュレートするための二重戦略を採用している。
  論文  参考訳（メタデータ） (2024-09-04T08:30:03Z)
• A Dual Semantic-Aware Recurrent Global-Adaptive Network For Vision-and-Language Navigation [3.809880620207714]
  VLN(Vision-and-Language Navigation)は、エージェントが言語と視覚の手がかりを使用してターゲット領域を特定することを必要とする現実的だが困難なタスクである。 本研究は、上記の問題に対処するため、DSRG(Dual semantic-aware Recurrent Global-Adaptive Network)を提案する。
  論文  参考訳（メタデータ） (2023-05-05T15:06:08Z)
• Actional Atomic-Concept Learning for Demystifying Vision-Language Navigation [124.07372905781696]
  行動原子概念学習(Actical Atomic-Concept Learning, ACL)は、視覚的な観察を行動原子の概念にマッピングしてアライメントを促進する。 AACLは、細粒度(R2R)と高レベル(REVERIEとR2R-Last)のVLNベンチマークで新しい最先端結果を確立する。
  論文  参考訳（メタデータ） (2023-02-13T03:08:05Z)
• Contrastive Instruction-Trajectory Learning for Vision-Language Navigation [66.16980504844233]
  視覚言語ナビゲーション(VLN)タスクでは、エージェントが自然言語の指示でターゲットに到達する必要がある。 先行研究は、命令-軌道対間の類似点と相違点を識別できず、サブ命令の時間的連続性を無視する。 本稿では、類似したデータサンプル間の分散と、異なるデータサンプル間の分散を探索し、ロバストなナビゲーションのための独特な表現を学習するContrastive Instruction-Trajectory Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-08T06:32:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。