論文の概要: Improving Vision-and-Language Navigation by Generating Future-View Image Semantics

• arxiv url: http://arxiv.org/abs/2304.04907v1
• Date: Tue, 11 Apr 2023 00:36:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 16:35:03.819463
• Title: Improving Vision-and-Language Navigation by Generating Future-View Image Semantics
• Title（参考訳）: future-viewイメージセマンティクス生成による視覚・言語ナビゲーションの改善
• Authors: Jialu Li, Mohit Bansal
• Abstract要約: VLN(Vision-and-Language Navigation)は、自然言語命令に基づいてエージェントが環境をナビゲートする必要があるタスクである。 エージェントのドメイン内事前トレーニングにおける3つのプロキシタスクを提案する: Masked Panorama Modeling (MPM)、 Masked Trajectory Modeling (MTM)、Action Prediction with Image Generation (APIG)。 次に、VLNタスク上のエージェントを補助的損失で微調整し、エージェントが生成するビューセマンティクスと次のステップのグラウンド真実ビューセマンティクスとの差を最小限に抑える。
• 参考スコア（独自算出の注目度）: 96.8435716885159
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-and-Language Navigation (VLN) is the task that requires an agent to navigate through the environment based on natural language instructions. At each step, the agent takes the next action by selecting from a set of navigable locations. In this paper, we aim to take one step further and explore whether the agent can benefit from generating the potential future view during navigation. Intuitively, humans will have an expectation of how the future environment will look like, based on the natural language instructions and surrounding views, which will aid correct navigation. Hence, to equip the agent with this ability to generate the semantics of future navigation views, we first propose three proxy tasks during the agent's in-domain pre-training: Masked Panorama Modeling (MPM), Masked Trajectory Modeling (MTM), and Action Prediction with Image Generation (APIG). These three objectives teach the model to predict missing views in a panorama (MPM), predict missing steps in the full trajectory (MTM), and generate the next view based on the full instruction and navigation history (APIG), respectively. We then fine-tune the agent on the VLN task with an auxiliary loss that minimizes the difference between the view semantics generated by the agent and the ground truth view semantics of the next step. Empirically, our VLN-SIG achieves the new state-of-the-art on both the Room-to-Room dataset and the CVDN dataset. We further show that our agent learns to fill in missing patches in future views qualitatively, which brings more interpretability over agents' predicted actions. Lastly, we demonstrate that learning to predict future view semantics also enables the agent to have better performance on longer paths.
• Abstract（参考訳）: VLN(Vision-and-Language Navigation)は、自然言語命令に基づいてエージェントが環境をナビゲートする必要があるタスクである。 各ステップでエージェントは、ナビゲート可能な場所のセットから選択することで次のアクションを取る。 本稿では,さらに一歩進めて,エージェントがナビゲーション中に将来的なビューを生成できるかどうかを検討することを目的とする。 直感的には、自然言語による指示と周囲の視点に基づいて、人間は将来の環境がどのように見えるかを期待できる。 そこで,このエージェントに将来のナビゲーションビューのセマンティクスを生成する能力を持たせるために,まず,エージェントのドメイン内事前トレーニング中の3つのプロキシタスクを提案する: マスクパノラマモデリング(mpm),マスク軌道モデリング(mtm),および画像生成によるアクション予測(apig)。 これらの3つの目的は、パノラマ(MPM)における行方不明の視点を予測し、全軌跡(MTM)における行方不明のステップを予測し、フルインストラクションとナビゲーション履歴(APIG)に基づいて次のビューを生成する。 次に、VLNタスク上のエージェントを補助的損失で微調整し、エージェントが生成するビューセマンティクスと次のステップの地上真実ビューセマンティクスとの差を最小限に抑える。 経験的に、VLN-SIGはRoom-to-RoomデータセットとCVDNデータセットの両方で新しい最先端を実現する。 さらに, エージェントは, エージェントの予測した行動よりも解釈性を高めるために, 将来的な視点で欠落するパッチを定性的に埋めることを学ぶ。 最後に、将来のビューセマンティクスを予測する学習により、エージェントがより長いパスでより良いパフォーマンスを得られることを示す。

関連論文リスト

• UnitedVLN: Generalizable Gaussian Splatting for Continuous Vision-Language Navigation [71.97405667493477]
  我々は,UnitedVLNと呼ばれる,新しい汎用3DGSベースの事前学習パラダイムを導入する。 エージェントは、高忠実度360度ビジュアルイメージとセマンティック特徴を統一してレンダリングすることで、将来の環境をよりよく探索することができる。 UnitedVLNは既存のVLN-CEベンチマークで最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-11-25T02:44:59Z)
• Lookahead Exploration with Neural Radiance Representation for Continuous Vision-Language Navigation [41.38630220744729]
  ビジョン・アンド・ランゲージナビゲーション(VLN)は、エージェントが3D環境における自然言語の指示に従って遠隔地へ移動できるようにする。 より良い航法計画のために、ルックアヘッド探索戦略は、候補地の将来環境を正確に予測し、エージェントの次の行動を効果的に評価することを目的としている。
  論文  参考訳（メタデータ） (2024-04-02T13:36:03Z)
• LangNav: Language as a Perceptual Representation for Navigation [63.90602960822604]
  視覚・言語ナビゲーション(VLN)における知覚表現としての言語の利用について検討する。 提案手法では,画像キャプションや物体検出に市販の視覚システムを用いて,エージェントのエゴセントリックなパノラマビューを各ステップで自然言語記述に変換する。
  論文  参考訳（メタデータ） (2023-10-11T20:52:30Z)
• VELMA: Verbalization Embodiment of LLM Agents for Vision and Language Navigation in Street View [81.58612867186633]
  視覚と言語ナビゲーション(VLN)は、視覚的および自然言語の理解と空間的および時間的推論能力を必要とする。 VELMAは,2つのコンテキスト内例のみを用いて,ストリートビューでのナビゲーション指示に従うことができることを示す。 数千の例でLLMエージェントをさらに微調整し、従来の2つのデータセットのタスク完了に対する25%-30%の相対的な改善を実現した。
  論文  参考訳（メタデータ） (2023-07-12T11:08:24Z)
• NavGPT: Explicit Reasoning in Vision-and-Language Navigation with Large Language Models [17.495162643127003]
  我々は,複雑なエンボディシーンにおけるGPTモデルの推論能力を明らかにするために,NavGPTを導入した。 NavGPTは、視覚的な観察、ナビゲーション履歴、将来の探索可能な方向のテキスト記述を入力として、エージェントの現在の状態を推論する。 本研究では,NavGPTが経路に沿った観察や行動から高品質なナビゲーション命令を生成可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-26T14:41:06Z)
• Masked Path Modeling for Vision-and-Language Navigation [41.7517631477082]
  ヴィジュアル・アンド・ランゲージ・ナビゲーション(VLN)エージェントは、自然言語の指示に従うことで現実世界の環境をナビゲートするように訓練されている。 以前のアプローチでは、トレーニング中に追加の監督を導入することでこの問題に対処しようと試みていた。 本稿では,下流ナビゲーションタスクに自己コンパイルデータを用いてエージェントを事前訓練する,マスク付きパスモデリング(MPM)手法を提案する。
  論文  参考訳（メタデータ） (2023-05-23T17:20:20Z)
• HOP: History-and-Order Aware Pre-training for Vision-and-Language Navigation [33.38079488853708]
  以前のVision-and-Language Navigation (VLN)の事前トレーニング手法には、将来のアクションを予測する能力やコンテキストを無視する能力がない。 本稿では,過去の観測を生かし,今後の行動予測を支援する新しい事前学習パラダイムを提案する。 我々のナビゲーション行動予測は、歴史を伴う行動予測のタスクによって強化される。
  論文  参考訳（メタデータ） (2022-03-22T10:17:12Z)
• Improving Cross-Modal Alignment in Vision Language Navigation via Syntactic Information [83.62098382773266]
  ビジョン言語ナビゲーションは、エージェントが自然言語の指示に基づいて3D環境をナビゲートする必要があるタスクです。 命令と現在の視覚シーンの整合性を高めるために,依存木から派生した構文情報を利用したナビゲーションエージェントを提案する。 このエージェントは3つの言語による命令を含むroom-across-roomデータセットの新たな最先端を実現する。
  論文  参考訳（メタデータ） (2021-04-19T19:18:41Z)
• Towards Learning a Generic Agent for Vision-and-Language Navigation via Pre-training [150.35927365127176]
  視覚・言語ナビゲーション(VLN)タスクのための,最初の事前学習および微調整パラダイムを提案する。 自己教師付き学習方式で大量の画像-テキスト-アクション三つ子を訓練することにより、事前学習されたモデルは、視覚環境と言語命令の一般的な表現を提供する。 新たなタスクにおいてより効果的に学習し、以前は目に見えない環境でより良く一般化する。
  論文  参考訳（メタデータ） (2020-02-25T03:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。