論文の概要: Which way is `right'?: Uncovering limitations of Vision-and-Language Navigation model

• arxiv url: http://arxiv.org/abs/2312.00151v1
• Date: Thu, 30 Nov 2023 19:16:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 16:36:02.905881
• Title: Which way is `right'?: Uncovering limitations of Vision-and-Language Navigation model
• Title（参考訳）: どちらが 'right' ですか? 視覚言語ナビゲーションモデルの限界を明らかにする
• Authors: Meera Hahn, Amit Raj, James M. Rehg
• Abstract要約: VLN(Vision-and-Language Navigation)は、目標の位置やオブジェクトに到達するために、自然言語命令に従うための具体的エージェントを必要とする。 エージェントがこのタスクを成功させるためには、インストラクションに参照されたオブジェクトを視覚的なシーンにグラウンドできる必要があります。 ナビゲーションモデルの判断に空間的および指向性のある言語的手がかりはどの程度の程度か?
• 参考スコア（独自算出の注目度）: 22.411040828204793
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The challenging task of Vision-and-Language Navigation (VLN) requires embodied agents to follow natural language instructions to reach a goal location or object (e.g. `walk down the hallway and turn left at the piano'). For agents to complete this task successfully, they must be able to ground objects referenced into the instruction (e.g.`piano') into the visual scene as well as ground directional phrases (e.g.`turn left') into actions. In this work we ask the following question -- to what degree are spatial and directional language cues informing the navigation model's decisions? We propose a series of simple masking experiments to inspect the model's reliance on different parts of the instruction. Surprisingly we uncover that certain top performing models rely only on the noun tokens of the instructions. We propose two training methods to alleviate this concerning limitation.
• Abstract（参考訳）: VLN(Vision-and-Language Navigation)の課題は、目標の位置や対象(例えば「廊下を歩き、ピアノを左に曲がる」など)に到達するための自然言語命令に従うことである。 エージェントがこのタスクを成功させるためには、命令(例えば、piano')に参照されたオブジェクトを視覚シーンに、また、基底方向のフレーズ(例えば、turn left')をアクションにグラウンドすることができる必要があります。 この仕事において、私たちは以下の質問をします -- ナビゲーションモデルの意思決定に、空間的および方向的言語的手がかりはどの程度あるのか? そこで本研究では,モデルの異なる部分への依存度を調べるための簡易マスキング実験を提案する。 驚いたことに、一部のトップパフォーマンスモデルは命令の名詞トークンのみに依存している。 制限に関する2つのトレーニング手法を提案する。

関連論文リスト

• $A^2$Nav: Action-Aware Zero-Shot Robot Navigation by Exploiting Vision-and-Language Ability of Foundation Models [89.64729024399634]
  本研究では,ゼロショット視覚言語ナビゲーション(ZS-VLN)の課題について検討する。 通常、命令は複雑な文法構造を持ち、しばしば様々な行動記述を含む。 これらのアクション要求を正しく理解し実行する方法は重要な問題であり、アノテーション付きデータがないため、さらに困難になる。
  論文  参考訳（メタデータ） (2023-08-15T19:01:19Z)
• Learning Vision-and-Language Navigation from YouTube Videos [89.1919348607439]
  視覚言語ナビゲーション(VLN)は、自然言語命令を用いて現実的な3D環境をナビゲートするために、具体化されたエージェントを必要とする。 YouTubeには大量のハウスツアービデオがあり、豊富なナビゲーション体験とレイアウト情報を提供している。 住宅ツアービデオから合理的な経路指示ペアとエージェントを事前訓練した大規模データセットを作成する。
  論文  参考訳（メタデータ） (2023-07-22T05:26:50Z)
• VLN-Trans: Translator for the Vision and Language Navigation Agent [23.84492755669486]
  ナビゲーションエージェントのためのトランスレータモジュールを設計し、元の命令を簡単に追従できるサブ命令表現に変換する。 我々は、新しい合成サブインストラクションデータセットを作成し、トランスレータとナビゲーションエージェントを訓練するための特定のタスクを設計する。 本研究では,Room2Room(R2R),Room4room(R4R),Room2Room Last(R2R-Last)データセットについて検討した。
  論文  参考訳（メタデータ） (2023-02-18T04:19:51Z)
• Neighbor-view Enhanced Model for Vision and Language Navigation [78.90859474564787]
  視覚と言語ナビゲーション(VLN)では、エージェントが自然言語の指示に従うことによって、ターゲットの場所へナビゲートする必要がある。 本研究では,隣接するビューから視覚的コンテキストを適応的に組み込むマルチモジュールNeighbor-View Enhanced Model (NvEM)を提案する。
  論文  参考訳（メタデータ） (2021-07-15T09:11:02Z)
• Improving Cross-Modal Alignment in Vision Language Navigation via Syntactic Information [83.62098382773266]
  ビジョン言語ナビゲーションは、エージェントが自然言語の指示に基づいて3D環境をナビゲートする必要があるタスクです。 命令と現在の視覚シーンの整合性を高めるために,依存木から派生した構文情報を利用したナビゲーションエージェントを提案する。 このエージェントは3つの言語による命令を含むroom-across-roomデータセットの新たな最先端を実現する。
  論文  参考訳（メタデータ） (2021-04-19T19:18:41Z)
• Know What and Know Where: An Object-and-Room Informed Sequential BERT for Indoor Vision-Language Navigation [120.90387630691816]
  VLN(Vision-and-Language Navigation)は、自然言語命令と写真リアリスティックパノラマのセットに基づいて、エージェントが遠隔地へ移動する必要がある。 既存の手法の多くは、各パノラマの命令と離散ビューで単語をエンコーディングの最小単位とする。 視覚知覚と言語指示を同一のきめ細かいレベルで符号化するオブジェクトインフォームド・シーケンシャルBERTを提案する。
  論文  参考訳（メタデータ） (2021-04-09T02:44:39Z)
• Scene-Intuitive Agent for Remote Embodied Visual Grounding [89.73786309180139]
  人間は生命の出来事から学び、視覚環境や言語を理解するための直感を形成する。 このような人間の行動を模倣するエージェントを紹介します。
  論文  参考訳（メタデータ） (2021-03-24T02:37:48Z)
• Are We There Yet? Learning to Localize in Embodied Instruction Following [1.7300690315775575]
  Action Learning From Realistic Environments and Directives (ALFRED)は、この問題に対する最近提案されたベンチマークである。 このタスクの主な課題は、ターゲット位置のローカライズと、視覚的な入力によるナビゲーションである。 ナビゲーションサブゴール中のエージェントの視野を複数の視野角で拡張し、各タイムステップでターゲット位置に対する相対的な空間的関係を予測するようにエージェントを訓練します。
  論文  参考訳（メタデータ） (2021-01-09T21:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。