論文の概要: I2EDL: Interactive Instruction Error Detection and Localization

• arxiv url: http://arxiv.org/abs/2406.05080v1
• Date: Fri, 7 Jun 2024 16:52:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 13:12:42.517837
• Title: I2EDL: Interactive Instruction Error Detection and Localization
• Title（参考訳）: I2EDL:インタラクティブなインストラクションエラー検出と位置決め
• Authors: Francesco Taioli, Stefano Rosa, Alberto Castellini, Lorenzo Natale, Alessio Del Bue, Alessandro Farinelli, Marco Cristani, Yiming Wang,
• Abstract要約: 連続環境(IVLN-CE)における対話型VLNの新たな課題を提案する。 これにより、VLN-CEナビゲーション中にエージェントがユーザと対話し、命令エラーに関する疑念を検証できる。 我々は、事前学習したモジュールを利用して命令エラーを検出し、テキスト入力と過去の観察を相互参照することで、命令中のそれらをピンポイントする。
• 参考スコア（独自算出の注目度）: 65.25839671641218
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the Vision-and-Language Navigation in Continuous Environments (VLN-CE) task, the human user guides an autonomous agent to reach a target goal via a series of low-level actions following a textual instruction in natural language. However, most existing methods do not address the likely case where users may make mistakes when providing such instruction (e.g. "turn left" instead of "turn right"). In this work, we address a novel task of Interactive VLN in Continuous Environments (IVLN-CE), which allows the agent to interact with the user during the VLN-CE navigation to verify any doubts regarding the instruction errors. We propose an Interactive Instruction Error Detector and Localizer (I2EDL) that triggers the user-agent interaction upon the detection of instruction errors during the navigation. We leverage a pre-trained module to detect instruction errors and pinpoint them in the instruction by cross-referencing the textual input and past observations. In such way, the agent is able to query the user for a timely correction, without demanding the user's cognitive load, as we locate the probable errors to a precise part of the instruction. We evaluate the proposed I2EDL on a dataset of instructions containing errors, and further devise a novel metric, the Success weighted by Interaction Number (SIN), to reflect both the navigation performance and the interaction effectiveness. We show how the proposed method can ask focused requests for corrections to the user, which in turn increases the navigation success, while minimizing the interactions.
• Abstract（参考訳）: VLN-CE(Vision-and-Language Navigation in Continuous Environments)タスクでは、人間のユーザは、自然言語によるテキスト命令に続く一連の低レベルアクションを通じて、自律エージェントが目標を達成するようにガイドする。 しかし、既存のほとんどのメソッドは、ユーザーがそのような命令(例えば「右に曲がる」代わりに「左に曲がる」など)を提供する際に間違いを犯す可能性のあるケースに対処していない。 本研究では,連続環境における対話型VLN-CE(Interactive VLN-CE)の新たな課題に対処し,VLN-CEナビゲーション中にエージェントがユーザと対話して,命令エラーに関する疑念を検証できるようにする。 ナビゲーション中の命令エラーを検出する際に,ユーザエージェント間のインタラクションをトリガーする対話型インストラクションエラー検出およびローカライザ(I2EDL)を提案する。 我々は、事前学習したモジュールを利用して命令エラーを検出し、テキスト入力と過去の観察を相互参照することで、命令中のそれらをピンポイントする。 このようにして、エージェントはユーザの認知負荷を必要とせずに、タイムリーな修正を求めることができる。 提案したI2EDLは,エラーを含む命令のデータセットに基づいて評価し,さらに,ナビゲーション性能とインタラクションの有効性の両方を反映した新しい指標であるSIN(Successed by Interaction Number)を考案する。 提案手法は,ユーザに対して,対話の最小化を図りながら,ナビゲーションの成功率を高めた修正要求を集中的に要求する方法を示す。

関連論文リスト

• Mind the Error! Detection and Localization of Instruction Errors in Vision-and-Language Navigation [65.25839671641218]
  そこで本研究では,潜在的な人的原因を考慮に入れた各種命令誤りを導入した新しいベンチマークデータセットを提案する。 我々のベンチマークで最先端のVLN-CE法を評価する場合、成功率において顕著な性能低下(最大-25%)が観測される。 また, エラー検出とローカライゼーションにおいて, 最適な性能を実現するための, クロスモーダルトランスフォーマーアーキテクチャに基づく効率的な手法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T21:36:15Z)
• TINA: Think, Interaction, and Action Framework for Zero-Shot Vision Language Navigation [11.591176410027224]
  本稿では,Large Language Models(LLM)に基づく視覚言語ナビゲーション(VLN)エージェントを提案する。 環境認識におけるLLMの欠点を補うための思考・相互作用・行動の枠組みを提案する。 また,本手法は教師付き学習手法よりも優れ,ゼロショットナビゲーションの有効性を強調した。
  論文  参考訳（メタデータ） (2024-03-13T05:22:39Z)
• Think, Act, and Ask: Open-World Interactive Personalized Robot Navigation [17.279875204729553]
  Zero-Shot Object Navigation (ZSON)は、エージェントが未知の環境でオープン語彙オブジェクトへナビゲートすることを可能にする。 ZIPONでは、ユーザーとの会話をしながら、ロボットがパーソナライズされた目標オブジェクトにナビゲートする必要がある。 我々は、知覚、ナビゲーション、コミュニケーションのための異なるモジュールを操作するためのシーケンシャルな決定を行うために、Open-woRld Interactive persOnalized Navigation (ORION)を提案する。
  論文  参考訳（メタデータ） (2023-10-12T01:17:56Z)
• $A^2$Nav: Action-Aware Zero-Shot Robot Navigation by Exploiting Vision-and-Language Ability of Foundation Models [89.64729024399634]
  本研究では,ゼロショット視覚言語ナビゲーション(ZS-VLN)の課題について検討する。 通常、命令は複雑な文法構造を持ち、しばしば様々な行動記述を含む。 これらのアクション要求を正しく理解し実行する方法は重要な問題であり、アノテーション付きデータがないため、さらに困難になる。
  論文  参考訳（メタデータ） (2023-08-15T19:01:19Z)
• Accessible Instruction-Following Agent [0.0]
  UVLNは、言語間視覚言語ナビゲーションのための新しい機械翻訳命令拡張フレームワークである。 我々は、標準VLNトレーニング目標を言語間エンコーダを介して多言語設定に拡張する。 Room Across Roomデータセットによる実験は、我々のアプローチの有効性を証明する。
  論文  参考訳（メタデータ） (2023-05-08T23:57:26Z)
• Contrastive Instruction-Trajectory Learning for Vision-Language Navigation [66.16980504844233]
  視覚言語ナビゲーション(VLN)タスクでは、エージェントが自然言語の指示でターゲットに到達する必要がある。 先行研究は、命令-軌道対間の類似点と相違点を識別できず、サブ命令の時間的連続性を無視する。 本稿では、類似したデータサンプル間の分散と、異なるデータサンプル間の分散を探索し、ロバストなナビゲーションのための独特な表現を学習するContrastive Instruction-Trajectory Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-08T06:32:52Z)
• Adversarial Reinforced Instruction Attacker for Robust Vision-Language Navigation [145.84123197129298]
  自然言語に基づくナビゲーションタスクでは,言語指導が重要な役割を担っている。 より堅牢なナビゲータを訓練し、長い指導から重要な要素を動的に抽出する。 具体的には,航法士が間違った目標に移動することを誤認することを学習する動的強化命令攻撃装置(DR-Attacker)を提案する。
  論文  参考訳（メタデータ） (2021-07-23T14:11:31Z)
• Language-guided Navigation via Cross-Modal Grounding and Alternate Adversarial Learning [66.9937776799536]
  新たなビジョン・アンド・ランゲージナビゲーション(VLN)問題は、見えない写真リアリスティック環境において、エージェントがターゲットの場所に向かうことを学習することを目的としている。 VLNの主な課題は、主に2つの側面から生じている: まず、エージェントは動的に変化する視覚環境に対応する言語命令の有意義な段落に出席する必要がある。 そこで本稿では,エージェントにテキストと視覚の対応性を追跡する機能を持たせるために,クロスモーダルグラウンドモジュールを提案する。
  論文  参考訳（メタデータ） (2020-11-22T09:13:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。