論文の概要: On the Evaluation of Vision-and-Language Navigation Instructions

• arxiv url: http://arxiv.org/abs/2101.10504v1
• Date: Tue, 26 Jan 2021 01:03:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-03-14 15:37:21.022090
• Title: On the Evaluation of Vision-and-Language Navigation Instructions
• Title（参考訳）: 視覚言語ナビゲーション指示の評価について
• Authors: Ming Zhao, Peter Anderson, Vihan Jain, Su Wang, Alexander Ku, Jason Baldridge, Eugene Ie
• Abstract要約: 自動的に生成されたナビゲーション命令を利用することで、視覚・言語ナビゲーションのウェイフィングエージェントを強化することができる。 既存の命令生成装置は包括的に評価されていない。 BLEU、ROUGE、METEORおよびCIDErは接地ナビゲーションの指示を評価するために有効ではないです。
• 参考スコア（独自算出の注目度）: 76.92085026018427
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-and-Language Navigation wayfinding agents can be enhanced by exploiting automatically generated navigation instructions. However, existing instruction generators have not been comprehensively evaluated, and the automatic evaluation metrics used to develop them have not been validated. Using human wayfinders, we show that these generators perform on par with or only slightly better than a template-based generator and far worse than human instructors. Furthermore, we discover that BLEU, ROUGE, METEOR and CIDEr are ineffective for evaluating grounded navigation instructions. To improve instruction evaluation, we propose an instruction-trajectory compatibility model that operates without reference instructions. Our model shows the highest correlation with human wayfinding outcomes when scoring individual instructions. For ranking instruction generation systems, if reference instructions are available we recommend using SPICE.
• Abstract（参考訳）: 自動的に生成されたナビゲーション命令を利用することで、視覚・言語ナビゲーションのウェイフィングエージェントを強化することができる。 しかし、既存の命令生成器は包括的に評価されておらず、それを開発するのに使われる自動評価指標は検証されていない。 ヒトのウェイファインダーを用いて、これらのジェネレータはテンプレートベースのジェネレータと同等かわずかに優れた性能を示し、人間のインストラクターよりはるかに悪い性能を示す。 さらに, BLEU, ROUGE, METEOR, CIDErは, 接地したナビゲーション命令を評価するのに有効でないことがわかった。 命令評価を改善するために,参照命令を使わずに動作する命令軌道互換モデルを提案する。 本モデルでは,個々の指示を得点する場合,人間のウェイフィング結果と最も高い相関関係を示す。 ランキング命令生成システムについては、参照命令が利用可能であればSPICEの使用を推奨します。

関連論文リスト

• Spatially-Aware Speaker for Vision-and-Language Navigation Instruction Generation [8.931633531104021]
  SAS(Spatially-Aware Speaker)は、環境の構造的知識と意味的知識の両方を用いてよりリッチな命令を生成する命令生成装置である。 提案手法は,既存の命令生成モデルより優れ,標準指標を用いて評価する。
  論文  参考訳（メタデータ） (2024-09-09T13:12:11Z)
• Evaluation of Instruction-Following Ability for Large Language Models on Story-Ending Generation [2.4889060833127665]
  本稿では,大規模言語モデル(LLM)の物語生成の文脈における指示追従能力の評価に焦点をあてる。 本稿では,機械読影理解モデル(MRC)を用いた自動評価パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-24T06:53:36Z)
• Can LLMs Generate Human-Like Wayfinding Instructions? Towards Platform-Agnostic Embodied Instruction Synthesis [51.04181562775778]
  本稿では,ロボットエージェントの「ウェイフィンディング指示」を自動的に合成する手法を提案する。 提案アルゴリズムは,LLMの条件付けにコンテキスト内学習を用い,わずかな参照を用いて命令を生成する。 我々は,Matterport3D,AI Habitat,ThreeDWorldなど,複数のシミュレーションプラットフォームにアプローチを実装した。
  論文  参考訳（メタデータ） (2024-03-18T05:38:07Z)
• Lana: A Language-Capable Navigator for Instruction Following and Generation [70.76686546473994]
  LANAは言語対応のナビゲーションエージェントで、人書きのナビゲーションコマンドを実行し、人へのルート記述を提供することができる。 我々は、最近の高度なタスク固有解と比較して、LANAが命令追従と経路記述の両方においてより良い性能を発揮することを実証的に検証した。 加えて、言語生成能力が与えられたLANAは、人間の行動を説明し、人間のウェイフィンディングを支援することができる。
  論文  参考訳（メタデータ） (2023-03-15T07:21:28Z)
• Self-Instruct: Aligning Language Models with Self-Generated Instructions [76.42871502364697]
  Self-Instructは、事前訓練された言語モデルの命令フォロー機能を改善するためのフレームワークである。 私たちのパイプラインは、言語モデルから命令、入力、および出力のサンプルを生成し、その後、元のモデルを微調整するためにそれらを使用する前に、無効または類似のサンプルをフィルタします。 さらなる評価のために、新規タスクのエキスパートによる指示のセットをキュレートし、GPT3とセルフインストラクトのチューニングが既存の公開インストラクションデータセットを大きなマージンで向上することを示す。
  論文  参考訳（メタデータ） (2022-12-20T18:59:19Z)
• FOAM: A Follower-aware Speaker Model For Vision-and-Language Navigation [45.99831101677059]
  追従者からのフィードバックを受けて常に更新されるtextscfoam, textscFollower-textscaware speaker textscModelを提案する。 両レベル最適化フレームワークを用いて話者を最適化し、ラベル付きデータ上で追従者を評価することにより、学習信号を得る。
  論文  参考訳（メタデータ） (2022-06-09T06:11:07Z)
• Counterfactual Cycle-Consistent Learning for Instruction Following and Generation in Vision-Language Navigation [172.15808300686584]
  本稿では,2つのタスクを同時に学習し,それぞれのトレーニングを促進するために本質的な相関性を利用するアプローチについて述べる。 提案手法は,様々な追従モデルの性能を改善し,正確なナビゲーション命令を生成する。
  論文  参考訳（メタデータ） (2022-03-30T18:15:26Z)
• Adversarial Reinforced Instruction Attacker for Robust Vision-Language Navigation [145.84123197129298]
  自然言語に基づくナビゲーションタスクでは,言語指導が重要な役割を担っている。 より堅牢なナビゲータを訓練し、長い指導から重要な要素を動的に抽出する。 具体的には,航法士が間違った目標に移動することを誤認することを学習する動的強化命令攻撃装置(DR-Attacker)を提案する。
  論文  参考訳（メタデータ） (2021-07-23T14:11:31Z)
• Sub-Instruction Aware Vision-and-Language Navigation [46.99329933894108]
  視覚と言語のナビゲーションには、エージェントが自然言語の指示に従って実際の3D環境をナビゲートする必要がある。 視覚的および言語的シーケンスの粒度、および命令の完了によるエージェントのトレーサビリティに焦点を当てる。 本稿では,1つのサブインストラクションを各タイミングで選択・参加する効果的なサブインストラクション・アテンション・アテンションとシフトモジュールを提案する。
  論文  参考訳（メタデータ） (2020-04-06T14:44:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。