Fugu-MT 論文翻訳(概要): On the Evaluation of Vision-and-Language Navigation Instructions

論文の概要: On the Evaluation of Vision-and-Language Navigation Instructions

arxiv url: http://arxiv.org/abs/2101.10504v1
Date: Tue, 26 Jan 2021 01:03:49 GMT
ステータス: 処理完了
システム内更新日: 2021-03-14 15:37:21.022090
Title: On the Evaluation of Vision-and-Language Navigation Instructions
Title（参考訳）: 視覚言語ナビゲーション指示の評価について
Authors: Ming Zhao, Peter Anderson, Vihan Jain, Su Wang, Alexander Ku, Jason Baldridge, Eugene Ie
Abstract要約: 自動的に生成されたナビゲーション命令を利用することで、視覚・言語ナビゲーションのウェイフィングエージェントを強化することができる。既存の命令生成装置は包括的に評価されていない。 BLEU、ROUGE、METEORおよびCIDErは接地ナビゲーションの指示を評価するために有効ではないです。
参考スコア（独自算出の注目度）: 76.92085026018427
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Vision-and-Language Navigation wayfinding agents can be enhanced by exploiting automatically generated navigation instructions. However, existing instruction generators have not been comprehensively evaluated, and the automatic evaluation metrics used to develop them have not been validated. Using human wayfinders, we show that these generators perform on par with or only slightly better than a template-based generator and far worse than human instructors. Furthermore, we discover that BLEU, ROUGE, METEOR and CIDEr are ineffective for evaluating grounded navigation instructions. To improve instruction evaluation, we propose an instruction-trajectory compatibility model that operates without reference instructions. Our model shows the highest correlation with human wayfinding outcomes when scoring individual instructions. For ranking instruction generation systems, if reference instructions are available we recommend using SPICE.
Abstract（参考訳）: 自動的に生成されたナビゲーション命令を利用することで、視覚・言語ナビゲーションのウェイフィングエージェントを強化することができる。しかし、既存の命令生成器は包括的に評価されておらず、それを開発するのに使われる自動評価指標は検証されていない。ヒトのウェイファインダーを用いて、これらのジェネレータはテンプレートベースのジェネレータと同等かわずかに優れた性能を示し、人間のインストラクターよりはるかに悪い性能を示す。さらに, BLEU, ROUGE, METEOR, CIDErは, 接地したナビゲーション命令を評価するのに有効でないことがわかった。命令評価を改善するために,参照命令を使わずに動作する命令軌道互換モデルを提案する。本モデルでは,個々の指示を得点する場合,人間のウェイフィング結果と最も高い相関関係を示す。ランキング命令生成システムについては、参照命令が利用可能であればSPICEの使用を推奨します。
全文参考訳へのリンク