論文の概要: On the Evaluation of Vision-and-Language Navigation Instructions

• arxiv url: http://arxiv.org/abs/2101.10504v1
• Date: Tue, 26 Jan 2021 01:03:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-14 15:37:21.022090
• Title: On the Evaluation of Vision-and-Language Navigation Instructions
• Title（参考訳）: 視覚言語ナビゲーション指示の評価について
• Authors: Ming Zhao, Peter Anderson, Vihan Jain, Su Wang, Alexander Ku, Jason Baldridge, Eugene Ie
• Abstract要約: 自動的に生成されたナビゲーション命令を利用することで、視覚・言語ナビゲーションのウェイフィングエージェントを強化することができる。 既存の命令生成装置は包括的に評価されていない。 BLEU、ROUGE、METEORおよびCIDErは接地ナビゲーションの指示を評価するために有効ではないです。
• 参考スコア（独自算出の注目度）: 76.92085026018427
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-and-Language Navigation wayfinding agents can be enhanced by exploiting automatically generated navigation instructions. However, existing instruction generators have not been comprehensively evaluated, and the automatic evaluation metrics used to develop them have not been validated. Using human wayfinders, we show that these generators perform on par with or only slightly better than a template-based generator and far worse than human instructors. Furthermore, we discover that BLEU, ROUGE, METEOR and CIDEr are ineffective for evaluating grounded navigation instructions. To improve instruction evaluation, we propose an instruction-trajectory compatibility model that operates without reference instructions. Our model shows the highest correlation with human wayfinding outcomes when scoring individual instructions. For ranking instruction generation systems, if reference instructions are available we recommend using SPICE.
• Abstract（参考訳）: 自動的に生成されたナビゲーション命令を利用することで、視覚・言語ナビゲーションのウェイフィングエージェントを強化することができる。 しかし、既存の命令生成器は包括的に評価されておらず、それを開発するのに使われる自動評価指標は検証されていない。 ヒトのウェイファインダーを用いて、これらのジェネレータはテンプレートベースのジェネレータと同等かわずかに優れた性能を示し、人間のインストラクターよりはるかに悪い性能を示す。 さらに, BLEU, ROUGE, METEOR, CIDErは, 接地したナビゲーション命令を評価するのに有効でないことがわかった。 命令評価を改善するために,参照命令を使わずに動作する命令軌道互換モデルを提案する。 本モデルでは,個々の指示を得点する場合,人間のウェイフィング結果と最も高い相関関係を示す。 ランキング命令生成システムについては、参照命令が利用可能であればSPICEの使用を推奨します。
• 全文 参考訳へのリンク

関連論文リスト

• Online No-regret Model-Based Meta RL for Personalized Navigation [37.82017324353145]
  本稿では,現在のユーザの動態に迅速に適合するオンラインノリグレートモデルに基づくRL手法を提案する。 理論的解析により,本手法は非回帰アルゴリズムであり,無依存設定における収束率を提供する。 実世界のユーザデータを60時間以上にわたって分析した結果,衝突回数を60%以上削減できることがわかった。
  論文  参考訳（メタデータ） (2022-04-05T01:28:06Z)
• Counterfactual Cycle-Consistent Learning for Instruction Following and Generation in Vision-Language Navigation [172.15808300686584]
  本稿では,2つのタスクを同時に学習し,それぞれのトレーニングを促進するために本質的な相関性を利用するアプローチについて述べる。 提案手法は,様々な追従モデルの性能を改善し,正確なナビゲーション命令を生成する。
  論文  参考訳（メタデータ） (2022-03-30T18:15:26Z)
• Training language models to follow instructions with human feedback [29.590666996229206]
  本稿では,人間のフィードバックを微調整することで,言語モデルとユーザ意図との整合性を示す。 インストラクションGPTモデルは、有害な出力生成の真理性の改善と削減を示す。
  論文  参考訳（メタデータ） (2022-03-04T07:04:42Z)
• Bidimensional Leaderboards: Generate and Evaluate Language Hand in Hand [117.62186420147563]
  リーダーボード, 二次元リーダーボード(ビルボード)の一般化を提案する。 従来の一次元のリーダーボードがシステムに所定の基準でソートするのとは異なり、ビルボードはジェネレータと評価指標の両方を競合するエントリとして受け入れる。 いくつかの異なるメトリクスの線形アンサンブルが、場合によっては既存のメトリクスを独立して大幅に上回っていることを実証する。
  論文  参考訳（メタデータ） (2021-12-08T06:34:58Z)
• Contrastive Instruction-Trajectory Learning for Vision-Language Navigation [66.16980504844233]
  視覚言語ナビゲーション(VLN)タスクでは、エージェントが自然言語の指示でターゲットに到達する必要がある。 先行研究は、命令-軌道対間の類似点と相違点を識別できず、サブ命令の時間的連続性を無視する。 本稿では、類似したデータサンプル間の分散と、異なるデータサンプル間の分散を探索し、ロバストなナビゲーションのための独特な表現を学習するContrastive Instruction-Trajectory Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-08T06:32:52Z)
• Waypoint Models for Instruction-guided Navigation in Continuous Environments [68.2912740006109]
  本稿では,言語条件付きウェイポイント予測ネットワークのクラスを開発し,この問題について検討する。 プロファイリングされたLoCoBotロボット上でのタスク性能と実行時間の推定を行う。 我々のモデルは、VLN-CEにおける以前の仕事を上回り、新しい最先端の技術を公衆のリーダーボードに置きました。
  論文  参考訳（メタデータ） (2021-10-05T17:55:49Z)
• Adversarial Reinforced Instruction Attacker for Robust Vision-Language Navigation [145.84123197129298]
  自然言語に基づくナビゲーションタスクでは,言語指導が重要な役割を担っている。 より堅牢なナビゲータを訓練し、長い指導から重要な要素を動的に抽出する。 具体的には,航法士が間違った目標に移動することを誤認することを学習する動的強化命令攻撃装置(DR-Attacker)を提案する。
  論文  参考訳（メタデータ） (2021-07-23T14:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。