論文の概要: Evaluating Explanation Methods for Vision-and-Language Navigation

• arxiv url: http://arxiv.org/abs/2310.06654v1
• Date: Tue, 10 Oct 2023 14:22:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 15:05:58.149978
• Title: Evaluating Explanation Methods for Vision-and-Language Navigation
• Title（参考訳）: 視覚・言語ナビゲーションのための説明方法の評価
• Authors: Guanqi Chen, Lei Yang, Guanhua Chen, Jia Pan
• Abstract要約: 逐次決定設定における段階的テキスト説明を段階的に評価するための消去に基づく評価パイプラインを提案する。 2つの一般的なVLNデータセットに対する2つの代表的VLNモデルのいくつかの説明方法を評価する。
• 参考スコア（独自算出の注目度）: 26.607847422870464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to navigate robots with natural language instructions in an unknown environment is a crucial step for achieving embodied artificial intelligence (AI). With the improving performance of deep neural models proposed in the field of vision-and-language navigation (VLN), it is equally interesting to know what information the models utilize for their decision-making in the navigation tasks. To understand the inner workings of deep neural models, various explanation methods have been developed for promoting explainable AI (XAI). But they are mostly applied to deep neural models for image or text classification tasks and little work has been done in explaining deep neural models for VLN tasks. In this paper, we address these problems by building quantitative benchmarks to evaluate explanation methods for VLN models in terms of faithfulness. We propose a new erasure-based evaluation pipeline to measure the step-wise textual explanation in the sequential decision-making setting. We evaluate several explanation methods for two representative VLN models on two popular VLN datasets and reveal valuable findings through our experiments.
• Abstract（参考訳）: 未知の環境で自然言語でロボットをナビゲートする能力は、具体的人工知能(AI)を実現するための重要なステップである。 視覚言語ナビゲーション(vln)の分野で提案された深層ニューラルモデルの性能向上により、モデルがナビゲーションタスクにおける意思決定にどのような情報を使用しているかを知るのも興味深い。 ディープニューラルモデルの内部動作を理解するために、説明可能なAI(XAI)を促進する様々な説明方法が開発されている。 しかし、主に画像やテキスト分類タスクのディープニューラルモデルに適用されており、VLNタスクのディープニューラルモデルを説明する作業はほとんど行われていない。 本稿では,VLNモデルの説明手法を忠実度の観点から評価するために,定量的なベンチマークを構築することで,これらの問題に対処する。 逐次決定設定における段階的テキスト記述を段階的に評価するための消去に基づく評価パイプラインを提案する。 2つの一般的なVLNデータセット上での2つの代表的VLNモデルのいくつかの説明法を評価し,実験により有意な結果が得られた。

関連論文リスト

• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Benchmarking Faithfulness: Towards Accurate Natural Language Explanations in Vision-Language Tasks [0.0]
  自然言語の説明(NLE)は、モデルの意思決定を容易に理解可能な方法でコミュニケーション可能にすることを約束する。 現在のモデルは説得力のある説明をうまく生成するが、NLEが実際にモデルの推論過程をいかにうまく表現しているかは未解決の問題である。 帰属相似性(Atribution-Similarity)、NLE-Sufficiency(NLE-Sufficiency)、NLE-Comprehensiveness(NLE-Comprehensiveness)の3つの忠実度指標を提案する。
  論文  参考訳（メタデータ） (2023-04-03T08:24:10Z)
• On the Explainability of Natural Language Processing Deep Models [3.0052400859458586]
  これらの課題に対処し,自然言語処理(NLP)モデルについて十分な説明を行う手法が開発されている。 本研究は,NLP分野におけるExAI手法の民主化を目的として,NLPモデルにおけるモデル非依存およびモデル固有の説明可能性手法について調査する。
  論文  参考訳（メタデータ） (2022-10-13T11:59:39Z)
• Deep Learning Reproducibility and Explainable AI (XAI) [9.13755431537592]
  ディープラーニング(DL)学習アルゴリズムの非決定性とそのニューラルネットワーク(NN)モデルの説明可能性への影響について検討した。 この問題について議論するため、2つの畳み込みニューラルネットワーク(CNN)をトレーニングし、その結果を比較した。
  論文  参考訳（メタデータ） (2022-02-23T12:06:20Z)
• Multi-Semantic Image Recognition Model and Evaluating Index for explaining the deep learning models [31.387124252490377]
  まず,ニューラルネットワークの意思決定過程を人間に理解させるマルチセマンティック画像認識モデルを提案する。 次に、モデルの解釈可能性について定量的に評価できる新しい評価指標を示す。 本稿では,現在最先端のディープラーニングモデルを用いて,関連するベースライン性能を示す。
  論文  参考訳（メタデータ） (2021-09-28T07:18:05Z)
• e-ViL: A Dataset and Benchmark for Natural Language Explanations in Vision-Language Tasks [52.918087305406296]
  説明可能な視覚言語タスクを評価するベンチマークe-ViLを紹介します。 また、NLEで最大のデータセットであるe-SNLI-VEについても紹介する。 画像とテキストの共同埋め込みを学習するUNITERと、予め訓練された言語モデルであるGPT-2を組み合わせた新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-08T18:46:33Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)
• Soft Expert Reward Learning for Vision-and-Language Navigation [94.86954695912125]
  VLN(Vision-and-Language Navigation)は、エージェントが自然言語の指示に従うことで、目に見えない環境で特定の場所を見つける必要がある。 本稿では,VLNタスクの工学的設計と一般化問題を克服するために,ソフトエキスパート・リワード・ラーニング(SERL)モデルを導入する。
  論文  参考訳（メタデータ） (2020-07-21T14:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。