論文の概要: A Study on Multimodal and Interactive Explanations for Visual Question Answering

• arxiv url: http://arxiv.org/abs/2003.00431v1
• Date: Sun, 1 Mar 2020 07:54:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 13:05:15.501916
• Title: A Study on Multimodal and Interactive Explanations for Visual Question Answering
• Title（参考訳）: 視覚的質問応答のためのマルチモーダルおよびインタラクティブな説明に関する研究
• Authors: Kamran Alipour, Jurgen P. Schulze, Yi Yao, Avi Ziskind, Giedrius Burachas
• Abstract要約: 視覚質問応答(VQA)タスクの設定において,マルチモーダルな説明を評価する。 結果は,VQAシステムの解答が不正確である場合に,人間の予測精度の向上に役立つことを示唆している。 本稿では,注意マップの編集による介入による因果的注意効果評価手法であるアクティブアテンションを導入する。
• 参考スコア（独自算出の注目度）: 3.086885687016963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explainability and interpretability of AI models is an essential factor affecting the safety of AI. While various explainable AI (XAI) approaches aim at mitigating the lack of transparency in deep networks, the evidence of the effectiveness of these approaches in improving usability, trust, and understanding of AI systems are still missing. We evaluate multimodal explanations in the setting of a Visual Question Answering (VQA) task, by asking users to predict the response accuracy of a VQA agent with and without explanations. We use between-subjects and within-subjects experiments to probe explanation effectiveness in terms of improving user prediction accuracy, confidence, and reliance, among other factors. The results indicate that the explanations help improve human prediction accuracy, especially in trials when the VQA system's answer is inaccurate. Furthermore, we introduce active attention, a novel method for evaluating causal attentional effects through intervention by editing attention maps. User explanation ratings are strongly correlated with human prediction accuracy and suggest the efficacy of these explanations in human-machine AI collaboration tasks.
• Abstract（参考訳）: AIモデルの説明可能性と解釈可能性は、AIの安全性に影響を与える重要な要素である。 さまざまな説明可能なAI(XAI)アプローチは、ディープネットワークにおける透明性の欠如を軽減することを目的としているが、ユーザビリティ、信頼、AIシステムの理解を改善するためのこれらのアプローチの有効性の証拠は、いまだに欠落している。 視覚質問応答(VQA)タスクの設定におけるマルチモーダルな説明は,VQAエージェントの応答精度を,説明なしで予測することで評価する。 我々は,ユーザ予測精度,信頼度,信頼度の向上などの観点から,対象間および対象内実験を用いて,説明の有効性を探索する。 結果は,VQAシステムの解答が不正確である場合に,人間の予測精度の向上に役立つことを示す。 さらに,注意マップの編集による介入による因果的注意効果の評価手法であるactive attentionを提案する。 ユーザ説明レーティングは、人間の予測精度と強く相関し、ヒューマンマシンaiコラボレーションタスクにおけるこれらの説明の有効性を示唆する。

関連論文リスト

• To Err Is AI! Debugging as an Intervention to Facilitate Appropriate Reliance on AI Systems [11.690126756498223]
  最適な人間とAIのコラボレーションのためのビジョンは、人間のAIシステムへの「適切な依存」を必要とする。 実際には、アウト・オブ・ディストリビューションデータにおける機械学習モデルの性能格差は、データセット固有のパフォーマンスフィードバックを信頼できないものにしている。
  論文  参考訳（メタデータ） (2024-09-22T09:43:27Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Understanding the Effect of Counterfactual Explanations on Trust and Reliance on AI for Human-AI Collaborative Clinical Decision Making [5.381004207943597]
  本研究は,7人のセラピストと10人のレイパーを対象に,ストローク後生存者の運動の質を評価するための実験を行った。 我々は2種類のAI説明なしで、彼らのパフォーマンス、タスクの合意レベル、AIへの依存を分析した。 我々の研究は、AIモデルの精度をより正確に見積り、間違ったAI出力に対する過度な信頼を減らすために、反事実的説明の可能性について論じている。
  論文  参考訳（メタデータ） (2023-08-08T16:23:46Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Towards Human Cognition Level-based Experiment Design for Counterfactual Explanations (XAI) [68.8204255655161]
  XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。 認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。 本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T19:20:22Z)
• Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
  本稿では,ニューラルモデルによる反事実文の評価について検討する。 まず、神経因果モデル(NCM)が十分に表現可能であることを示す。 第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-09-30T18:29:09Z)
• Understanding the Effect of Out-of-distribution Examples and Interactive Explanations on Human-AI Decision Making [19.157591744997355]
  典型的な実験的なセットアップは、人間-AIチームの可能性を制限します。 インタラクティブな説明を支援する新しいインターフェースを開発し、人間がAI支援に積極的に取り組みます。
  論文  参考訳（メタデータ） (2021-01-13T19:01:32Z)
• The Impact of Explanations on AI Competency Prediction in VQA [3.149760860038061]
  視覚的質問応答(VQA)タスクにおけるAIエージェント能力のユーザ精神モデルに対する説明の影響を評価する。 本稿では,空間的特徴とオブジェクト的特徴を併用し,BERT言語モデルを用いた説明可能なVQAシステムを提案する。
  論文  参考訳（メタデータ） (2020-07-02T06:11:28Z)
• Does Explainable Artificial Intelligence Improve Human Decision-Making? [17.18994675838646]
  我々は、AI(制御)を使わずに客観的な人間の意思決定精度を、AI予測(説明なし)とAI予測(説明なし)とを比較して評価する。 あらゆる種類のAI予測は、ユーザの判断精度を改善する傾向がありますが、説明可能なAIが有意義な影響を与えるという決定的な証拠はありません。 我々の結果は、少なくともいくつかの状況において、説明可能なAIが提供する「なぜ」情報は、ユーザの意思決定を促進することができないことを示唆している。
  論文  参考訳（メタデータ） (2020-06-19T15:46:13Z)
• Amnesic Probing: Behavioral Explanation with Amnesic Counterfactuals [53.484562601127195]
  調査結果から行動学的結論を推測できない点を指摘する。 我々は、どの情報がエンコードされているかではなく、その情報がどのように使われているかに焦点を当てた代替手段を提供する。
  論文  参考訳（メタデータ） (2020-06-01T15:00:11Z)
• A general framework for scientifically inspired explanations in AI [76.48625630211943]
  我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。 このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
  論文  参考訳（メタデータ） (2020-03-02T10:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。