論文の概要: A Study on Multimodal and Interactive Explanations for Visual Question Answering

• arxiv url: http://arxiv.org/abs/2003.00431v1
• Date: Sun, 1 Mar 2020 07:54:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 13:05:15.501916
• Title: A Study on Multimodal and Interactive Explanations for Visual Question Answering
• Title（参考訳）: 視覚的質問応答のためのマルチモーダルおよびインタラクティブな説明に関する研究
• Authors: Kamran Alipour, Jurgen P. Schulze, Yi Yao, Avi Ziskind, Giedrius Burachas
• Abstract要約: 視覚質問応答(VQA)タスクの設定において,マルチモーダルな説明を評価する。 結果は,VQAシステムの解答が不正確である場合に,人間の予測精度の向上に役立つことを示唆している。 本稿では,注意マップの編集による介入による因果的注意効果評価手法であるアクティブアテンションを導入する。
• 参考スコア（独自算出の注目度）: 3.086885687016963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explainability and interpretability of AI models is an essential factor affecting the safety of AI. While various explainable AI (XAI) approaches aim at mitigating the lack of transparency in deep networks, the evidence of the effectiveness of these approaches in improving usability, trust, and understanding of AI systems are still missing. We evaluate multimodal explanations in the setting of a Visual Question Answering (VQA) task, by asking users to predict the response accuracy of a VQA agent with and without explanations. We use between-subjects and within-subjects experiments to probe explanation effectiveness in terms of improving user prediction accuracy, confidence, and reliance, among other factors. The results indicate that the explanations help improve human prediction accuracy, especially in trials when the VQA system's answer is inaccurate. Furthermore, we introduce active attention, a novel method for evaluating causal attentional effects through intervention by editing attention maps. User explanation ratings are strongly correlated with human prediction accuracy and suggest the efficacy of these explanations in human-machine AI collaboration tasks.
• Abstract（参考訳）: AIモデルの説明可能性と解釈可能性は、AIの安全性に影響を与える重要な要素である。 さまざまな説明可能なAI(XAI)アプローチは、ディープネットワークにおける透明性の欠如を軽減することを目的としているが、ユーザビリティ、信頼、AIシステムの理解を改善するためのこれらのアプローチの有効性の証拠は、いまだに欠落している。 視覚質問応答(VQA)タスクの設定におけるマルチモーダルな説明は,VQAエージェントの応答精度を,説明なしで予測することで評価する。 我々は,ユーザ予測精度,信頼度,信頼度の向上などの観点から,対象間および対象内実験を用いて,説明の有効性を探索する。 結果は,VQAシステムの解答が不正確である場合に,人間の予測精度の向上に役立つことを示す。 さらに,注意マップの編集による介入による因果的注意効果の評価手法であるactive attentionを提案する。 ユーザ説明レーティングは、人間の予測精度と強く相関し、ヒューマンマシンaiコラボレーションタスクにおけるこれらの説明の有効性を示唆する。

関連論文リスト

• Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
  AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。 不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。 対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
  論文  参考訳（メタデータ） (2025-02-18T17:12:26Z)
• Engaging with AI: How Interface Design Shapes Human-AI Collaboration in High-Stakes Decision-Making [8.948482790298645]
  各種意思決定支援機構がユーザエンゲージメント,信頼,人間とAIの協調タスクパフォーマンスに与える影響について検討する。 その結果,AIの信頼性レベルやテキスト説明,パフォーマンス視覚化などのメカニズムにより,人間とAIの協調作業性能が向上することが判明した。
  論文  参考訳（メタデータ） (2025-01-28T02:03:00Z)
• To Err Is AI! Debugging as an Intervention to Facilitate Appropriate Reliance on AI Systems [11.690126756498223]
  最適な人間とAIのコラボレーションのためのビジョンは、人間のAIシステムへの「適切な依存」を必要とする。 実際には、アウト・オブ・ディストリビューションデータにおける機械学習モデルの性能格差は、データセット固有のパフォーマンスフィードバックを信頼できないものにしている。
  論文  参考訳（メタデータ） (2024-09-22T09:43:27Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Towards Human Cognition Level-based Experiment Design for Counterfactual Explanations (XAI) [68.8204255655161]
  XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。 認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。 本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T19:20:22Z)
• Understanding the Effect of Out-of-distribution Examples and Interactive Explanations on Human-AI Decision Making [19.157591744997355]
  典型的な実験的なセットアップは、人間-AIチームの可能性を制限します。 インタラクティブな説明を支援する新しいインターフェースを開発し、人間がAI支援に積極的に取り組みます。
  論文  参考訳（メタデータ） (2021-01-13T19:01:32Z)
• The Impact of Explanations on AI Competency Prediction in VQA [3.149760860038061]
  視覚的質問応答(VQA)タスクにおけるAIエージェント能力のユーザ精神モデルに対する説明の影響を評価する。 本稿では,空間的特徴とオブジェクト的特徴を併用し,BERT言語モデルを用いた説明可能なVQAシステムを提案する。
  論文  参考訳（メタデータ） (2020-07-02T06:11:28Z)
• Does Explainable Artificial Intelligence Improve Human Decision-Making? [17.18994675838646]
  我々は、AI(制御)を使わずに客観的な人間の意思決定精度を、AI予測(説明なし)とAI予測(説明なし)とを比較して評価する。 あらゆる種類のAI予測は、ユーザの判断精度を改善する傾向がありますが、説明可能なAIが有意義な影響を与えるという決定的な証拠はありません。 我々の結果は、少なくともいくつかの状況において、説明可能なAIが提供する「なぜ」情報は、ユーザの意思決定を促進することができないことを示唆している。
  論文  参考訳（メタデータ） (2020-06-19T15:46:13Z)
• Amnesic Probing: Behavioral Explanation with Amnesic Counterfactuals [53.484562601127195]
  調査結果から行動学的結論を推測できない点を指摘する。 我々は、どの情報がエンコードされているかではなく、その情報がどのように使われているかに焦点を当てた代替手段を提供する。
  論文  参考訳（メタデータ） (2020-06-01T15:00:11Z)
• A general framework for scientifically inspired explanations in AI [76.48625630211943]
  我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。 このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
  論文  参考訳（メタデータ） (2020-03-02T10:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。