論文の概要: The Impact of Explanations on AI Competency Prediction in VQA
- arxiv url: http://arxiv.org/abs/2007.00900v1
- Date: Thu, 2 Jul 2020 06:11:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 13:33:09.583354
- Title: The Impact of Explanations on AI Competency Prediction in VQA
- Title（参考訳）: VQAにおけるAI能力予測への説明の影響
- Authors: Kamran Alipour, Arijit Ray, Xiao Lin, Jurgen P. Schulze, Yi Yao,
Giedrius T. Burachas
- Abstract要約: 視覚的質問応答(VQA)タスクにおけるAIエージェント能力のユーザ精神モデルに対する説明の影響を評価する。
本稿では,空間的特徴とオブジェクト的特徴を併用し,BERT言語モデルを用いた説明可能なVQAシステムを提案する。
- 参考スコア（独自算出の注目度）: 3.149760860038061
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Explainability is one of the key elements for building trust in AI systems.
Among numerous attempts to make AI explainable, quantifying the effect of
explanations remains a challenge in conducting human-AI collaborative tasks.
Aside from the ability to predict the overall behavior of AI, in many
applications, users need to understand an AI agent's competency in different
aspects of the task domain. In this paper, we evaluate the impact of
explanations on the user's mental model of AI agent competency within the task
of visual question answering (VQA). We quantify users' understanding of
competency, based on the correlation between the actual system performance and
user rankings. We introduce an explainable VQA system that uses spatial and
object features and is powered by the BERT language model. Each group of users
sees only one kind of explanation to rank the competencies of the VQA model.
The proposed model is evaluated through between-subject experiments to probe
explanations' impact on the user's perception of competency. The comparison
between two VQA models shows BERT based explanations and the use of object
features improve the user's prediction of the model's competencies.
- Abstract（参考訳）: 説明可能性(Explainability)は、AIシステムの信頼を構築する上で重要な要素のひとつだ。
AIを説明可能にしようとする多くの試みの中で、説明の効果を定量化することは、人間とAIの協調作業を実行する上での課題である。
AIの全体的な振る舞いを予測する能力以外に、多くのアプリケーションでは、タスクドメインのさまざまな側面において、AIエージェントの能力を理解する必要がある。
本稿では,視覚的質問応答(VQA)タスクにおけるAIエージェント能力のユーザ精神モデルに対する説明の影響を評価する。
実際のシステム性能とユーザランキングの相関関係に基づいて,ユーザの能力に対する理解度を定量化する。
本稿では,空間的特徴とオブジェクト的特徴を併用し,BERT言語モデルを用いた説明可能なVQAシステムを提案する。
それぞれのグループは、VQAモデルの能力を評価するための説明を1つしか見ていない。
提案モデルは,ユーザのコンピテンシー知覚に対する説明の影響を調べるために,主観間実験によって評価される。
2つのVQAモデルの比較では、BERTに基づく説明とオブジェクト機能の使用により、モデルの能力に関するユーザの予測が改善されている。
関連論文リスト
- An Ontology-Enabled Approach For User-Centered and Knowledge-Enabled Explanations of AI Systems [0.3480973072524161]
説明可能性に関する最近の研究は、AIモデルやモデル説明可能性の動作を説明することに重点を置いている。
この論文は、モデルとユーザ中心の説明可能性の間のギャップを埋めようとしている。
論文 参考訳（メタデータ） (2024-10-23T02:03:49Z) - Raising the Stakes: Performance Pressure Improves AI-Assisted Decision Making [57.53469908423318]
日常の人が共通のAI支援タスクを完了すると、パフォーマンスプレッシャーがAIアドバイスへの依存に与える影響を示す。
利害関係が高い場合には、AIの説明の有無にかかわらず、利害関係が低い場合よりもAIアドバイスを適切に使用することが分かりました。
論文 参考訳（メタデータ） (2024-10-21T22:39:52Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - Requirements for Explainability and Acceptance of Artificial
Intelligence in Collaborative Work [0.0]
本稿では,AIの説明可能性と受容の要件について考察する。
その結果,2つの主要なグループが,モデルの内部操作に関する情報を必要とする開発者であることが示唆された。
AIシステムの受容は、システムの機能や性能、プライバシ、倫理的考慮事項に関する情報に依存する。
論文 参考訳（メタデータ） (2023-06-27T11:36:07Z) - Towards Human Cognition Level-based Experiment Design for Counterfactual
Explanations (XAI) [68.8204255655161]
XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。
認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。
本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
論文 参考訳（メタデータ） (2022-10-31T19:20:22Z) - Transcending XAI Algorithm Boundaries through End-User-Inspired Design [27.864338632191608]
エンドユーザに対する説明責任重視の機能サポートの欠如は、高度なドメインにおけるAIの安全で責任ある使用を妨げる可能性がある。
我々の研究は、エンドユーザーがXAIを使用する際の技術的な問題を根底から解決することで、新たな研究課題がもたらされることを示している。
このようなエンドユーザにインスパイアされた研究質問は、AIを民主化し、クリティカルドメインにおけるAIの責任ある使用を保証することによって、社会的善を促進できる可能性がある。
論文 参考訳（メタデータ） (2022-08-18T09:44:51Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z) - The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。
その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
論文 参考訳（メタデータ） (2021-07-28T17:32:04Z) - QA2Explanation: Generating and Evaluating Explanations for Question
Answering Systems over Knowledge Graph [4.651476054353298]
パイプラインベースのQAシステムの様々な段階における説明を生成するための自動アプローチを開発する。
我々のアプローチは教師付きかつ自動的なアプローチであり、関連するQAコンポーネントの出力を注釈付けするための3つのクラス(成功、答えなし、間違った回答)を考える。
論文 参考訳（メタデータ） (2020-10-16T11:32:12Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳（メタデータ） (2020-03-02T10:32:21Z) - A Study on Multimodal and Interactive Explanations for Visual Question
Answering [3.086885687016963]
視覚質問応答(VQA)タスクの設定において,マルチモーダルな説明を評価する。
結果は,VQAシステムの解答が不正確である場合に,人間の予測精度の向上に役立つことを示唆している。
本稿では,注意マップの編集による介入による因果的注意効果評価手法であるアクティブアテンションを導入する。
論文 参考訳（メタデータ） (2020-03-01T07:54:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。