論文の概要: How explainable AI affects human performance: A systematic review of the behavioural consequences of saliency maps
- arxiv url: http://arxiv.org/abs/2404.16042v2
- Date: Fri, 26 Apr 2024 04:25:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-29 15:13:44.235005
- Title: How explainable AI affects human performance: A systematic review of the behavioural consequences of saliency maps
- Title(参考訳): 説明可能なAIが人間のパフォーマンスにどのように影響するか:サリエンシマップの行動結果の体系的レビュー
- Authors: Romy Müller,
- Abstract要約: 透明性マップは、ディープニューラルネットワークがどのように画像を分類するかを説明することができる。
しかし、実際には人間にとって役に立つのだろうか?
68のユーザスタディの体系的なレビューでは、サリエンシマップは人間のパフォーマンスを向上させるが、ヌル効果やコストさえも非常に一般的であることがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Saliency maps can explain how deep neural networks classify images. But are they actually useful for humans? The present systematic review of 68 user studies found that while saliency maps can enhance human performance, null effects or even costs are quite common. To investigate what modulates these effects, the empirical outcomes were organised along several factors related to the human tasks, AI performance, XAI methods, images to be classified, human participants and comparison conditions. In image-focused tasks, benefits were less common than in AI-focused tasks, but the effects depended on the specific cognitive requirements. Moreover, benefits were usually restricted to incorrect AI predictions in AI-focused tasks but to correct ones in image-focused tasks. XAI-related factors had surprisingly little impact. The evidence was limited for image- and human-related factors and the effects were highly dependent on the comparison conditions. These findings may support the design of future user studies.
- Abstract(参考訳): 透明性マップは、ディープニューラルネットワークがどのように画像を分類するかを説明することができる。
しかし、実際には人間にとって役に立つのだろうか?
68のユーザスタディの体系的なレビューでは、サリエンシマップは人間のパフォーマンスを向上させるが、ヌル効果やコストさえも非常に一般的であることがわかった。
これらの効果をどう調節するかを調べるために、人間のタスク、AIパフォーマンス、XAIメソッド、分類対象の画像、人間の参加者、比較条件に関連するいくつかの要因に沿って実験結果が編成された。
イメージ中心のタスクでは、AI中心のタスクよりもメリットは一般的ではなかったが、その効果は特定の認知的要求に依存していた。
さらに、AIに焦点を当てたタスクではAI予測の誤りに制限されるが、画像に焦点を当てたタスクでは修正される。
XAI関連の要因は驚くほど少なかった。
証拠は画像関連因子と人間関連因子に限られており、その効果は比較条件に大きく依存していた。
これらの知見は、将来のユーザ研究の設計を支援する可能性がある。
関連論文リスト
- Exploring the Naturalness of AI-Generated Images [59.04528584651131]
我々は、AI生成画像の視覚的自然性をベンチマークし、評価する第一歩を踏み出した。
本研究では,人間の評価を整列するAGIの自然性を自動予測するジョイント・オブジェクト・イメージ・ナチュラルネス評価器(JOINT)を提案する。
その結果,JOINTは自然性評価において,より主観的に一貫した結果を提供するために,ベースラインを著しく上回ることを示した。
論文 参考訳(メタデータ) (2023-12-09T06:08:09Z) - Understanding the Effect of Counterfactual Explanations on Trust and
Reliance on AI for Human-AI Collaborative Clinical Decision Making [5.381004207943597]
本研究は,7人のセラピストと10人のレイパーを対象に,ストローク後生存者の運動の質を評価するための実験を行った。
我々は2種類のAI説明なしで、彼らのパフォーマンス、タスクの合意レベル、AIへの依存を分析した。
我々の研究は、AIモデルの精度をより正確に見積り、間違ったAI出力に対する過度な信頼を減らすために、反事実的説明の可能性について論じている。
論文 参考訳(メタデータ) (2023-08-08T16:23:46Z) - Seeing is not always believing: Benchmarking Human and Model Perception
of AI-Generated Images [66.20578637253831]
人工知能(AI)技術の進歩が偽写真を生み出すのではないかという懸念が高まっている。
本研究の目的は、最先端のAI生成視覚コンテンツを識別するためのエージェントを包括的に評価することである。
論文 参考訳(メタデータ) (2023-04-25T17:51:59Z) - Improving Human-AI Collaboration With Descriptions of AI Behavior [14.904401331154062]
人々はAIシステムを使って意思決定を改善するが、しばしばAIの予測を過度に、あるいは過度に予測し、手伝わなかったよりも悪いパフォーマンスをする。
人々がAIアシスタントを適切に頼りにするために、行動記述を示すことを提案する。
論文 参考訳(メタデータ) (2023-01-06T00:33:08Z) - I am Only Happy When There is Light: The Impact of Environmental Changes
on Affective Facial Expressions Recognition [65.69256728493015]
本研究では,異なる画像条件が人間の表情からの覚醒の認識に与える影響について検討した。
以上の結果から,人間の感情状態の解釈が肯定的,否定的に大きく異なることが示唆された。
論文 参考訳(メタデータ) (2022-10-28T16:28:26Z) - What Do End-Users Really Want? Investigation of Human-Centered XAI for
Mobile Health Apps [69.53730499849023]
説明可能なAI(XAI)を評価するために,ユーザ中心のペルソナ概念を提案する。
分析の結果,ユーザの人口統計や性格,説明のタイプ,影響説明の嗜好が示された。
私たちの洞察は、対話的で人間中心のXAIを実践的な応用に近づけます。
論文 参考訳(メタデータ) (2022-10-07T12:51:27Z) - Advancing Human-AI Complementarity: The Impact of User Expertise and
Algorithmic Tuning on Joint Decision Making [10.890854857970488]
ユーザのドメイン知識、AIシステムのメンタルモデル、レコメンデーションへの信頼など、多くの要因がヒューマンAIチームの成功に影響を与える可能性がある。
本研究は,非自明な血管ラベル作成作業において,血管が流れているか停止しているかを被験者に示すことを目的とした。
以上の結果から,AI-Assistantからの推薦はユーザの意思決定に役立つが,AIに対するユーザベースラインのパフォーマンスや,AIエラー型の相補的チューニングといった要因は,チーム全体のパフォーマンスに大きな影響を及ぼすことが示された。
論文 参考訳(メタデータ) (2022-08-16T21:39:58Z) - The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。
その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
論文 参考訳(メタデータ) (2021-07-28T17:32:04Z) - Explainable AI for Natural Adversarial Images [4.387699521196243]
人間は、AIの決定プロセスが自分自身を反映していると仮定する傾向があります。
ここでは、説明可能なAIの手法がこの仮定を破り、参加者が敵画像と標準画像のAI分類を予測するのに役立つかどうかを評価する。
正当性マップと実例の両方がAIエラーのキャッチを容易にするが、その効果は加法的ではなく、正当性マップは実例よりも効果的である。
論文 参考訳(メタデータ) (2021-06-16T20:19:04Z) - Affect Analysis in-the-wild: Valence-Arousal, Expressions, Action Units
and a Unified Framework [83.21732533130846]
Aff-Wild と Aff-Wild2 の2つである。
これは、これらのデータベースで訓練された深層ニューラルネットワークの2つのクラスの設計を示す。
インパクト認識を共同で学び、効果的に一般化し、実行することができる新しいマルチタスクおよび全体主義のフレームワークが提示されます。
論文 参考訳(メタデータ) (2021-03-29T17:36:20Z) - Understanding the Effect of Out-of-distribution Examples and Interactive
Explanations on Human-AI Decision Making [19.157591744997355]
典型的な実験的なセットアップは、人間-AIチームの可能性を制限します。
インタラクティブな説明を支援する新しいインターフェースを開発し、人間がAI支援に積極的に取り組みます。
論文 参考訳(メタデータ) (2021-01-13T19:01:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。