論文の概要: How much informative is your XAI? A decision-making assessment task to
objectively measure the goodness of explanations
- arxiv url: http://arxiv.org/abs/2312.04379v1
- Date: Thu, 7 Dec 2023 15:49:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 14:17:25.998668
- Title: How much informative is your XAI? A decision-making assessment task to
objectively measure the goodness of explanations
- Title(参考訳): あなたのXAIはどのくらい情報がありますか。
説明の良否を客観的に測定する意思決定評価課題
- Authors: Marco Matarese, Francesco Rea, Alessandra Sciutti
- Abstract要約: XAIに対する個人化アプローチとユーザ中心アプローチの数は、近年急速に増加している。
ユーザ中心のXAIアプローチがユーザとシステム間のインタラクションに肯定的な影響を与えることが明らかとなった。
我々は,XAIシステムの良否を客観的かつ定量的に評価するための評価課題を提案する。
- 参考スコア(独自算出の注目度): 53.01494092422942
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There is an increasing consensus about the effectiveness of user-centred
approaches in the explainable artificial intelligence (XAI) field. Indeed, the
number and complexity of personalised and user-centred approaches to XAI have
rapidly grown in recent years. Often, these works have a two-fold objective:
(1) proposing novel XAI techniques able to consider the users and (2) assessing
the \textit{goodness} of such techniques with respect to others. From these new
works, it emerged that user-centred approaches to XAI positively affect the
interaction between users and systems. However, so far, the goodness of XAI
systems has been measured through indirect measures, such as performance. In
this paper, we propose an assessment task to objectively and quantitatively
measure the goodness of XAI systems in terms of their \textit{information
power}, which we intended as the amount of information the system provides to
the users during the interaction. Moreover, we plan to use our task to
objectively compare two XAI techniques in a human-robot decision-making task to
understand deeper whether user-centred approaches are more informative than
classical ones.
- Abstract(参考訳): 説明可能な人工知能(xai)分野におけるユーザ中心アプローチの有効性に関するコンセンサスが増えている。
実際、XAIに対する個人化アプローチとユーザ中心アプローチの数は、近年急速に増加している。
多くの場合、これらの作品には2つの目的がある:(1)ユーザを考慮できる新しいxai技術の提案、(2)他者に対するそのような技法の \textit{goodness} を評価する。
これらの新たな成果から,ユーザ中心のXAIアプローチがユーザとシステム間のインタラクションに肯定的な影響を与えることが明らかになった。
しかし、これまでのところ、XAIシステムの性能は、性能などの間接的な測定によって測定されている。
本稿では,XAIシステムにおいて,ユーザに対して提供される情報量として意図した「textit{information power}」を用いて,客観的かつ定量的に評価する評価タスクを提案する。
さらに,ユーザ中心のアプローチが古典的手法よりも有益かどうかをより深く理解するために,人間ロボット決定タスクにおける2つのXAI手法を客観的に比較する。
関連論文リスト
- Strategies to exploit XAI to improve classification systems [0.0]
XAIは、AIモデルの意思決定プロセスに関する洞察を提供することを目的としている。
ほとんどのXAI文献は、AIシステムを説明する方法に焦点を当てているが、AIシステムを改善するためにXAIメソッドをどのように活用するかについては、あまり注目されていない。
論文 参考訳(メタデータ) (2023-06-09T10:38:26Z) - An Experimental Investigation into the Evaluation of Explainability
Methods [60.54170260771932]
この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。
実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
論文 参考訳(メタデータ) (2023-05-25T08:07:07Z) - A System's Approach Taxonomy for User-Centred XAI: A Survey [0.6882042556551609]
本稿では,一般システム理論の原理に基づく総合的,包括的でユーザ中心のXAI分類法を提案する。
これは、開発者とエンドユーザの両方を含むすべてのユーザタイプに対するXAIアプローチの適切性を評価する基盤を提供する。
論文 参考訳(メタデータ) (2023-03-06T00:50:23Z) - Towards Human Cognition Level-based Experiment Design for Counterfactual
Explanations (XAI) [68.8204255655161]
XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。
認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。
本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
論文 参考訳(メタデータ) (2022-10-31T19:20:22Z) - Towards Human-centered Explainable AI: A Survey of User Studies for
Model Explanations [19.6851366307368]
我々は過去5年間に人間によるXAI評価で97コア論文を特定し分析してきた。
我々の研究は、XAIがレコメンダシステムなど特定のアプリケーション領域で急速に普及していることを示している。
我々は,XAI研究者や実践者を対象としたユーザスタディの設計と実施に関する実践的ガイドラインを提案する。
論文 参考訳(メタデータ) (2022-10-20T20:53:00Z) - What Do End-Users Really Want? Investigation of Human-Centered XAI for
Mobile Health Apps [69.53730499849023]
説明可能なAI(XAI)を評価するために,ユーザ中心のペルソナ概念を提案する。
分析の結果,ユーザの人口統計や性格,説明のタイプ,影響説明の嗜好が示された。
私たちの洞察は、対話的で人間中心のXAIを実践的な応用に近づけます。
論文 参考訳(メタデータ) (2022-10-07T12:51:27Z) - Connecting Algorithmic Research and Usage Contexts: A Perspective of
Contextualized Evaluation for Explainable AI [65.44737844681256]
説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。
このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
論文 参考訳(メタデータ) (2022-06-22T05:17:33Z) - A User-Centred Framework for Explainable Artificial Intelligence in
Human-Robot Interaction [70.11080854486953]
本稿では,XAIのソーシャル・インタラクティブな側面に着目したユーザ中心型フレームワークを提案する。
このフレームワークは、エキスパートでないユーザのために考えられた対話型XAIソリューションのための構造を提供することを目的としている。
論文 参考訳(メタデータ) (2021-09-27T09:56:23Z) - Proxy Tasks and Subjective Measures Can Be Misleading in Evaluating
Explainable AI Systems [14.940404609343432]
我々は、XAIシステムを評価するための2つの現在一般的な手法を評価した。
その結果,プロキシタスクによる評価は,実際の意思決定タスクによる評価結果の予測には至らなかった。
我々の研究は、誤解を招く評価手法を採用することで、人間やAI単独よりも確実にパフォーマンスを発揮できる人間とAIチームの開発に向けた進歩が、必然的に鈍化している可能性があることを示唆している。
論文 参考訳(メタデータ) (2020-01-22T22:14:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。