論文の概要: How much informative is your XAI? A decision-making assessment task to
objectively measure the goodness of explanations
- arxiv url: http://arxiv.org/abs/2312.04379v1
- Date: Thu, 7 Dec 2023 15:49:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 14:17:25.998668
- Title: How much informative is your XAI? A decision-making assessment task to
objectively measure the goodness of explanations
- Title（参考訳）: あなたのXAIはどのくらい情報がありますか。
説明の良否を客観的に測定する意思決定評価課題
- Authors: Marco Matarese, Francesco Rea, Alessandra Sciutti
- Abstract要約: XAIに対する個人化アプローチとユーザ中心アプローチの数は、近年急速に増加している。
ユーザ中心のXAIアプローチがユーザとシステム間のインタラクションに肯定的な影響を与えることが明らかとなった。
我々は,XAIシステムの良否を客観的かつ定量的に評価するための評価課題を提案する。
- 参考スコア（独自算出の注目度）: 53.01494092422942
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There is an increasing consensus about the effectiveness of user-centred
approaches in the explainable artificial intelligence (XAI) field. Indeed, the
number and complexity of personalised and user-centred approaches to XAI have
rapidly grown in recent years. Often, these works have a two-fold objective:
(1) proposing novel XAI techniques able to consider the users and (2) assessing
the \textit{goodness} of such techniques with respect to others. From these new
works, it emerged that user-centred approaches to XAI positively affect the
interaction between users and systems. However, so far, the goodness of XAI
systems has been measured through indirect measures, such as performance. In
this paper, we propose an assessment task to objectively and quantitatively
measure the goodness of XAI systems in terms of their \textit{information
power}, which we intended as the amount of information the system provides to
the users during the interaction. Moreover, we plan to use our task to
objectively compare two XAI techniques in a human-robot decision-making task to
understand deeper whether user-centred approaches are more informative than
classical ones.
- Abstract（参考訳）: 説明可能な人工知能(xai)分野におけるユーザ中心アプローチの有効性に関するコンセンサスが増えている。
実際、XAIに対する個人化アプローチとユーザ中心アプローチの数は、近年急速に増加している。
多くの場合、これらの作品には2つの目的がある:(1)ユーザを考慮できる新しいxai技術の提案、(2)他者に対するそのような技法の \textit{goodness} を評価する。
これらの新たな成果から,ユーザ中心のXAIアプローチがユーザとシステム間のインタラクションに肯定的な影響を与えることが明らかになった。
しかし、これまでのところ、XAIシステムの性能は、性能などの間接的な測定によって測定されている。
本稿では,XAIシステムにおいて,ユーザに対して提供される情報量として意図した「textit{information power}」を用いて,客観的かつ定量的に評価する評価タスクを提案する。
さらに,ユーザ中心のアプローチが古典的手法よりも有益かどうかをより深く理解するために,人間ロボット決定タスクにおける2つのXAI手法を客観的に比較する。
関連論文リスト
- Study on the Helpfulness of Explainable Artificial Intelligence [0.0]
法律、ビジネス、倫理的要件は、効果的なXAIの使用を動機付けている。
本稿では,ユーザがプロキシタスクをうまく実行する能力を通じて,XAI手法を評価することを提案する。
言い換えれば、人間の意思決定におけるXAIの有用性について論じる。
論文 参考訳（メタデータ） (2024-10-14T14:03:52Z) - Measuring User Understanding in Dialogue-based XAI Systems [2.4124106640519667]
XAIの最先端は、単発、非個人化、一方通行の説明が特徴である。
本稿では,ユーザが学習しているモデルの予測をシミュレートして,3段階のユーザ理解を計測する。
我々は、高い理解率と低い理解率の集団間の相互作用のパターンを明らかにするために、データを分析した。
論文 参考訳（メタデータ） (2024-08-13T15:17:03Z) - How Human-Centered Explainable AI Interface Are Designed and Evaluated: A Systematic Survey [48.97104365617498]
Em Explainable Interfaces (EIs) の登場する領域は,XAI のユーザインターフェースとユーザエクスペリエンス設計に重点を置いている。
本稿では,人間とXAIの相互作用の現在の動向と,EI設計・開発に向けた将来的な方向性を明らかにするために,53の出版物を体系的に調査する。
論文 参考訳（メタデータ） (2024-03-21T15:44:56Z) - An Experimental Investigation into the Evaluation of Explainability
Methods [60.54170260771932]
この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。
実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
論文 参考訳（メタデータ） (2023-05-25T08:07:07Z) - Towards Human Cognition Level-based Experiment Design for Counterfactual
Explanations (XAI) [68.8204255655161]
XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。
認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。
本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
論文 参考訳（メタデータ） (2022-10-31T19:20:22Z) - Connecting Algorithmic Research and Usage Contexts: A Perspective of
Contextualized Evaluation for Explainable AI [65.44737844681256]
説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。
このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
論文 参考訳（メタデータ） (2022-06-22T05:17:33Z) - A User-Centred Framework for Explainable Artificial Intelligence in
Human-Robot Interaction [70.11080854486953]
本稿では,XAIのソーシャル・インタラクティブな側面に着目したユーザ中心型フレームワークを提案する。
このフレームワークは、エキスパートでないユーザのために考えられた対話型XAIソリューションのための構造を提供することを目的としている。
論文 参考訳（メタデータ） (2021-09-27T09:56:23Z) - Proxy Tasks and Subjective Measures Can Be Misleading in Evaluating
Explainable AI Systems [14.940404609343432]
我々は、XAIシステムを評価するための2つの現在一般的な手法を評価した。
その結果,プロキシタスクによる評価は,実際の意思決定タスクによる評価結果の予測には至らなかった。
我々の研究は、誤解を招く評価手法を採用することで、人間やAI単独よりも確実にパフォーマンスを発揮できる人間とAIチームの開発に向けた進歩が、必然的に鈍化している可能性があることを示唆している。
論文 参考訳（メタデータ） (2020-01-22T22:14:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。