論文の概要: Connecting Algorithmic Research and Usage Contexts: A Perspective of
Contextualized Evaluation for Explainable AI
- arxiv url: http://arxiv.org/abs/2206.10847v1
- Date: Wed, 22 Jun 2022 05:17:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-23 15:27:46.500102
- Title: Connecting Algorithmic Research and Usage Contexts: A Perspective of
Contextualized Evaluation for Explainable AI
- Title（参考訳）: アルゴリズム研究とコンテキストの結合:説明可能なAIのための文脈評価の視点
- Authors: Q. Vera Liao, Yunfeng Zhang, Ronny Luss, Finale Doshi-Velez, Amit
Dhurandhar
- Abstract要約: 説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。
このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
- 参考スコア（独自算出の注目度）: 65.44737844681256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have seen a surge of interest in the field of explainable AI
(XAI), with a plethora of algorithms proposed in the literature. However, a
lack of consensus on how to evaluate XAI hinders the advancement of the field.
We highlight that XAI is not a monolithic set of technologies -- researchers
and practitioners have begun to leverage XAI algorithms to build XAI systems
that serve different usage contexts, such as model debugging and
decision-support. Algorithmic research of XAI, however, often does not account
for these diverse downstream usage contexts, resulting in limited effectiveness
or even unintended consequences for actual users, as well as difficulties for
practitioners to make technical choices. We argue that one way to close the gap
is to develop evaluation methods that account for different user requirements
in these usage contexts. Towards this goal, we introduce a perspective of
contextualized XAI evaluation by considering the relative importance of XAI
evaluation criteria for prototypical usage contexts of XAI. To explore the
context-dependency of XAI evaluation criteria, we conduct two survey studies,
one with XAI topical experts and another with crowd workers. Our results urge
for responsible AI research with usage-informed evaluation practices, and
provide a nuanced understanding of user requirements for XAI in different usage
contexts.
- Abstract（参考訳）: 近年、説明可能なai(xai)の分野への関心が高まり、多くのアルゴリズムが文献に提案されている。
しかし、XAIの評価方法に関する合意の欠如は、この分野の進歩を妨げている。
XAIはモノリシックな技術ではなく、研究者や実践者がXAIアルゴリズムを活用して、モデルデバッグや意思決定支援など、さまざまな使用状況に対応するXAIシステムを構築し始めている。
しかし、xaiのアルゴリズムによる研究は、これらの多様な下流の使用状況を考慮しておらず、実際のユーザにとっての有効性や意図しない結果や、実践者が技術的な選択をすることは困難である。
このギャップを埋める一つの方法は、これらの利用状況において異なるユーザ要件を考慮した評価方法を開発することである。
本研究の目的は,XAIの原型的使用文脈に対するXAI評価基準の相対的重要性を考慮し,文脈化されたXAI評価の視点を導入することである。
我々は,XAI評価基準の文脈依存性を検討するために,XAIトピックの専門家と,クラウドワーカーの2つの調査を行った。
本研究の結果は,XAIのユーザ要件を,使用状況によって不明瞭に理解する上で,AI研究に責任を負うことを促すものである。
関連論文リスト
- How Human-Centered Explainable AI Interface Are Designed and Evaluated: A Systematic Survey [48.97104365617498]
Em Explainable Interfaces (EIs) の登場する領域は,XAI のユーザインターフェースとユーザエクスペリエンス設計に重点を置いている。
本稿では,人間とXAIの相互作用の現在の動向と,EI設計・開発に向けた将来的な方向性を明らかにするために,53の出版物を体系的に調査する。
論文 参考訳（メタデータ） (2024-03-21T15:44:56Z) - How much informative is your XAI? A decision-making assessment task to
objectively measure the goodness of explanations [53.01494092422942]
XAIに対する個人化アプローチとユーザ中心アプローチの数は、近年急速に増加している。
ユーザ中心のXAIアプローチがユーザとシステム間のインタラクションに肯定的な影響を与えることが明らかとなった。
我々は,XAIシステムの良否を客観的かつ定量的に評価するための評価課題を提案する。
論文 参考訳（メタデータ） (2023-12-07T15:49:39Z) - An Experimental Investigation into the Evaluation of Explainability
Methods [60.54170260771932]
この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。
実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
論文 参考訳（メタデータ） (2023-05-25T08:07:07Z) - A System's Approach Taxonomy for User-Centred XAI: A Survey [0.6882042556551609]
本稿では,一般システム理論の原理に基づく総合的,包括的でユーザ中心のXAI分類法を提案する。
これは、開発者とエンドユーザの両方を含むすべてのユーザタイプに対するXAIアプローチの適切性を評価する基盤を提供する。
論文 参考訳（メタデータ） (2023-03-06T00:50:23Z) - Towards Human Cognition Level-based Experiment Design for Counterfactual
Explanations (XAI) [68.8204255655161]
XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。
認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。
本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
論文 参考訳（メタデータ） (2022-10-31T19:20:22Z) - Towards Human-centered Explainable AI: A Survey of User Studies for Model Explanations [18.971689499890363]
我々は過去5年間に人間によるXAI評価で97コア論文を特定し分析してきた。
我々の研究は、XAIがレコメンダシステムなど特定のアプリケーション領域で急速に普及していることを示している。
我々は,XAI研究者や実践者を対象としたユーザスタディの設計と実施に関する実践的ガイドラインを提案する。
論文 参考訳（メタデータ） (2022-10-20T20:53:00Z) - Transcending XAI Algorithm Boundaries through End-User-Inspired Design [27.864338632191608]
エンドユーザに対する説明責任重視の機能サポートの欠如は、高度なドメインにおけるAIの安全で責任ある使用を妨げる可能性がある。
我々の研究は、エンドユーザーがXAIを使用する際の技術的な問題を根底から解決することで、新たな研究課題がもたらされることを示している。
このようなエンドユーザにインスパイアされた研究質問は、AIを民主化し、クリティカルドメインにおけるAIの責任ある使用を保証することによって、社会的善を促進できる可能性がある。
論文 参考訳（メタデータ） (2022-08-18T09:44:51Z) - Human-Centered Explainable AI (XAI): From Algorithms to User Experiences [29.10123472973571]
説明可能なAI(XAI)は近年,膨大なアルゴリズムコレクションを生み出している。
分野は学際的視点と人間中心のアプローチを受け入れ始めている。
論文 参考訳（メタデータ） (2021-10-20T21:33:46Z) - A User-Centred Framework for Explainable Artificial Intelligence in
Human-Robot Interaction [70.11080854486953]
本稿では,XAIのソーシャル・インタラクティブな側面に着目したユーザ中心型フレームワークを提案する。
このフレームワークは、エキスパートでないユーザのために考えられた対話型XAIソリューションのための構造を提供することを目的としている。
論文 参考訳（メタデータ） (2021-09-27T09:56:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。