論文の概要: Measuring User Understanding in Dialogue-based XAI Systems
- arxiv url: http://arxiv.org/abs/2408.06960v2
- Date: Wed, 14 Aug 2024 12:11:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-15 12:12:37.699378
- Title: Measuring User Understanding in Dialogue-based XAI Systems
- Title（参考訳）: 対話型XAIシステムにおけるユーザ理解の測定
- Authors: Dimitry Mindlin, Amelie Sophie Robrecht, Michael Morasch, Philipp Cimiano,
- Abstract要約: XAIの最先端は、単発、非個人化、一方通行の説明が特徴である。
本稿では,ユーザが学習しているモデルの予測をシミュレートして,3段階のユーザ理解を計測する。
我々は、高い理解率と低い理解率の集団間の相互作用のパターンを明らかにするために、データを分析した。
- 参考スコア（独自算出の注目度）: 2.4124106640519667
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The field of eXplainable Artificial Intelligence (XAI) is increasingly recognizing the need to personalize and/or interactively adapt the explanation to better reflect users' explanation needs. While dialogue-based approaches to XAI have been proposed recently, the state-of-the-art in XAI is still characterized by what we call one-shot, non-personalized and one-way explanations. In contrast, dialogue-based systems that can adapt explanations through interaction with a user promise to be superior to GUI-based or dashboard explanations as they offer a more intuitive way of requesting information. In general, while interactive XAI systems are often evaluated in terms of user satisfaction, there are limited studies that access user's objective model understanding. This is in particular the case for dialogue-based XAI approaches. In this paper, we close this gap by carrying out controlled experiments within a dialogue framework in which we measure understanding of users in three phases by asking them to simulate the predictions of the model they are learning about. By this, we can quantify the level of (improved) understanding w.r.t. how the model works, comparing the state prior, and after the interaction. We further analyze the data to reveal patterns of how the interaction between groups with high vs. low understanding gain differ. Overall, our work thus contributes to our understanding about the effectiveness of XAI approaches.
- Abstract（参考訳）: eXplainable Artificial Intelligence(XAI)の分野は、ユーザーの説明要求をよりよく反映するために、説明をパーソナライズおよび/またはインタラクティブに適応する必要性を認識している。
XAIへの対話に基づくアプローチは近年提案されているが、XAIの最先端技術は、我々が「ワンショット、非個人化、片道説明」と呼ぶものによってまだ特徴付けられている。
対照的に、ユーザとの対話を通じて説明を適応できる対話ベースのシステムは、より直感的な情報要求方法を提供するため、GUIベースの説明やダッシュボードの説明よりも優れていると約束する。
一般に、対話型XAIシステムはユーザ満足度の観点から評価されることが多いが、ユーザの客観的モデル理解にアクセスする研究は限られている。
これは特に対話ベースのXAIアプローチの場合です。
本稿では,ユーザが学習しているモデルの予測をシミュレートして,3段階のユーザ理解を計測する対話フレームワーク内で,制御された実験を行うことにより,このギャップを埋める。
これにより、モデルがどのように機能するかを(改善された)理解するレベルを定量化し、相互作用の前と後の状態を比較できる。
さらにデータを分析し、高い理解率と低い理解率の集団間の相互作用がどのように異なるかを明らかにする。
全体として、私たちの研究は、XAIアプローチの有効性についての理解に寄与します。
関連論文リスト
- Tell me more: Intent Fulfilment Framework for Enhancing User Experiences in Conversational XAI [0.6333053895057925]
本稿では,ユーザのXAIニーズに対して,異なるタイプの説明が協調的にどのように適合するかを考察する。
Intent Fulfilment Framework (IFF)を導入した。
Explanation Experience Dialogue Model は IFF と "Explanation Followups" を統合し,対話型インターフェースを提供する。
論文 参考訳（メタデータ） (2024-05-16T21:13:43Z) - XAI for All: Can Large Language Models Simplify Explainable AI? [0.0699049312989311]
x-[plAIn]"は、カスタムのLarge Language Modelを通じて、XAIをより広く利用できるようにする新しいアプローチである。
我々の目標は、様々なXAI手法の明確で簡潔な要約を生成できるモデルを設計することであった。
使用事例調査の結果から,本モデルは理解し易く,観衆特有の説明を提供するのに有効であることが示された。
論文 参考訳（メタデータ） (2024-01-23T21:47:12Z) - How much informative is your XAI? A decision-making assessment task to
objectively measure the goodness of explanations [53.01494092422942]
XAIに対する個人化アプローチとユーザ中心アプローチの数は、近年急速に増加している。
ユーザ中心のXAIアプローチがユーザとシステム間のインタラクションに肯定的な影響を与えることが明らかとなった。
我々は,XAIシステムの良否を客観的かつ定量的に評価するための評価課題を提案する。
論文 参考訳（メタデータ） (2023-12-07T15:49:39Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-06-14T23:24:01Z) - Behaviour Trees for Conversational Explanation Experiences [1.5257668132713955]
本稿では、ユーザがXAIシステムと対話して、説明戦略によって満たされた複数の説明要求を満たす方法に焦点を当てる。
対話型説明体験を対話モデルとしてモデル化する。
実世界のユースケースを用いた評価では、BTには、モデリングや説明経験の取得に自然に寄与する多くの特性がある。
論文 参考訳（メタデータ） (2022-11-11T18:39:38Z) - Towards Human Cognition Level-based Experiment Design for Counterfactual
Explanations (XAI) [68.8204255655161]
XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。
認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。
本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
論文 参考訳（メタデータ） (2022-10-31T19:20:22Z) - Connecting Algorithmic Research and Usage Contexts: A Perspective of
Contextualized Evaluation for Explainable AI [65.44737844681256]
説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。
このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
論文 参考訳（メタデータ） (2022-06-22T05:17:33Z) - Towards Large-Scale Interpretable Knowledge Graph Reasoning for Dialogue
Systems [109.16553492049441]
よりスケーラブルで一般化可能な対話システムに知識推論機能を組み込む新しい手法を提案する。
我々の知識を最大限に活用するために、変圧器モデルが微分可能な知識グラフを解析して応答を生成するのは、これが初めてである。
論文 参考訳（メタデータ） (2022-03-20T17:51:49Z) - Structure Extraction in Task-Oriented Dialogues with Slot Clustering [94.27806592467537]
タスク指向対話では、対話構造はしばしば対話状態間の遷移グラフと見なされている。
本稿では,タスク指向対話における構造抽出のための簡易かつ効果的な手法を提案する。
論文 参考訳（メタデータ） (2022-02-28T20:18:12Z) - Explainable Artificial Intelligence (XAI) for Increasing User Trust in
Deep Reinforcement Learning Driven Autonomous Systems [0.8701566919381223]
我々は3つの説明を提供する説明可能な人工知能(XAI)フレームワークを提供する。
我々は,XAIフレームワークのユーザインタフェースを作成し,その有効性を評価した。
論文 参考訳（メタデータ） (2021-06-07T16:38:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。