論文の概要: Can Conversational XAI Improve User Performance? An Experimental Study
- arxiv url: http://arxiv.org/abs/2605.20439v1
- Date: Tue, 19 May 2026 19:47:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 19:19:56.348797
- Title: Can Conversational XAI Improve User Performance? An Experimental Study
- Title（参考訳）: 会話型XAIはユーザパフォーマンスを向上させるか? : 実験的検討
- Authors: Sven Kruschel, Julian Rosenberger, Lasse Bohlen, Mathias Kraus, Patrick Zschech,
- Abstract要約: 本稿では,予測精度,モデル理解,誤り識別による説明支援の評価実験について提案する。
説明可能な設計予測モデルを用いて,システム的エラーを識別・補償することで,ユーザがモデルより優れている条件を作成する。
実験による実験結果から, 参加者はモデルよりも有意に優れていたが, 支援タイプと, 全体としては質素なエンゲージメントとの間には, 性能差は認められなかった。
- 参考スコア（独自算出の注目度）: 3.9766661294245593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Explainable AI (XAI) techniques aim to provide insights into predictive models and enhance user performance, yet they often fall short of these expectations. Conversational XAI assistants promise to overcome such limitations, but empirical evidence on their impact on objective performance measures remains limited. We propose an experimental design for evaluating explanation assistance through prediction accuracy, model understanding, and error identification. Using an explainable-by-design prediction model, we create conditions where users can outperform the model by identifying and compensating for systematic errors. We compare conversational assistance against Q&A-based assistance to assess which better supports users in working with model explanations. Preliminary results from testing our experimental design show that participants (N=42) in both treatments significantly outperformed the model but reveal no performance differences between assistance types and modest engagement overall. These findings inform refinements for our planned full study, including enhanced engagement interventions and investigation of the mechanisms driving improved predictions.
- Abstract（参考訳）: 説明可能なAI(XAI)技術は、予測モデルに対する洞察の提供とユーザパフォーマンスの向上を目的としているが、これらの期待には届かないことが多い。
会話型XAIアシスタントはこのような制限を克服することを約束するが、客観的なパフォーマンス対策への影響に関する実証的な証拠は依然として限られている。
本稿では,予測精度,モデル理解,誤り識別による説明支援の評価実験について提案する。
説明可能な設計予測モデルを用いて,システム的エラーを識別・補償することで,ユーザがモデルより優れている条件を作成する。
我々は、Q&Aベースの支援に対する会話支援を比較し、モデル説明の作業において、どのユーザーがより良いサポートをするかを評価する。
実験結果から, 両治療群 (N=42) は, モデルよりも有意な成績を示したが, 補助型と中等度エンゲージメントの差は認められなかった。
本研究は, 関与介入の強化や, 予測能力の向上を導くメカニズムの解明など, 全研究の進展を示唆するものである。
関連論文リスト
- Using LLMs to Directly Guess Conditional Expectations Can Improve Efficiency in Causal Estimation [0.3222802562733787]
過去のデータに基づいて学習した生成モデルによる予測は,これらの推定器の性能向上に有効であることを示す。
オンラインジュエリーオークションの小さなデータセットを用いてケーススタディを考察し,LLM生成推定を予測子として含めることによって推定効率が向上することを示した。
論文 参考訳（メタデータ） (2025-10-09T03:34:06Z) - Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。
モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。
因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
論文 参考訳（メタデータ） (2025-02-07T17:01:37Z) - Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。
本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
論文 参考訳（メタデータ） (2024-08-24T18:28:19Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - Predictability and Comprehensibility in Post-Hoc XAI Methods: A
User-Centered Analysis [6.606409729669314]
ポストホック説明可能性法は、ブラックボックス機械学習モデルの予測を明らかにすることを目的としている。
我々は、LIMEとSHAPの2つの広く使われているツールにおいて、理解性と予測可能性を評価するために、ユーザスタディを実施している。
モデル決定境界付近のサンプルに対して説明を行うと,SHAPの理解度が大幅に低下することがわかった。
論文 参考訳（メタデータ） (2023-09-21T11:54:20Z) - A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check [53.152011258252315]
音声とグラフィックの情報を合理的に使用することは,中国語のスペルチェックに有効であることを示す。
モデルはテストセットのエラー分布に敏感であり、モデルの欠点を反映している。
一般的なベンチマークであるSIGHANは、モデルの性能を確実に評価できない。
論文 参考訳（メタデータ） (2023-07-25T17:02:38Z) - Counterfactuals of Counterfactuals: a back-translation-inspired approach
to analyse counterfactual editors [3.4253416336476246]
我々は、反事実的、対照的な説明の分析に焦点をあてる。
本稿では,新しい逆翻訳に基づく評価手法を提案する。
本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
論文 参考訳（メタデータ） (2023-05-26T16:04:28Z) - Clinical outcome prediction under hypothetical interventions -- a
representation learning framework for counterfactual reasoning [31.97813934144506]
本稿では,リスクモデルの組込み特性として,対実的説明の提供を考慮した新しい表現学習フレームワークを提案する。
提案する枠組みは, 研究者や臨床医がパーソナライズされたケアを改善するのに役立つ可能性が示唆された。
論文 参考訳（メタデータ） (2022-05-15T09:41:16Z) - Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。
わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。
これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
論文 参考訳（メタデータ） (2022-04-17T15:55:18Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳（メタデータ） (2021-12-17T18:29:56Z) - A Study on Multimodal and Interactive Explanations for Visual Question
Answering [3.086885687016963]
視覚質問応答(VQA)タスクの設定において,マルチモーダルな説明を評価する。
結果は,VQAシステムの解答が不正確である場合に,人間の予測精度の向上に役立つことを示唆している。
本稿では,注意マップの編集による介入による因果的注意効果評価手法であるアクティブアテンションを導入する。
論文 参考訳（メタデータ） (2020-03-01T07:54:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。