論文の概要: Predicting Satisfaction of Counterfactual Explanations from Human Ratings of Explanatory Qualities
- arxiv url: http://arxiv.org/abs/2504.13899v1
- Date: Mon, 07 Apr 2025 11:09:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:52.649238
- Title: Predicting Satisfaction of Counterfactual Explanations from Human Ratings of Explanatory Qualities
- Title（参考訳）: 説明的基準の人間格付けによる非現実的説明の満足度予測
- Authors: Marharyta Domnich, Rasmus Moorits Veski, Julius Välja, Kadi Tulver, Raul Vicente,
- Abstract要約: 我々は,206人の被験者によって評価された反事実的説明のデータセットを分析した。
ユーザ満足度の最強予測要因として、実現可能性と信頼が際立っていることが分かりました。
他のメトリクスでは、分散の58%を説明し、追加の説明的品質の重要性を強調している。
- 参考スコア（独自算出の注目度）: 0.873811641236639
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Counterfactual explanations are a widely used approach in Explainable AI, offering actionable insights into decision-making by illustrating how small changes to input data can lead to different outcomes. Despite their importance, evaluating the quality of counterfactual explanations remains an open problem. Traditional quantitative metrics, such as sparsity or proximity, fail to fully account for human preferences in explanations, while user studies are insightful but not scalable. Moreover, relying only on a single overall satisfaction rating does not lead to a nuanced understanding of why certain explanations are effective or not. To address this, we analyze a dataset of counterfactual explanations that were evaluated by 206 human participants, who rated not only overall satisfaction but also seven explanatory criteria: feasibility, coherence, complexity, understandability, completeness, fairness, and trust. Modeling overall satisfaction as a function of these criteria, we find that feasibility (the actionability of suggested changes) and trust (the belief that the changes would lead to the desired outcome) consistently stand out as the strongest predictors of user satisfaction, though completeness also emerges as a meaningful contributor. Crucially, even excluding feasibility and trust, other metrics explain 58% of the variance, highlighting the importance of additional explanatory qualities. Complexity appears independent, suggesting more detailed explanations do not necessarily reduce satisfaction. Strong metric correlations imply a latent structure in how users judge quality, and demographic background significantly shapes ranking patterns. These insights inform the design of counterfactual algorithms that adapt explanatory qualities to user expertise and domain context.
- Abstract（参考訳）: インプットデータへの小さな変更がいかに異なる結果をもたらすかを説明することによって、意思決定に関する実用的な洞察を提供する。
その重要性にもかかわらず、反事実的説明の質を評価することは未解決の問題である。
疎度や近接といった従来の定量的指標は、人間の嗜好を完全に説明できないが、ユーザスタディは洞察に富んでいるが、スケーラブルではない。
さらに、一つの総合的な満足度評価にのみ依存することは、ある説明が有効であるかどうかの微妙な理解に繋がらない。
そこで本研究では, 全体の満足度だけでなく, 実現可能性, 一貫性, 複雑性, 理解可能性, 完全性, 公正性, 信頼という7つの説明基準を評価された206人の被験者による, 反実的説明のデータセットを分析した。
これらの基準の関数として全体的な満足度をモデル化すると、実現可能性(変更提案の行動可能性)と信頼(変更が望ましい結果につながるという信念)が、ユーザ満足度の最も強い予測要因として一貫して際立っていることが分かるが、完全性もまた意味のあるコントリビュータとして現れている。
重要なことは、実現可能性と信頼を除いたとしても、他のメトリクスはばらつきの58%を説明し、追加の説明的品質の重要性を強調している。
複雑さは独立して現れ、より詳細な説明が必ずしも満足度を低下させるとは限らないことを示唆している。
強いメトリクス相関は、ユーザーが品質を判断する方法における潜在構造を示し、人口統計学的背景はランキングパターンを著しく形作る。
これらの知見は、説明的品質をユーザの専門知識やドメインコンテキストに適応させる対実的アルゴリズムの設計を示唆する。
関連論文リスト
- All You Need for Counterfactual Explainability Is Principled and Reliable Estimate of Aleatoric and Epistemic Uncertainty [27.344785490275864]
我々は透明性研究が人工知能の基本的な概念の多くを見落としていると主張している。
本質的に透明なモデルは、人間中心の説明的洞察の恩恵を受けることができる。
高度なレベルでは、人工知能の基礎を透明性研究に統合することは、より信頼性が高く、堅牢で、理解可能な予測モデルを生み出すことを約束する。
論文 参考訳（メタデータ） (2025-02-24T09:38:31Z) - Evaluate Summarization in Fine-Granularity: Auto Evaluation with LLM [11.995534662701132]
要約を正確に客観的に評価することは 重大な課題です
ROUGEのような既存の手法では、人間の判断と相関の低いスコアがしばしば得られる。
これらの課題に対処するために,新しい評価手法とツールを導入する。
論文 参考訳（メタデータ） (2024-12-27T19:42:25Z) - Towards counterfactual fairness through auxiliary variables [11.756940915048713]
変数を動機とする新しい因果推論フレームワークEXOCを紹介する。
本フレームワークは, ファクトフェアネスに寄与する補助ノードと制御ノードを明示的に定義する。
合成および実世界のデータセットを用いて評価を行い,EXOCの優位性を検証した。
論文 参考訳（メタデータ） (2024-12-06T04:23:05Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。
実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。
我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
論文 参考訳（メタデータ） (2023-08-28T03:03:03Z) - Improving Faithfulness of Abstractive Summarization by Controlling
Confounding Effect of Irrelevant Sentences [38.919090721583075]
事実整合性は、共同創設者として機能する入力テキストの無関係な部分によって引き起こされる可能性があることを示す。
そこで我々は,人間が記述した関連文を利用できる場合に利用することにより,そのような欠点を抑えるためのシンプルなマルチタスクモデルを設計する。
提案手法は,AnswerSumm citepfabbri 2021answersummデータセットの強いベースラインに対して,忠実度スコアを20%向上させる。
論文 参考訳（メタデータ） (2022-12-19T18:51:06Z) - Exploring the Trade-off between Plausibility, Change Intensity and
Adversarial Power in Counterfactual Explanations using Multi-objective
Optimization [73.89239820192894]
自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。
本稿では, 対実例生成のための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2022-05-20T15:02:53Z) - Features of Explainability: How users understand counterfactual and
causal explanations for categorical and continuous features in XAI [10.151828072611428]
対物的説明は、AI決定の解釈可能性、レコメンデーション、バイアスに対処するためにますます使われています。
本研究では,ユーザ予測の客観的精度に対する反事実的・因果的説明の効果を検証した。
また, 利用者は, カテゴリー的特徴を参照する説明を, 連続的特徴を参照する説明よりも容易に理解できることがわかった。
論文 参考訳（メタデータ） (2022-04-21T15:01:09Z) - Show or Suppress? Managing Input Uncertainty in Machine Learning Model
Explanations [5.695163312473304]
特徴属性は、各測定された入力特徴値が出力推定に与える影響を説明するために、解釈可能な機械学習で広く使用されている。
入力の不確実性の認識が説明の信頼にどのように影響するかは不明です。
モデル説明において不確実性の認識を管理するための2つのアプローチを提案します。
論文 参考訳（メタデータ） (2021-01-23T13:10:48Z) - Uncertainty as a Form of Transparency: Measuring, Communicating, and
Using Uncertainty [66.17147341354577]
我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。
モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。
この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
論文 参考訳（メタデータ） (2020-11-15T17:26:14Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-09-30T05:29:01Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳（メタデータ） (2020-05-31T05:52:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。