論文の概要: Beyond Satisfaction: From Placebic to Actionable Explanations For Enhanced Understandability

• arxiv url: http://arxiv.org/abs/2512.06591v1
• Date: Sat, 06 Dec 2025 23:06:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.422053
• Title: Beyond Satisfaction: From Placebic to Actionable Explanations For Enhanced Understandability
• Title（参考訳）: 満足を超えて - プラズビックから行動可能な説明へ - 理解可能性を高めるために
• Authors: Joe Shymanski, Jacob Brue, Sandip Sen,
• Abstract要約: 本稿では、機械学習システムの説明可能性を評価する上で、ユーザ満足度指標の過度な信頼性を批判する。 主観的な調査では、ユーザにとって有用なドメイン理解を構築する上で、説明が本当に有効かどうかを把握できないことが分かりました。 エージェントの説明能力の今後の評価は、主観的な評価とともに客観的なタスクパフォーマンス指標を統合して、説明品質をより正確に測定することを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explainable AI (XAI) presents useful tools to facilitate transparency and trustworthiness in machine learning systems. However, current evaluations of system explainability often rely heavily on subjective user surveys, which may not adequately capture the effectiveness of explanations. This paper critiques the overreliance on user satisfaction metrics and explores whether these can differentiate between meaningful (actionable) and vacuous (placebic) explanations. In experiments involving optimal Social Security filing age selection tasks, participants used one of three protocols: no explanations, placebic explanations, and actionable explanations. Participants who received actionable explanations significantly outperformed the other groups in objective measures of their mental model, but users rated placebic and actionable explanations as equally satisfying. This suggests that subjective surveys alone fail to capture whether explanations truly support users in building useful domain understanding. We propose that future evaluations of agent explanation capabilities should integrate objective task performance metrics alongside subjective assessments to more accurately measure explanation quality. The code for this study can be found at https://github.com/Shymkis/social-security-explainer.
• Abstract（参考訳）: 説明可能なAI(XAI)は、機械学習システムの透明性と信頼性を促進する有用なツールを提供する。 しかし、現在のシステム説明可能性の評価は、しばしば主観的ユーザ調査に大きく依存しており、説明の有効性を適切に捉えていない。 本稿では、ユーザ満足度指標の過度な信頼性を批判し、これらが意味のある(行動可能)と空き(プレースビック)の説明を区別できるかどうかを考察する。 最適な社会保障申請年齢選択タスクを含む実験では、参加者は3つのプロトコルのうちの1つを使用した。 行動可能な説明を受けた参加者は、精神モデルに対する客観的な尺度で他グループよりも有意に優れていたが、利用者はプラセビックと行動可能な説明を等しく満足するものとして評価した。 このことは、主観的な調査だけで、説明がユーザにとって有用なドメイン理解を構築するのに役立つかどうかを把握できないことを示唆している。 エージェントの説明能力の今後の評価は、主観的な評価とともに客観的なタスクパフォーマンス指標を統合して、説明品質をより正確に測定することを提案する。 この研究のコードはhttps://github.com/Shymkis/social-security-explainerで見ることができる。

関連論文リスト

• COMMUNITYNOTES: A Dataset for Exploring the Helpfulness of Fact-Checking Explanations [89.37527535663433]
  ユーザが提供するノートと有用なラベルを用いた104kポストの大規模データセットを提示する。 本稿では,自動的なプロンプト最適化による理由定義の自動生成と改善を行うフレームワークを提案する。 実験の結果,最適化された定義は有用性と推論の両方を改善できることがわかった。
  論文  参考訳（メタデータ） (2025-10-28T05:28:47Z)
• Predicting Satisfaction of Counterfactual Explanations from Human Ratings of Explanatory Qualities [0.873811641236639]
  我々は,206人の被験者によって評価された反事実的説明のデータセットを分析した。 ユーザ満足度の最強予測要因として、実現可能性と信頼が際立っていることが分かりました。 他のメトリクスでは、分散の58%を説明し、追加の説明的品質の重要性を強調している。
  論文  参考訳（メタデータ） (2025-04-07T11:09:25Z)
• Creating Healthy Friction: Determining Stakeholder Requirements of Job Recommendation Explanations [2.373992571236766]
  本研究では,現実的なタスクベースの複合設計ユーザスタディを用いて,説明可能なジョブレコメンデーションシステムの評価を行う。 実際の説明を利害関係者に提供することは意思決定のスピードと正確さを著しく向上させるものではない。
  論文  参考訳（メタデータ） (2024-09-24T11:03:17Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Complementary Explanations for Effective In-Context Learning [77.83124315634386]
  大規模言語モデル (LLM) は、説明のインプロンプトから学習する際、顕著な能力を示した。 この研究は、文脈内学習に説明が使用されるメカニズムをよりよく理解することを目的としている。
  論文  参考訳（メタデータ） (2022-11-25T04:40:47Z)
• How (Not) To Evaluate Explanation Quality [29.40729766120284]
  タスクやドメインにまたがって適用される説明品質の望ましい特性を定式化する。 本稿では,今日の説明品質評価を制限する障害を克服するための実用的なガイドラインを提案する。
  論文  参考訳（メタデータ） (2022-10-13T16:06:59Z)
• Features of Explainability: How users understand counterfactual and causal explanations for categorical and continuous features in XAI [10.151828072611428]
  対物的説明は、AI決定の解釈可能性、レコメンデーション、バイアスに対処するためにますます使われています。 本研究では,ユーザ予測の客観的精度に対する反事実的・因果的説明の効果を検証した。 また, 利用者は, カテゴリー的特徴を参照する説明を, 連続的特徴を参照する説明よりも容易に理解できることがわかった。
  論文  参考訳（メタデータ） (2022-04-21T15:01:09Z)
• Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
  分析による特徴に基づく説明の新たな評価基準を確立する。 我々は、緩やかに必要であり、予測に十分である新しい説明を得る。 我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
  論文  参考訳（メタデータ） (2020-05-31T05:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。