論文の概要: Rethinking XAI Evaluation: A Human-Centered Audit of Shapley Benchmarks in High-Stakes Settings

• arxiv url: http://arxiv.org/abs/2604.22662v1
• Date: Fri, 24 Apr 2026 15:38:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-27 15:36:26.524082
• Title: Rethinking XAI Evaluation: A Human-Centered Audit of Shapley Benchmarks in High-Stakes Settings
• Title（参考訳）: XAI評価の再考: ハイテイク環境でのシェープベンチマークの人間中心監査
• Authors: Inês Oliveira e Silva, Sérgio Jesus, Iker Perez, Rita P. Ribeiro, Carlos Soares, Hugo Ferreira, Pedro Bizarro,
• Abstract要約: 共有価値は、説明可能なAIの基盤だが、競合する定式化への拡散は、断片化された風景を生み出している。 8つのShapley変種間のセマンティックな差異を分離するために、統一アモータイズされたフレームワークを使用します。 空間性や忠実性などの標準的な定量的指標は、人間の知覚的明確性や決定性から切り離されている。
• 参考スコア（独自算出の注目度）: 8.934085986179019
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Shapley values are a cornerstone of explainable AI, yet their proliferation into competing formulations has created a fragmented landscape with little consensus on practical deployment. While theoretical differences are well-documented, evaluation remains reliant on quantitative proxies whose alignment with human utility is unverified. In this work, we use a unified amortized framework to isolate semantic differences between eight Shapley variants under the low-latency constraints of operational risk workflows. We conduct a large-scale empirical evaluation across four risk datasets and a realistic fraud-detection environment involving professional analysts and 3,735 case reviews. Our results reveal a fundamental misalignment: standard quantitative metrics, such as sparsity and faithfulness, are decoupled from human-perceived clarity and decision utility. Furthermore, while no formulation improved objective analyst performance, explanations consistently increased decision confidence, signaling a critical risk of automation bias in high-stakes settings. These findings suggest that current evaluation proxies are insufficient for predicting downstream human impact, and we provide evidence-based guidance for selecting formulations and metrics in operational decision systems.
• Abstract（参考訳）: 共有価値は、説明可能なAIの基盤であるが、競合する定式化への拡散は、実践的なデプロイメントに関するコンセンサスをほとんど持たない、断片化された風景を生み出している。 理論的差異はよく文書化されているが、評価は人間の効用との整合が証明されていない量的プロキシに依存している。 本研究では,運用リスクワークフローの低レイテンシ制約下での8つのShapley変種間のセマンティックな差異を分離するために,統一的アモート化フレームワークを使用する。 本研究では,4つのリスクデータセットにまたがる大規模な経験的評価と,プロのアナリストと3,735件のケースレビューを含む現実的な不正検出環境について述べる。 空間性や忠実性などの標準的な定量的指標は、人間の知覚的明確性や決定性から切り離されている。 さらに、客観的アナリストのパフォーマンスを向上する定式化は行われなかったが、説明は意思決定の信頼性を常に向上させ、ハイテイク環境での自動化バイアスの重大なリスクを示唆している。 これらの結果から,現在の評価プロキシは下流の人的影響を予測するには不十分であることが示唆され,オペレーショナル意思決定システムにおける定式化とメトリクスの選択のためのエビデンスベースのガイダンスを提供する。

関連論文リスト

• Beyond Benchmark Islands: Toward Representative Trustworthiness Evaluation for Agentic AI [45.21562889170875]
  シナリオ多様体に対するエージェントの信頼性を特徴付けるシステム評価パラダイムを提案する。 このフレームワークは,静的認知と政策分析,対話型サンドボックスシミュレーション,社会倫理アライメントアライメントアセスメント,および(iv)分散対応の代表サンプリングエンジンの4つの補完的コンポーネントを統合している。
  論文  参考訳（メタデータ） (2026-03-16T08:51:33Z)
• RADAR: A Risk-Aware Dynamic Multi-Agent Framework for LLM Safety Evaluation via Role-Specialized Collaboration [81.38705556267917]
  大規模言語モデル(LLM)の既存の安全性評価手法は、固有の制約に悩まされている。 リスク概念空間を再構築する理論的枠組みを導入する。 マルチエージェント協調評価フレームワークRADARを提案する。
  論文  参考訳（メタデータ） (2025-09-28T09:35:32Z)
• Coarse Set Theory for AI Ethics and Decision-Making: A Mathematical Framework for Granular Evaluations [0.0]
  粗い倫理 (CE) は、文字のグレードや警告ラベルなどの粗い評価を、認知的および文脈的制約の下で倫理的に適切であるものとして正当化する理論的な枠組みである。 本稿では、完全順序構造と粗い分割を用いた粗粒度決定をモデル化する新しい数学的枠組みである粗粒度集合論(CST)を紹介する。 CSTは集合間の階層的関係を定義し、Kulback-Leibler Divergenceのような情報理論ツールを使用して、単純化と情報損失の間のトレードオフを定量化する。
  論文  参考訳（メタデータ） (2025-02-11T08:18:37Z)
• Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
  人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Robust Design and Evaluation of Predictive Algorithms under Unobserved Confounding [6.925076885159747]
  本稿では,予測アルゴリズムの堅牢な設計と評価のためのフレームワークを提案する。 様々な不確定な仮定が、所得グループ間での信用リスク予測と公平性評価に大きく影響していることが示される。
  論文  参考訳（メタデータ） (2022-12-19T20:41:44Z)
• Reliable Off-policy Evaluation for Reinforcement Learning [53.486680020852724]
  シーケンシャルな意思決定問題において、非政治評価は、目標政策の期待累積報酬を推定する。 本稿では、1つまたは複数のログデータを用いて、ロバストで楽観的な累積報酬推定を提供する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-08T23:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。