論文の概要: Exploring Trust Calibration in XAI - The Impact of Exposing Model Limitations to Lay Users
- arxiv url: http://arxiv.org/abs/2605.18036v1
- Date: Mon, 18 May 2026 08:26:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:49.122969
- Title: Exploring Trust Calibration in XAI - The Impact of Exposing Model Limitations to Lay Users
- Title（参考訳）: XAIにおける信頼キャリブレーションの探求 - レイユーザに対するモデル制限の実施の影響
- Authors: Alfio Ventura, Tim Katzke, Jan Corazza, Mustafa Yalçıner,
- Abstract要約: 信頼度校正は、説明可能なAI(XAI)の安全な配置に不可欠である
本研究は,スキン・レシオン分類に関する事前登録,インセンティブ付研究である。
被験者は 固定XAIパネルを用いて 15件の症例評価を完了した。
- 参考スコア（独自算出の注目度）: 0.6936106779733021
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Trust calibration -- aligning user trust judgment with model capability -- is crucial for safe deployment of explainable AI (XAI), yet is often evaluated via global trust ratings detached from objective performance evidence. We present a preregistered, incentivized between-subject online study (N=418 representative UK sample) on explainable skin-lesion classification that disentangles expectation-setting from experienced performance. Participants completed 15 case evaluations using a fixed XAI panel (malignancy score, reliability score, and saliency map). We systematically manipulated five experimental onboarding conditions varying example-based information and limitation disclosures with five stimulus packages naturally varying observed prediction quality. Calibration was operationalized as the deviation between trust-related judgments (TAIS and case-wise ratings) and objective performance benchmarks for the encountered cases, analysed with hierarchical mixed-effects models. Only limitation disclosure for case-wise measures reliably impacts trust calibration, and short-term experience did not yield progressive calibration. Further, the experienced package of stimuli explained substantially more variance than the experimental manipulation. However, participants were hard-pressed to differentiate between case-wise perceived trust, trustworthiness, and accuracy estimation. We discuss implications for designing limitation communication and for measuring and analysing calibration metrics in XAI evaluations. All study materials and data of this study are publicly available for replication and further academic use.
- Abstract（参考訳）: 信頼のキャリブレーション -- ユーザ信頼判断とモデル能力の整合性 -- は、説明可能なAI(XAI)の安全なデプロイには不可欠だが、客観的なパフォーマンス証拠から分離したグローバル信頼評価を通じてしばしば評価される。
本報告では,経験者から期待設定を逸脱させる説明可能な皮膚病変分類について,事前登録・インセンティブ付きオンライン調査(N=418英国代表例)を行う。
被験者はXAIパネル(悪性度スコア,信頼性スコア,サリエンシマップ)を用いて15症例評価を完了した。
本研究は,5つの刺激パッケージによるサンプルベース情報の変化と制限開示を,自然に観察された予測品質を変化させた5つの実験実施条件を体系的に操作した。
キャリブレーションは、信頼関連判断(TAIS)とケースワイド評価(ケースワイド評価)の偏差として運用され、階層的な混合効果モデルを用いて分析された。
ケースワイズ対策の限定開示は信頼性の校正に確実に影響を及ぼし、短期経験は進歩的な校正には至らなかった。
さらに、経験豊富な刺激パッケージは、実験的な操作よりもかなり多くのばらつきを説明できた。
しかし、参加者は、ケースワイドな信頼、信頼性、正確性評価の区別が困難であった。
我々は,XAI評価における限界通信の設計とキャリブレーション指標の測定と分析の意義について論じる。
本研究のすべての資料とデータは、複製およびさらなる学術的利用のために公開されている。
関連論文リスト
- Rethinking XAI Evaluation: A Human-Centered Audit of Shapley Benchmarks in High-Stakes Settings [8.934085986179019]
共有価値は、説明可能なAIの基盤だが、競合する定式化への拡散は、断片化された風景を生み出している。
8つのShapley変種間のセマンティックな差異を分離するために、統一アモータイズされたフレームワークを使用します。
空間性や忠実性などの標準的な定量的指標は、人間の知覚的明確性や決定性から切り離されている。
論文 参考訳（メタデータ） (2026-04-24T15:38:44Z) - Uncertainty and Fairness Awareness in LLM-Based Recommendation Systems [3.937681476010311]
本稿では,不確実性と公平性の評価が大規模言語モデル(LLM)の精度,一貫性,信頼性に与える影響について検討する。
我々は(エントロピーを通じて)予測の不確実性を定量化し、Google DeepMindのGemini 1.5 Flashが特定の機密属性に対して体系的に不確実性を示すことを示した。
本稿では,RecLLMに対する新たな不確実性評価手法を提案する。
論文 参考訳（メタデータ） (2026-01-31T17:18:13Z) - Truthfulness Despite Weak Supervision: Evaluating and Training LLMs Using Peer Prediction [5.366560952801833]
本稿では,モデル評価とポストトレーニングのためのピア予測手法を提案する。
真面目で情報的な答えを欺いたり、非形式的な答えに報いる。
ピア予測に基づく報奨による8Bモデルのトレーニングは、以前の悪意のある微調整による真偽の低下の大部分を回復させることを示す。
論文 参考訳（メタデータ） (2026-01-28T06:47:46Z) - Prediction-Powered Causal Inferences [59.98498488132307]
予測型因果推論(PPCI)に焦点をあてる
まず, 条件付きキャリブレーションにより, 人口レベルでの有効なPPCIが保証されることを示す。
次に、実験間での十分な表現制約伝達の妥当性を導入する。
論文 参考訳（メタデータ） (2025-02-10T10:52:17Z) - Quantifying Calibration Error in Neural Networks Through Evidence-Based Theory [1.9832598896178517]
本稿では、予測エラー(ECE)の評価に主観的論理を組み込むことにより、ニューラルネットワークの信頼性を定量化する新しい枠組みを提案する。
我々は,MNISTおよびCIFAR-10データセットを用いた実験により,信頼性が向上したことを示す。
提案されたフレームワークは、医療や自律システムといったセンシティブな分野における潜在的な応用を含む、AIモデルのより解釈可能でニュアンスな評価を提供する。
論文 参考訳（メタデータ） (2024-10-31T23:54:21Z) - EDUE: Expert Disagreement-Guided One-Pass Uncertainty Estimation for Medical Image Segmentation [1.757276115858037]
本稿では,医用画像分割のためのエキスパート診断誘導不確実性推定(EDUE)を提案する。
複数のラッカーからの接地構文アノテーションの可変性を活用することにより、トレーニング中のモデルをガイドし、ランダムサンプリングに基づく戦略を取り入れ、校正信頼性を高める。
論文 参考訳（メタデータ） (2024-03-25T10:13:52Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳（メタデータ） (2024-03-05T11:44:14Z) - Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
論文 参考訳（メタデータ） (2023-06-18T09:54:33Z) - Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。
本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:05:36Z) - Uncertainty-Driven Action Quality Assessment [11.958132175629368]
本稿では,複数の判定スコアの多様性を捉えるために,不確実性駆動型AQA (UD-AQA) という新しい確率モデルを提案する。
我々は,AQA回帰損失の再重み付けに使用される各予測の不確かさを推定する。
提案手法は,オリンピックイベントMTL-AQAとFineDivingの3つのベンチマークと,手術スキルJIGSAWSデータセットの3つのベンチマークで比較結果を得た。
論文 参考訳（メタデータ） (2022-07-29T07:21:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。