論文の概要: A Synthetic Ground-Truth Framework for the Evaluation of Explainable AI Methods

• arxiv url: http://arxiv.org/abs/2609.30397v1
• Date: Thu, 24 Sep 2026 18:04:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.085324
• Title: A Synthetic Ground-Truth Framework for the Evaluation of Explainable AI Methods
• Title（参考訳）: 説明可能なAI手法の評価のための合成基盤構造フレームワーク
• Abstract要約: 説明可能な人工知能(XAI)手法の評価は、信頼性の高い評価手順が欠如しているため難しい課題である。 合成地盤真理に基づくXAI手法の評価のための枠組みを提案する。
• 参考スコア（独自算出の注目度）: 2.905751301655124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating explainable Artificial Intelligence (XAI) methods is a challenging task due to the lack of reliable evaluation procedures and, in particular, the absence of ground truth explanations. In the literature, existing evaluation approaches typically assess explanations by measuring their fidelity with respect to the predictions of a black-box model. However, such evaluation strategies only quantify the degree to which an explanation reproduces the model's output, without ensuring that the explanation correctly reflects the underlying decision process. As a consequence, different explanations may achieve similar fidelity scores while providing inconsistent or misleading interpretations of the model behavior. In this paper, we propose a framework for the evaluation of XAI methods based on synthetic ground truth. The proposed approach relies on controlled interventions to generate synthetic datasets in which the importance of input components can be determined by design. This enables the construction of ground truth explanations that are directly aligned with the behavior of the model under analysis. The framework is instantiated across three data domains, namely binary images, tabular data, and time series, allowing a comprehensive assessment of explanation methods in heterogeneous settings. Experimental results obtained by evaluating nine widely used XAI methods show significant limitations in current techniques and highlight the importance of synthetic, intervention-based benchmarks for a reliable assessment of explanation quality.
• Abstract（参考訳）: 説明可能な人工知能(XAI)手法の評価は、信頼性の高い評価手順の欠如、特に基礎的な真理的な説明の欠如により難しい課題である。 文献では、既存の評価手法は、ブラックボックスモデルの予測に関して、その忠実度を測定することによって説明を評価するのが一般的である。 しかし、そのような評価戦略は、説明がモデルの出力を再現する程度しか定量化せず、その説明が根底にある決定過程を正しく反映することを保証する。 その結果、異なる説明は、モデル行動の矛盾または誤解を招く解釈を提供しながら、同様の忠実度スコアを達成することができる。 本稿では,合成地盤真理に基づくXAI手法の評価のための枠組みを提案する。 提案手法は、入力成分の重要性を設計によって決定できる合成データセットを生成するための制御された介入に依存する。 これにより、分析中のモデルの振舞いと直接一致した基底的真理の説明を構築することができる。 このフレームワークは、バイナリ画像、表データ、時系列という3つのデータ領域にまたがってインスタンス化され、不均一な設定における説明方法の包括的な評価を可能にする。 9つの広く使われているXAI法を評価した結果、現在の技術に重大な限界が見られ、説明品質の信頼性を評価するための総合的介入ベースのベンチマークの重要性が強調された。

関連論文リスト

• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• F-Fidelity: A Robust Framework for Faithfulness Evaluation of Explainable AI [15.314388210699443]
  XAI技術は、ディープラーニングモデルから意味のある洞察を抽出することができる。 適切に評価する方法は、未解決の問題である。 我々は,XAIのための堅牢な評価フレームワークとして,F-Fidelity(F-Fidelity)を提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:23:06Z)
• Robustness of Explainable Artificial Intelligence in Industrial Process Modelling [43.388607981317016]
  我々は,地中真実シミュレーションと感度解析に基づいて,現在のXAI手法を評価する。 モデル化された産業プロセスの真の感度を正確に予測する能力において,XAI法とXAI法の違いを示す。
  論文  参考訳（メタデータ） (2024-07-12T09:46:26Z)
• An Experimental Investigation into the Evaluation of Explainability Methods [60.54170260771932]
  この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。 実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
  論文  参考訳（メタデータ） (2023-05-25T08:07:07Z)
• Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models [77.34726150561087]
  本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。 本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
  論文  参考訳（メタデータ） (2022-03-30T05:59:50Z)
• Developing a Fidelity Evaluation Approach for Interpretable Machine Learning [2.2448567386846916]
  複雑なモデルの解釈性を改善するために、説明可能なAI(XAI)メソッドが使用される。 特に、ブラックボックスの説明の忠実さを評価するには、さらなる発展が必要である。 本評価は, 基礎となる予測モデルの内部メカニズム, 使用法の内部メカニズム, モデルおよびデータの複雑さが, すべて説明忠実性に影響を与えることを示唆している。
  論文  参考訳（メタデータ） (2021-06-16T00:21:16Z)
• Data Representing Ground-Truth Explanations to Evaluate XAI Methods [0.0]
  現在、説明可能な人工知能(XAI)手法は、主に解釈可能な機械学習(IML)研究に由来するアプローチで評価されている。 本稿では,XAI手法の精度を評価するために用いられる正準方程式を用いた説明法を提案する。
  論文  参考訳（メタデータ） (2020-11-18T16:54:53Z)
• A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
  既存の説明可能性技術を評価するための診断特性のリストを作成する。 そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
  論文  参考訳（メタデータ） (2020-09-25T12:01:53Z)
• Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
  分析による特徴に基づく説明の新たな評価基準を確立する。 我々は、緩やかに必要であり、予測に十分である新しい説明を得る。 我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
  論文  参考訳（メタデータ） (2020-05-31T05:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。