論文の概要: Evaluating Explanation Methods by the Predictors They Induce
- arxiv url: http://arxiv.org/abs/2609.20058v1
- Date: Thu, 17 Sep 2026 11:10:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.239337
- Title: Evaluating Explanation Methods by the Predictors They Induce
- Title(参考訳): 予測者による説明方法の評価
- Abstract要約: 機械学習モデルの説明は通常、比較が難しい基準によって判断される。
モデルがどのように機能を使うのかを実際に説明すれば、モデルの予測を再構築できるはずです。
それぞれの説明は、各特徴の効果を読み取ってそれを加算することで予測器に変換し、予測器が未知のデータ上でモデルをどの程度うまく再現するかを測定する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Explanations of machine learning models are usually judged by criteria that are hard to compare. We propose a simpler test: if an explanation really describes how a model uses its features, it should be possible to rebuild the model's predictions from it. We turn each explanation into a predictor by reading each feature's effect and adding them up, and measure how well that predictor reproduces the model on unseen data. Nothing is fitted, so the score reflects the explanation itself. The test applies to any explanation that can be written as a function of the features; we demonstrate it on partial dependence plots (PDP), accumulated local effects (ALE), SHAP and LIME. We prove that summing partial dependence curves gives the best possible additive summary of a model when its features are independent, and that this fails when they are dependent. Across 13 real datasets and 9 synthetic designs and four model families, which method scores best depends entirely on feature dependence: where features are independent SHAP is slightly worse than PDP, exactly as the theory predicts; on dependent real data SHAP leads. Some widely used quality metrics even prefer a damaged explanation to an intact one.
- Abstract(参考訳): 機械学習モデルの説明は通常、比較が難しい基準によって判断される。
モデルがどのように機能を使うのかを実際に説明すれば、モデルの予測を再構築できるはずです。
それぞれの説明は、各特徴の効果を読み取ってそれを加算することで予測器に変換し、予測器が未知のデータ上でモデルをどの程度うまく再現するかを測定する。
点数は何も入っていないので、点数は説明自体を反映している。
このテストは特徴の関数として記述できるあらゆる説明に適用され、部分依存プロット(PDP)、蓄積局所効果(ALE)、SHAP、LIMEで実証する。
部分依存曲線の和は、その特徴が独立であるときにモデルの最良の加法的要約を与え、それが依存しているときに失敗することを証明する。
13の実際のデータセットと9つの合成設計と4つのモデルファミリにまたがって、メソッドスコアは機能依存に最も依存している。
広く使われているいくつかの品質指標は、無傷のものよりも破損した説明を好む。
関連論文リスト
- Not All Explanations Simulate Equally: Comparing Verbalized Feature Attributions and Self-Generated Rationales [1.8772057593980798]
本稿では,質問応答モデルに対する2種類の説明を,言語化された特徴属性と自己生成的有理性と比較する。
説明源,動詞化戦略,特徴粒度が説明のシミュラビリティにどのように影響するかを分析する。
論文 参考訳(メタデータ) (2026-05-31T10:35:35Z) - Semi-Supervised Learning under General Causal Models [51.90307793476367]
半教師付き学習(SSL)は、ラベル付きデータと非ラベル付きデータの両方を使用して機械学習モデルをトレーニングすることを目的としている。
本稿では、変数が柔軟な因果関係を持つ一般的な因果関係モデルで動作するフレームワークを提案する。
学習した因果生成モデルは、より正確な予測モデルをトレーニングするための合成ラベル付きデータを生成することができる。
論文 参考訳(メタデータ) (2025-10-26T07:46:38Z) - Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。
第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。
第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
論文 参考訳(メタデータ) (2025-02-11T19:24:09Z) - Self-Rationalization in the Wild: A Large Scale Out-of-Distribution Evaluation on NLI-related tasks [59.47851630504264]
自由文の説明は表現力があり理解しやすいが、多くのデータセットには注釈付き説明データがない。
我々は、T5-LargeモデルとOLMo-7Bモデルを微調整し、微調整データ品質、微調整サンプル数、少数ショット選択方法の影響を評価した。
モデルは、自然言語推論(NLI)、ファクトチェック、抽象的な要約における幻覚検出の3つのタスクにまたがる19の多様なOODデータセットで評価される。
論文 参考訳(メタデータ) (2025-02-07T10:01:32Z) - Explaining the Model and Feature Dependencies by Decomposition of the
Shapley Value [3.0655581300025996]
共有値は、複雑なモデルをエンドユーザに説明するためのゴートメソッドの1つになっています。
欠点の1つは、いくつかの機能が欠けている場合、常にモデルの出力を必要とすることである。
しかし、これは非自明な選択をもたらす: 未知の機能に条件を付けるか、しないか?
本稿では,両説明を組み合わせ,選択の負担を軽減し,シェープリー値の説明力を高めるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-19T12:20:23Z) - Are Training Resources Insufficient? Predict First Then Explain! [54.184609286094044]
我々は、予測理論(PtE)アーキテクチャはモデリングの観点からより効率的なアプローチであると主張している。
PtE構造は説明データが欠如している場合に最もデータ効率のよい手法であることを示す。
論文 参考訳(メタデータ) (2021-08-29T07:04:50Z) - Explaining predictive models using Shapley values and non-parametric
vine copulas [2.6774008509840996]
特徴間の依存をモデル化するための2つの新しいアプローチを提案する。
提案手法の性能はシミュレーションされたデータセットと実データセットで評価される。
実験により、ブドウのコプラアプローチは、ライバルよりも真のシャプリー値により正確な近似を与えることが示された。
論文 参考訳(メタデータ) (2021-02-12T09:43:28Z) - Causal Shapley Values: Exploiting Causal Knowledge to Explain Individual
Predictions of Complex Models [6.423239719448169]
シェープ値は、モデルの予測と平均ベースラインの差をモデルへの入力として使用する異なる特徴に関連付けるように設計されている。
これらの「因果」シャプリー値が、それらの望ましい性質を犠牲にすることなく、一般因果グラフに対してどのように導出できるかを示す。
論文 参考訳(メタデータ) (2020-11-03T11:11:36Z) - Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial
Explanations of Their Behavior in Natural Language? [86.60613602337246]
我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。
LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。
マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
論文 参考訳(メタデータ) (2020-10-08T16:59:07Z) - Adversarial Infidelity Learning for Model Interpretation [43.37354056251584]
本稿では,モデル解釈のためのモデル非依存能率直接(MEED)FSフレームワークを提案する。
我々のフレームワークは、正当性、ショートカット、モデルの識別可能性、情報伝達に関する懸念を緩和する。
我々のAILメカニズムは、選択した特徴と目標の間の条件分布を学習するのに役立ちます。
論文 参考訳(メタデータ) (2020-06-09T16:27:17Z) - Evaluating Explainable AI: Which Algorithmic Explanations Help Users
Predict Model Behavior? [97.77183117452235]
我々は、モデル解釈性に対するアルゴリズム的説明の影響を分離するために、人体テストを実施している。
方法の有効性の明確な証拠はごく少数にみえる。
以上の結果から,説明がシミュラビリティにどのように影響するかの信頼性と包括的評価が得られた。
論文 参考訳(メタデータ) (2020-05-04T20:35:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。