論文の概要: Evaluating Local Explainability Metrics for Machine Learning Models on Tabular Data
- arxiv url: http://arxiv.org/abs/2605.27618v1
- Date: Tue, 26 May 2026 19:38:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:55.48353
- Title: Evaluating Local Explainability Metrics for Machine Learning Models on Tabular Data
- Title(参考訳): 語彙データに基づく機械学習モデルの局所的説明可能性尺度の評価
- Authors: Tomás Pereira, João Vitorino, Eva Maia, Isabel Praça,
- Abstract要約: 説明は人間に当てはまるが、モデルの内部的推論を捉えられない。
本稿では,複雑な表表分類タスクに適用した場合の局所的説明可能性手法の信頼性について検討する。
- 参考スコア(独自算出の注目度): 1.423280626666929
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the wide use of explainability techniques to attempt to understand the behavior of Artificial Intelligence (AI), the generated explanations may not always be reliable. An explanation can appear plausible to humans but fail to capture the internal reasoning of a model, particularly when dealing with complex tabular data. This paper studies the trustworthiness of local explainability techniques when applied to complex tabular classification tasks, considering evaluated metrics for three main properties: faithfulness to the model's predictions, robustness to input data variations, and complexity of the explanation itself. A benchmark was performed for Local Interpretable Model-Agnostic Explanations (LIME), Kernel SHapley Additive exPlanations (SHAP), and Feature Ablation techniques, across 32 datasets and different types of machine learning models. Model performance ranges were analyzed to identify two groups: consensus-correct, which are samples that all models predicted correctly, and consensus-wrong, samples that all models predicted incorrectly. The obtained results demonstrate that that the explanations are not always correlated with a model's predictive performance. Instead, dataset complexity and feature distributions seem to be the main factors affecting explanation quality and reliability.
- Abstract(参考訳): 人工知能(AI)の振る舞いを理解するために説明可能性技術が広く使われているにもかかわらず、生成された説明は常に信頼できるとは限らない。
説明は人間に当てはまるが、複雑な表データを扱う場合、モデルの内部的推論を捉えることができない。
本稿では,複雑な表表分類タスクに適用した場合の局所的説明可能性手法の信頼性について,モデルの予測への忠実性,入力データの変動に対する堅牢性,説明自体の複雑さの3つの特性に対する評価指標について検討する。
Local Interpretable Model-Agnostic Explanations (LIME)、Kernel SHapley Additive ExPlanations (SHAP)、Feature Ablation(Feature Ablation)のベンチマークを実施した。
モデル性能範囲を解析して、すべてのモデルが正しく予測するサンプルであるコンセンサス補正と、すべてのモデルが正しく予測するサンプルであるコンセンサス補正の2つのグループを同定した。
得られた結果から,説明は必ずしもモデルの予測性能と相関しないことがわかった。
代わりに、データセットの複雑さと特徴分布が、説明品質と信頼性に影響を及ぼす主な要因であるように思われる。
関連論文リスト
- Hypothesis Class Determines Explanation: Why Accurate Models Disagree on Feature Attribution [0.0]
同一の予測行動を持つモデルでは,特徴属性が著しく異なることが判明した。
我々は,この現象の構造的要因として仮説クラスを同定し,これを説明ロタリーと呼ぶ。
実験の結果,モデル選択は説明中立ではないことが明らかとなった。
論文 参考訳(メタデータ) (2026-03-16T18:55:50Z) - Does the Model Say What the Data Says? A Simple Heuristic for Model Data Alignment [0.0]
機械学習モデルが学習したデータ構造と一致しているかを評価するためのフレームワークを提案する。
モデル動作を説明することのみに焦点を当てた既存の解釈可能性メソッドとは異なり、我々のアプローチはデータ自体から直接派生したベースラインを確立する。
論文 参考訳(メタデータ) (2025-11-26T21:44:55Z) - Hard to Explain: On the Computational Hardness of In-Distribution Model Interpretation [0.9558392439655016]
機械学習(ML)モデルを解釈する能力はますます不可欠になりつつある。
近年の研究では、様々なモデルの意思決定を説明する計算複雑性を研究することにより、解釈可能性について正式に評価することが可能であることが示されている。
論文 参考訳(メタデータ) (2024-08-07T17:20:52Z) - Explaining Text Similarity in Transformer Models [52.571158418102584]
説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。
両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。
我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
論文 参考訳(メタデータ) (2024-05-10T17:11:31Z) - Sum-of-Parts: Self-Attributing Neural Networks with End-to-End Learning of Feature Groups [10.070120025381547]
SOP(Sum-of-Parts)は、任意の差別化可能なモデルをグループベースのSANNに変換するフレームワークである。
SOPは、視覚および言語タスクにおけるSANNの最先端のパフォーマンスを達成する。
定量的およびセマンティックな指標に基づいて,これらの群が解釈可能であることを検証した。
論文 参考訳(メタデータ) (2023-10-25T02:50:10Z) - LaPLACE: Probabilistic Local Model-Agnostic Causal Explanations [1.0370398945228227]
本稿では,機械学習モデルに対する確率論的原因・効果説明を提供するLaPLACE-Explainerを紹介する。
LaPLACE-Explainerコンポーネントはマルコフ毛布の概念を利用して、関連する特徴と非関連する特徴の間の統計的境界を確立する。
提案手法は,LIME と SHAP の局所的精度と特徴の整合性の観点から,因果的説明と性能を向上する。
論文 参考訳(メタデータ) (2023-10-01T04:09:59Z) - Discover, Explanation, Improvement: An Automatic Slice Detection
Framework for Natural Language Processing [72.14557106085284]
スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。
本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。
評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
論文 参考訳(メタデータ) (2022-11-08T19:00:00Z) - Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。
本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。
我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文 参考訳(メタデータ) (2022-05-25T17:37:08Z) - Explainability in Process Outcome Prediction: Guidelines to Obtain
Interpretable and Faithful Models [77.34726150561087]
本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。
本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
論文 参考訳(メタデータ) (2022-03-30T05:59:50Z) - Partial Order in Chaos: Consensus on Feature Attributions in the
Rashomon Set [50.67431815647126]
ポストホックなグローバル/ローカルな特徴属性法は、機械学習モデルを理解するために徐々に採用されている。
この手法により局所的・言語的特徴の半順序が生じることを示す。
これらの部分的な順序に現れる特徴間の関係は、既存のアプローチによって提供されたランクにも当てはまることを示す。
論文 参考訳(メタデータ) (2021-10-26T02:53:14Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。