論文の概要: Evaluation of Local Model-Agnostic Explanations Using Ground Truth

• arxiv url: http://arxiv.org/abs/2106.02488v1
• Date: Fri, 4 Jun 2021 13:47:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 21:14:40.544869
• Title: Evaluation of Local Model-Agnostic Explanations Using Ground Truth
• Title（参考訳）: 根拠真理を用いた局所モデル非依存的説明の評価
• Authors: Amir Hossein Akhavan Rahnama, Judith Butepage, Pierre Geurts, Henrik Bostrom
• Abstract要約: 説明手法は人為的手法を用いて一般的に評価される。 本稿では,局所モデルに依存しない説明手法に関する機能的評価手法を提案する。
• 参考スコア（独自算出の注目度）: 4.278336455989584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explanation techniques are commonly evaluated using human-grounded methods, limiting the possibilities for large-scale evaluations and rapid progress in the development of new techniques. We propose a functionally-grounded evaluation procedure for local model-agnostic explanation techniques. In our approach, we generate ground truth for explanations when the black-box model is Logistic Regression and Gaussian Naive Bayes and compare how similar each explanation is to the extracted ground truth. In our empirical study, explanations of Local Interpretable Model-agnostic Explanations (LIME), SHapley Additive exPlanations (SHAP), and Local Permutation Importance (LPI) are compared in terms of how similar they are to the extracted ground truth. In the case of Logistic Regression, we find that the performance of the explanation techniques is highly dependent on the normalization of the data. In contrast, Local Permutation Importance outperforms the other techniques on Naive Bayes, irrespective of normalization. We hope that this work lays the foundation for further research into functionally-grounded evaluation methods for explanation techniques.
• Abstract（参考訳）: 提案手法は人為的手法を用いて一般に評価され, 大規模評価の可能性や新技術開発における急速な進展を抑える。 局所モデル非依存な説明手法のための機能的基礎評価手法を提案する。 本手法では,ブラックボックスモデルがロジスティック回帰とガウス的ナイーブベイズである場合,説明の根拠真理を生成し,各説明が抽出された基底真理とどの程度類似しているかを比較する。 本研究では,局所的解釈可能なモデル非依存的説明(lime),シェープリー加法説明(shap),局所的置換の重要性(lpi)について,抽出された基底真理との類似性の観点から比較した。 ロジスティック回帰の場合、説明手法の性能はデータの正規化に大きく依存していることが分かる。 対照的に、局所置換重要度は正規化に関係なくネイブベイズにおいて他の技術よりも優れる。 本研究は,機能的地下評価手法のさらなる研究の基盤となることを願っている。

関連論文リスト

• The Blame Problem in Evaluating Local Explanations, and How to Tackle it [0.0]
  最適評価基準が欠如しているため、新しい説明可能性技術を開発するための障壁は低い。 厳格な措置がなければ、新しい説明手法が前任者を大きく上回っているかどうかの具体的な証拠は得られない。
  論文  参考訳（メタデータ） (2023-10-05T11:21:49Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Locally Invariant Explanations: Towards Stable and Unidirectional Explanations through Local Invariant Learning [15.886405745163234]
  不変リスク最小化原理に着想を得たモデル非依存的局所説明法を提案する。 我々のアルゴリズムは、訓練が簡単で効率的であり、サイド情報にアクセスすることなく、ブラックボックスの局所的な決定のための安定した入力機能を確認することができる。
  論文  参考訳（メタデータ） (2022-01-28T14:29:25Z)
• Towards Better Model Understanding with Path-Sufficient Explanations [11.517059323883444]
  Path-Sufficient Explanations Method (PSEM) は、厳格に小さくなった入力に対する十分な説明の系列である。 PSEMはモデルの局所的な境界を滑らかに辿り、特定の入力に対する局所的なモデルの振る舞いに関するより良い直感を与えると考えられる。 ユーザスタディでは、(多くの)ユーザがモデルによってなされた予測を正しく決定できる地域行動を伝える方法の強みを描いている。
  論文  参考訳（メタデータ） (2021-09-13T16:06:10Z)
• Locally Interpretable Model Agnostic Explanations using Gaussian Processes [2.9189409618561966]
  LIME(Local Interpretable Model-Agnostic Explanations)は、単一インスタンスの予測を説明する一般的なテクニックである。 局所的解釈可能なモデルのガウス過程(GP)に基づくバリエーションを提案する。 提案手法は,LIMEに比べてはるかに少ないサンプルを用いて忠実な説明を生成可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-16T05:49:01Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)
• Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language? [86.60613602337246]
  我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。 LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。 マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
  論文  参考訳（メタデータ） (2020-10-08T16:59:07Z)
• Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
  分析による特徴に基づく説明の新たな評価基準を確立する。 我々は、緩やかに必要であり、予測に十分である新しい説明を得る。 我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
  論文  参考訳（メタデータ） (2020-05-31T05:52:05Z)
• Evaluating Explainable AI: Which Algorithmic Explanations Help Users Predict Model Behavior? [97.77183117452235]
  我々は、モデル解釈性に対するアルゴリズム的説明の影響を分離するために、人体テストを実施している。 方法の有効性の明確な証拠はごく少数にみえる。 以上の結果から,説明がシミュラビリティにどのように影響するかの信頼性と包括的評価が得られた。
  論文  参考訳（メタデータ） (2020-05-04T20:35:17Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。