論文の概要: Evaluation of Local Model-Agnostic Explanations Using Ground Truth

• arxiv url: http://arxiv.org/abs/2106.02488v1
• Date: Fri, 4 Jun 2021 13:47:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 21:14:40.544869
• Title: Evaluation of Local Model-Agnostic Explanations Using Ground Truth
• Title（参考訳）: 根拠真理を用いた局所モデル非依存的説明の評価
• Authors: Amir Hossein Akhavan Rahnama, Judith Butepage, Pierre Geurts, Henrik Bostrom
• Abstract要約: 説明手法は人為的手法を用いて一般的に評価される。 本稿では,局所モデルに依存しない説明手法に関する機能的評価手法を提案する。
• 参考スコア（独自算出の注目度）: 4.278336455989584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explanation techniques are commonly evaluated using human-grounded methods, limiting the possibilities for large-scale evaluations and rapid progress in the development of new techniques. We propose a functionally-grounded evaluation procedure for local model-agnostic explanation techniques. In our approach, we generate ground truth for explanations when the black-box model is Logistic Regression and Gaussian Naive Bayes and compare how similar each explanation is to the extracted ground truth. In our empirical study, explanations of Local Interpretable Model-agnostic Explanations (LIME), SHapley Additive exPlanations (SHAP), and Local Permutation Importance (LPI) are compared in terms of how similar they are to the extracted ground truth. In the case of Logistic Regression, we find that the performance of the explanation techniques is highly dependent on the normalization of the data. In contrast, Local Permutation Importance outperforms the other techniques on Naive Bayes, irrespective of normalization. We hope that this work lays the foundation for further research into functionally-grounded evaluation methods for explanation techniques.
• Abstract（参考訳）: 提案手法は人為的手法を用いて一般に評価され, 大規模評価の可能性や新技術開発における急速な進展を抑える。 局所モデル非依存な説明手法のための機能的基礎評価手法を提案する。 本手法では,ブラックボックスモデルがロジスティック回帰とガウス的ナイーブベイズである場合,説明の根拠真理を生成し,各説明が抽出された基底真理とどの程度類似しているかを比較する。 本研究では,局所的解釈可能なモデル非依存的説明(lime),シェープリー加法説明(shap),局所的置換の重要性(lpi)について,抽出された基底真理との類似性の観点から比較した。 ロジスティック回帰の場合、説明手法の性能はデータの正規化に大きく依存していることが分かる。 対照的に、局所置換重要度は正規化に関係なくネイブベイズにおいて他の技術よりも優れる。 本研究は,機能的地下評価手法のさらなる研究の基盤となることを願っている。

関連論文リスト

• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• The Blame Problem in Evaluating Local Explanations, and How to Tackle it [0.0]
  最適評価基準が欠如しているため、新しい説明可能性技術を開発するための障壁は低い。 厳格な措置がなければ、新しい説明手法が前任者を大きく上回っているかどうかの具体的な証拠は得られない。
  論文  参考訳（メタデータ） (2023-10-05T11:21:49Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Locally Invariant Explanations: Towards Stable and Unidirectional Explanations through Local Invariant Learning [15.886405745163234]
  不変リスク最小化原理に着想を得たモデル非依存的局所説明法を提案する。 我々のアルゴリズムは、訓練が簡単で効率的であり、サイド情報にアクセスすることなく、ブラックボックスの局所的な決定のための安定した入力機能を確認することができる。
  論文  参考訳（メタデータ） (2022-01-28T14:29:25Z)
• Locally Interpretable Model Agnostic Explanations using Gaussian Processes [2.9189409618561966]
  LIME(Local Interpretable Model-Agnostic Explanations)は、単一インスタンスの予測を説明する一般的なテクニックである。 局所的解釈可能なモデルのガウス過程(GP)に基づくバリエーションを提案する。 提案手法は,LIMEに比べてはるかに少ないサンプルを用いて忠実な説明を生成可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-16T05:49:01Z)
• On Sample Based Explanation Methods for NLP:Efficiency, Faithfulness, and Semantic Evaluation [23.72825603188359]
  我々は、任意のテキストシーケンスを説明単位として許容することにより、説明の解釈可能性を向上させることができる。 本研究では,人間による説明の判断に適合する意味に基づく評価指標を提案する。
  論文  参考訳（メタデータ） (2021-06-09T00:49:56Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)
• Evaluating Explainable AI: Which Algorithmic Explanations Help Users Predict Model Behavior? [97.77183117452235]
  我々は、モデル解釈性に対するアルゴリズム的説明の影響を分離するために、人体テストを実施している。 方法の有効性の明確な証拠はごく少数にみえる。 以上の結果から,説明がシミュラビリティにどのように影響するかの信頼性と包括的評価が得られた。
  論文  参考訳（メタデータ） (2020-05-04T20:35:17Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。