論文の概要: Evaluating the Correctness of Explainable AI Algorithms for Classification

• arxiv url: http://arxiv.org/abs/2105.09740v1
• Date: Thu, 20 May 2021 13:36:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-21 13:37:13.236565
• Title: Evaluating the Correctness of Explainable AI Algorithms for Classification
• Title（参考訳）: 説明可能なAIアルゴリズムの分類精度の評価
• Authors: Orcun Yalcin, Xiuyi Fan, Siyuan Liu
• Abstract要約: 本研究では,XAIアルゴリズムの精度を定量的に評価する手法を開発した。 1)分類精度は説明精度と正に相関し,(2)SHAPはLIMEよりも正確な説明を提供し,(3)説明精度はデータセットの複雑さと負に相関している。
• 参考スコア（独自算出の注目度）: 9.560367068955427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explainable AI has attracted much research attention in recent years with feature attribution algorithms, which compute "feature importance" in predictions, becoming increasingly popular. However, there is little analysis of the validity of these algorithms as there is no "ground truth" in the existing datasets to validate their correctness. In this work, we develop a method to quantitatively evaluate the correctness of XAI algorithms by creating datasets with known explanation ground truth. To this end, we focus on the binary classification problems. String datasets are constructed using formal language derived from a grammar. A string is positive if and only if a certain property is fulfilled. Symbols serving as explanation ground truth in a positive string are part of an explanation if and only if they contributes to fulfilling the property. Two popular feature attribution explainers, Local Interpretable Model-agnostic Explanations (LIME) and SHapley Additive exPlanations (SHAP), are used in our experiments.We show that: (1) classification accuracy is positively correlated with explanation accuracy; (2) SHAP provides more accurate explanations than LIME; (3) explanation accuracy is negatively correlated with dataset complexity.
• Abstract（参考訳）: 説明可能なAIは近年,予測において"機能の重要性"を計算する機能属性アルゴリズムによって,研究の注目を集めている。 しかし、既存のデータセットにその正確性を検証する「根拠真理」がないため、これらのアルゴリズムの有効性についてはほとんど分析されていない。 本研究では,既知の説明的根拠を持つデータセットを作成し,xaiアルゴリズムの正しさを定量的に評価する手法を開発した。 この目的のために、二項分類問題に焦点を当てる。 文字列データセットは文法から派生した形式言語を用いて構築される。 文字列が正であることと、ある性質が満たされているときのみである。 正弦における説明基底真理として機能する記号は、それらがその性質を満たすことに貢献した場合に限り説明の一部である。 提案実験では,(1)分類精度は説明精度と正に相関していること,(2) SHAPはLIMEよりも正確な説明を提供すること,(3) 説明精度はデータセットの複雑さと負に相関していること,の2つの特徴説明器,LIME(Local Interpretable Model-Anostic Explanations) とSHAP(SHAP) が用いられている。

関連論文リスト

• Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
  本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。 私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
  論文  参考訳（メタデータ） (2023-05-15T17:15:40Z)
• Data-driven Numerical Invariant Synthesis with Automatic Generation of Attributes [0.0]
  数値不変合成と検証のためのデータ駆動アルゴリズムを提案する。 このアルゴリズムは、正および負の状態のサンプルから決定木を学習するためのICE-DTスキーマに基づいている。
  論文  参考訳（メタデータ） (2022-05-30T09:18:37Z)
• Don't Explain Noise: Robust Counterfactuals for Randomized Ensembles [50.81061839052459]
  我々は確率論的問題として、堅牢な対実的説明の生成を定式化する。 アンサンブルモデルのロバスト性とベース学習者のロバスト性との関係を示す。 本手法は, 反実的説明から初期観測までの距離をわずかに増加させるだけで, 高いロバスト性を実現する。
  論文  参考訳（メタデータ） (2022-05-27T17:28:54Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• A Model-Agnostic Algorithm for Bayes Error Determination in Binary Classification [0.0]
  ILDアルゴリズムは、AUC(ROC曲線の下での領域)と精度で測定された最高の性能を決定する新しい手法である。 この制限、すなわちベイズ誤差は、使用されるモデルとは完全に独立であり、データセットの本質的な性質を記述する。
  論文  参考訳（メタデータ） (2021-07-24T13:55:31Z)
• Search Methods for Sufficient, Socially-Aligned Feature Importance Explanations with In-Distribution Counterfactuals [72.00815192668193]
  特徴重要度(FI)推定は一般的な説明形式であり、テスト時に特定の入力特徴を除去することによって生じるモデル信頼度の変化を計算し、評価することが一般的である。 FIに基づく説明の未探索次元についていくつかの考察を行い、この説明形式に対する概念的および実証的な改善を提供する。
  論文  参考訳（メタデータ） (2021-06-01T20:36:48Z)
• Explaining Predictions by Approximating the Local Decision Boundary [3.60160227126201]
  局所決定境界近似(DBA)の新しい手法を提案する。 我々は変分オートエンコーダを訓練し、符号化されたデータ表現のユークリッド潜在空間を学習する。 我々は属性アノテーションを利用して、潜在空間をユーザにとって意味のある属性にマッピングします。
  論文  参考訳（メタデータ） (2020-06-14T19:12:42Z)
• Explainable AI for Classification using Probabilistic Logic Inference [9.656846523452502]
  説明可能な分類法を提案する。 本手法は,まず学習データから記号的知識ベースを構築し,その知識ベース上で線形プログラミングによる確率的推論を行う。 これは、ある分類を説明として責任を負う決定的な特徴を特定し、アートリー値ベースの手法であるSHAPに類似した結果を生成する。
  論文  参考訳（メタデータ） (2020-05-05T11:39:23Z)
• Evaluating Explainable AI: Which Algorithmic Explanations Help Users Predict Model Behavior? [97.77183117452235]
  我々は、モデル解釈性に対するアルゴリズム的説明の影響を分離するために、人体テストを実施している。 方法の有効性の明確な証拠はごく少数にみえる。 以上の結果から,説明がシミュラビリティにどのように影響するかの信頼性と包括的評価が得られた。
  論文  参考訳（メタデータ） (2020-05-04T20:35:17Z)
• SCOUT: Self-aware Discriminant Counterfactual Explanations [78.79534272979305]
  対物的視覚的説明の問題点を考察する。 新しい差別的な説明の族が紹介される。 結果として生じる反実的な説明は、最適化が自由で、従って以前の方法よりもはるかに高速である。
  論文  参考訳（メタデータ） (2020-04-16T17:05:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。