論文の概要: Disentangled Explanations of Neural Network Predictions by Finding Relevant Subspaces

• arxiv url: http://arxiv.org/abs/2212.14855v2
• Date: Wed, 10 Apr 2024 17:35:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 19:55:03.990404
• Title: Disentangled Explanations of Neural Network Predictions by Finding Relevant Subspaces
• Title（参考訳）: 関連部分空間の探索によるニューラルネットワーク予測の遠絡説明
• Authors: Pattarawat Chormai, Jan Herrmann, Klaus-Robert Müller, Grégoire Montavon,
• Abstract要約: 説明可能なAIは、ニューラルネットワークのような複雑なMLモデルのブラックボックスの性質を克服し、予測の説明を生成することを目的としている。 そこで本研究では,PCA や ICA に見られる原理を説明に拡張する2つの新しい分析法を提案する。 これらの新しい分析は、主成分分析 (PRCA) と解離関連部分空間分析 (DRSA) と呼ばれ、ばらつきや硬変の代わりに関連性を最大化する。
• 参考スコア（独自算出の注目度）: 14.70409833767752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explainable AI aims to overcome the black-box nature of complex ML models like neural networks by generating explanations for their predictions. Explanations often take the form of a heatmap identifying input features (e.g. pixels) that are relevant to the model's decision. These explanations, however, entangle the potentially multiple factors that enter into the overall complex decision strategy. We propose to disentangle explanations by extracting at some intermediate layer of a neural network, subspaces that capture the multiple and distinct activation patterns (e.g. visual concepts) that are relevant to the prediction. To automatically extract these subspaces, we propose two new analyses, extending principles found in PCA or ICA to explanations. These novel analyses, which we call principal relevant component analysis (PRCA) and disentangled relevant subspace analysis (DRSA), maximize relevance instead of e.g. variance or kurtosis. This allows for a much stronger focus of the analysis on what the ML model actually uses for predicting, ignoring activations or concepts to which the model is invariant. Our approach is general enough to work alongside common attribution techniques such as Shapley Value, Integrated Gradients, or LRP. Our proposed methods show to be practically useful and compare favorably to the state of the art as demonstrated on benchmarks and three use cases.
• Abstract（参考訳）: 説明可能なAIは、ニューラルネットワークのような複雑なMLモデルのブラックボックスの性質を克服し、予測の説明を生成することを目的としている。 説明はしばしば、モデルの決定に関連する入力特徴(例えばピクセル)を特定するヒートマップの形をとる。 しかし、これらの説明は、全体的な複雑な意思決定戦略に参入する潜在的に複数の要因を絡ませている。 本稿では,ニューラルネットワークの中間層である部分空間を抽出して,その予測に関係のある複数の,異なるアクティベーションパターン(例えば視覚的概念)を捉えることによって,説明を解き放つことを提案する。 これらの部分空間を自動的に抽出するために,PCA や ICA に見られる原理を説明に拡張する2つの新しい解析法を提案する。 これらの新しい分析は、主成分分析 (PRCA) と解離関連部分空間分析 (DRSA) と呼ばれ、eg分散やクルトシスの代わりに関連性を最大化する。 これにより、モデルが不変であるアクティベーションや概念を予測、無視するためにMLモデルが実際に使用しているものについて、分析のより強力なフォーカスが可能になる。 私たちのアプローチは、Shapley ValueやIntegrated Gradients、LRPといった一般的な属性技術と連携するのに十分です。 提案手法は,ベンチマークや3つのユースケースで示された最先端技術と比較し,実用的に有用であることを示す。

関連論文リスト

• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• How Well Do Feature-Additive Explainers Explain Feature-Additive Predictors? [12.993027779814478]
  LIME、SHAP、SHAPR、MAPLE、PDPといった人気機能付加型推論器は、機能付加型予測器を説明できるだろうか? 本稿では,モデルの加法構造から解析的に導出される基底真理について,そのような説明を行う。 以上の結果から,全ての説明者が機能の重要性を正しく評価できないことが示唆された。
  論文  参考訳（メタデータ） (2023-10-27T21:16:28Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Local Interpretable Model Agnostic Shap Explanations for machine learning models [0.0]
  局所解釈可能なモデル非依存型シェイプ説明法(LIMASE)を提案する。 提案手法は, LIMEパラダイムの下でシェープリー値を用いて, 局所的忠実かつ解釈可能な決定木モデルを用いて, シェープリー値を計算し, 視覚的に解釈可能な説明を行うことにより, 任意のモデルの予測を行う。
  論文  参考訳（メタデータ） (2022-10-10T10:07:27Z)
• Explanation Method for Anomaly Detection on Mixed Numerical and Categorical Spaces [0.9543943371833464]
  EADMNC (混合数値およびカテゴリー空間における説明可能な異常検出) これは、元のモデルで得られた予測に説明可能性を追加する。 本稿では,大規模な実世界のデータ,特にネットワーク侵入検出領域における実験結果について報告する。
  論文  参考訳（メタデータ） (2022-09-09T08:20:13Z)
• This looks more like that: Enhancing Self-Explaining Models by Prototypical Relevance Propagation [17.485732906337507]
  本稿では,自己説明型ネットワークであるProtoPNetのアーティファクトのスペクトルの存在下でのケーススタディを示す。 より正確なモデル認識説明を生成するための新しい手法を提案する。 クリーンなデータセットを得るために,アーティファクト画像を分離するためのマルチビュークラスタリング戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-27T09:55:53Z)
• Boundary Attributions Provide Normal (Vector) Explanations [27.20904776964045]
  境界属性(BA)はこの問題に対処するための新しい説明法である。 BAは、ターゲット入力に対する局所的な決定境界の正規ベクトルを計算する。 ランダム化された平滑化ネットワークまたは堅牢に訓練されたネットワークのBAは、標準ネットワークよりも非境界アトリビューション方法にはるかに近い。
  論文  参考訳（メタデータ） (2021-03-20T22:36:39Z)
• Toward Scalable and Unified Example-based Explanation and Outlier Detection [128.23117182137418]
  我々は,試行錯誤の予測に例ベースの説明を与えることのできる,プロトタイプベースの学生ネットワークのより広範な採用を論じる。 類似カーネル以外のプロトタイプベースのネットワークは,分類精度を損なうことなく,有意義な説明と有望な外乱検出結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-11-11T05:58:17Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)
• The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal Sufficient Subsets [61.66584140190247]
  機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。 そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
  論文  参考訳（メタデータ） (2020-09-23T09:45:23Z)
• Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
  分析による特徴に基づく説明の新たな評価基準を確立する。 我々は、緩やかに必要であり、予測に十分である新しい説明を得る。 我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
  論文  参考訳（メタデータ） (2020-05-31T05:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。