論文の概要: Disentangled Explanations of Neural Network Predictions by Finding
Relevant Subspaces
- arxiv url: http://arxiv.org/abs/2212.14855v1
- Date: Fri, 30 Dec 2022 18:04:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 15:10:09.296368
- Title: Disentangled Explanations of Neural Network Predictions by Finding
Relevant Subspaces
- Title(参考訳): 関連部分空間の探索によるニューラルネットワーク予測の遠絡説明
- Authors: Pattarawat Chormai, Jan Herrmann, Klaus-Robert M\"uller, Gr\'egoire
Montavon
- Abstract要約: 説明可能なAIは、MLモデルの不透明な決定戦略を、ユーザが解釈可能な説明に変換する。
本稿では,より抽象的な人間の理解可能な概念にマッピング可能な,活性化空間内の関連部分空間を見つけることによって,説明を解き放つことを提案する。
私たちのアプローチは、Shapley ValueやIntegrated Gradients、LRPといった一般的な属性技術と連携するのに十分です。
- 参考スコア(独自算出の注目度): 0.22940141855172036
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Explainable AI transforms opaque decision strategies of ML models into
explanations that are interpretable by the user, for example, identifying the
contribution of each input feature to the prediction at hand. Such
explanations, however, entangle the potentially multiple factors that enter
into the overall complex decision strategy. We propose to disentangle
explanations by finding relevant subspaces in activation space that can be
mapped to more abstract human-understandable concepts and enable a joint
attribution on concepts and input features. To automatically extract the
desired representation, we propose new subspace analysis formulations that
extend the principle of PCA and subspace analysis to explanations. These novel
analyses, which we call principal relevant component analysis (PRCA) and
disentangled relevant subspace analysis (DRSA), optimize relevance of projected
activations rather than the more traditional variance or kurtosis. This enables
a much stronger focus on subspaces that are truly relevant for the prediction
and the explanation, in particular, ignoring activations or concepts to which
the prediction model is invariant. Our approach is general enough to work
alongside common attribution techniques such as Shapley Value, Integrated
Gradients, or LRP. Our proposed methods show to be practically useful and
compare favorably to the state of the art as demonstrated on benchmarks and
three use cases.
- Abstract(参考訳): 説明可能なAIは、MLモデルの不透明な決定戦略を、ユーザが解釈可能な説明に変換する。
しかし、このような説明は、複雑な決定戦略全体に入る可能性のある複数の要因を絡み合っている。
本稿では,より抽象的な概念にマッピング可能な活性化空間内の関連する部分空間を見つけ,概念と入力特徴の同時帰属を可能にすることで,説明を解消することを提案する。
所望の表現を自動的に抽出するために,PCAの原理と部分空間解析を説明に拡張した新しい部分空間解析式を提案する。
これらの新しい分析は、主成分分析 (PRCA) と解離関連部分空間分析 (DRSA) と呼ばれ、従来の分散やクルトーシスよりも、投射活性化の関連性を最適化する。
これにより、予測と説明に真に関係する部分空間、特に予測モデルが不変である活性化や概念を無視した部分空間に、より強い焦点が当てられる。
私たちのアプローチは、Shapley ValueやIntegrated Gradients、LRPといった一般的な属性技術と連携するのに十分です。
提案手法は,ベンチマークと3つのユースケースで示すように,実用上有用であり,技術状況と良好に比較できることを示す。
関連論文リスト
- Revealing Hidden Context Bias in Segmentation and Object Detection
through Concept-specific Explanations [14.77637281844823]
提案手法は,モデルが推論時に学習し,認識し,使用した関連概念を自動的に識別し,視覚化し,入力空間内で正確に特定する,ポストホックなeXplainable Artificial Intelligence法であるL-CRPを提案する。
提案手法の信頼性を,異なる概念帰属法を定量的に比較して検証し,CityScapes, Pascal VOC, MS COCO 2017などの一般的なデータセットに対する説明複雑性への影響について検討する。
論文 参考訳(メタデータ) (2022-11-21T13:12:23Z) - From Attribution Maps to Human-Understandable Explanations through
Concept Relevance Propagation [16.783836191022445]
eXplainable Artificial Intelligence(XAI)の分野は、今日の強力だが不透明なディープラーニングモデルに透明性をもたらすことを目指している。
局所的なXAI手法は属性マップの形で個々の予測を説明するが、グローバルな説明手法はモデルが一般的にエンコードするために学んだ概念を視覚化する。
論文 参考訳(メタデータ) (2022-06-07T12:05:58Z) - Explainability in Process Outcome Prediction: Guidelines to Obtain
Interpretable and Faithful Models [77.34726150561087]
本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。
本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
論文 参考訳(メタデータ) (2022-03-30T05:59:50Z) - Transforming Feature Space to Interpret Machine Learning Models [91.62936410696409]
この貢献は、特徴空間変換のレンズを通して機械学習モデルを解釈する新しいアプローチを提案する。
非条件的および条件付きポストホック診断ツールの拡張に使用できる。
提案手法の可能性を実証するために,46特徴のリモートセンシング土地被覆分類の事例研究を行った。
論文 参考訳(メタデータ) (2021-04-09T10:48:11Z) - Interpretable Representations in Explainable AI: From Theory to Practice [8.306592861431351]
解釈可能な表現は、ブラックボックス予測システムをターゲットにした多くの説明器のバックボーンである。
人間の理解可能な概念の存在と欠如をエンコードする解釈可能な表現の特性について検討する。
論文 参考訳(メタデータ) (2020-08-16T21:44:03Z) - Nonlinear ISA with Auxiliary Variables for Learning Speech
Representations [51.9516685516144]
補助変数の存在下では非線型独立部分空間解析(ISA)の理論的枠組みを導入する。
部分空間が独立な教師なし音声表現を学習するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-25T14:53:09Z) - Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。
本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。
本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-13T18:05:36Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳(メタデータ) (2020-05-31T05:52:05Z) - A General Framework for Consistent Structured Prediction with Implicit
Loss Embeddings [113.15416137912399]
構造化予測のための理論的・アルゴリズム的な枠組みを提案し,解析する。
問題に対して適切な幾何を暗黙的に定義する、損失関数の大規模なクラスについて検討する。
出力空間を無限の濃度で扱うとき、推定子の適切な暗黙の定式化が重要であることが示される。
論文 参考訳(メタデータ) (2020-02-13T10:30:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。