論文の概要: When Explanations Lie: Why Many Modified BP Attributions Fail

• arxiv url: http://arxiv.org/abs/1912.09818v7
• Date: Mon, 19 Feb 2024 15:45:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 22:05:50.613324
• Title: When Explanations Lie: Why Many Modified BP Attributions Fail
• Title（参考訳）: 説明が嘘をつく:なぜ多くの修正bp帰属が失敗するのか
• Authors: Leon Sixt, Maximilian Granz, Tim Landgraf
• Abstract要約: 改良BP法を幅広く分析する。 DeepLIFTを除くすべてのメソッドの説明は、後続のレイヤのパラメータとは独立していることがわかった。 本稿では,新しいBP法と既存の改良BP法の信頼性を理論的かつ実証的に評価する枠組みを提供する。
• 参考スコア（独自算出の注目度）: 14.972343945169
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attribution methods aim to explain a neural network's prediction by highlighting the most relevant image areas. A popular approach is to backpropagate (BP) a custom relevance score using modified rules, rather than the gradient. We analyze an extensive set of modified BP methods: Deep Taylor Decomposition, Layer-wise Relevance Propagation (LRP), Excitation BP, PatternAttribution, DeepLIFT, Deconv, RectGrad, and Guided BP. We find empirically that the explanations of all mentioned methods, except for DeepLIFT, are independent of the parameters of later layers. We provide theoretical insights for this surprising behavior and also analyze why DeepLIFT does not suffer from this limitation. Empirically, we measure how information of later layers is ignored by using our new metric, cosine similarity convergence (CSC). The paper provides a framework to assess the faithfulness of new and existing modified BP methods theoretically and empirically. For code see: https://github.com/berleon/when-explanations-lie
• Abstract（参考訳）: アトリビューション手法は、最も関連する画像領域を強調することで、ニューラルネットワークの予測を説明することを目的としている。 一般的なアプローチは、勾配ではなく、変更されたルールを使ってBP(Relevance score)をバックプロパゲートすることである。 本稿では,Deep Taylor Decomposition, Layer-wise Relevance Propagation (LRP), Excitation BP, PatternAttribution, DeepLIFT, Deconv, RectGrad, Guided BPの一連の改良BP法を分析する。 我々は,DeepLIFTを除くすべてのメソッドの説明が,後続のレイヤのパラメータに依存しないことを実証的に見出した。 我々はこの驚くべき行動に関する理論的知見を提供し、なぜDeepLIFTがこの制限を負わないのかを分析する。 経験的に、新しい計量であるコサイン類似度収束(csc)を用いて、後続層の情報がどのように無視されるかを測定する。 本稿では,新しいBP法と既存の改良BP法の信頼性を理論的かつ実証的に評価する枠組みを提供する。 コード参照: https://github.com/berleon/when-explanations-lie

関連論文リスト

• Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
  グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。 本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。 提案手法はローカルBPとBPフリー設定の両方に統合できる。
  論文  参考訳（メタデータ） (2024-06-07T19:10:31Z)
• Deep Backtracking Counterfactuals for Causally Compliant Explanations [57.94160431716524]
  本稿では,DeepBC(Deep Backtracking counterfactuals)と呼ばれる手法を導入する。 特別な場合として、我々の定式化は、対実的説明の分野における手法に還元される。
  論文  参考訳（メタデータ） (2023-10-11T17:11:10Z)
• Deep Attentive Belief Propagation: Integrating Reasoning and Learning for Solving Constraint Optimization Problems [24.63675651321079]
  BP(Breief Propagation)は、グラフィカルモデル上の様々な推論タスクのための重要なメッセージパッシングアルゴリズムである。 本研究では, DABP をスムーズなソリューションコストで自己教師付き学習する手法を提案する。 我々のモデルは最先端のベースラインを大きく上回る。
  論文  参考訳（メタデータ） (2022-09-24T13:03:46Z)
• Implicit Regularization of Bregman Proximal Point Algorithm and Mirror Descent on Separable Data [34.47041199362242]
  本稿では,Bregman近位点アルゴリズム(BPPA)の線形分類器を分離可能なデータで学習し,計算特性について検討する。 固定されたブレグマン発散を持つ任意のBPPAに対して、任意に選択されたノルムに対してBPPAによって得られるマージンの低い境界を与える。 条件数への依存がきついことを示し、学習した分類器の品質に影響を及ぼすためのばらつきの重要性を示す。
  論文  参考訳（メタデータ） (2021-08-15T20:12:58Z)
• Predictive Coding Can Do Exact Backpropagation on Convolutional and Recurrent Neural Networks [40.51949948934705]
  予測符号化ネットワーク(PCN)は、脳内の情報処理に影響を及ぼすモデルである。 BPは現代の機械学習において最も成功した学習方法と考えられている。 生物学的に妥当なアルゴリズムは複雑なアーキテクチャ上でBPの精度を正確に再現できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T14:57:01Z)
• Scaling up learning with GAIT-prop [7.142235510048154]
  backpropagation of error (bp) は広く使われ、非常に成功した学習アルゴリズムである。 しかし、エラーグラデーションの伝播における非局所情報への依存は、脳内で学習する可能性は低いと思われます。 この研究は、最近BPを生物学的に妥当な方法で近似することが示されているような局所的な学習アルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2021-02-23T10:19:04Z)
• Learning Reasoning Strategies in End-to-End Differentiable Proving [50.9791149533921]
  条件付き定理プローバーは勾配に基づく最適化により最適規則選択戦略を学習する。 条件付き定理プローサは拡張性があり、CLUTRRデータセット上で最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-13T16:22:14Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)
• On the Convergence Rate of Projected Gradient Descent for a Back-Projection based Objective [58.33065918353532]
  我々は、最小二乗(LS)の代替として、バックプロジェクションに基づく忠実度項を考える。 LS項ではなくBP項を用いることで最適化アルゴリズムの繰り返しを少なくすることを示す。
  論文  参考訳（メタデータ） (2020-05-03T00:58:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。