論文の概要: Mutual Information Preserving Back-propagation: Learn to Invert for Faithful Attribution

• arxiv url: http://arxiv.org/abs/2104.06629v1
• Date: Wed, 14 Apr 2021 05:20:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 13:34:06.528592
• Title: Mutual Information Preserving Back-propagation: Learn to Invert for Faithful Attribution
• Title（参考訳）: バックプロパゲーションを保存する相互情報: 忠実な帰属をめざす
• Authors: Huiqi Deng, Na Zou, Weifu Chen, Guocan Feng, Mengnan Du, Xia Hu
• Abstract要約: ディープニューラルネットワーク(DNN)を解釈するために、バック伝搬に基づく可視化が提案されている。 最近の研究は、これらの修正されたバックプロパゲーションの可視化がモデルの意思決定プロセスに忠実でないことを検証することで、この疑いを裏付けている。 理論的忠実性を保証する新しいバックプロパゲーションフレームワークを開発し、明確な理解と定量的アトリビューションスコアを生成する。
• 参考スコア（独自算出の注目度）: 36.34893316038053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Back propagation based visualizations have been proposed to interpret deep neural networks (DNNs), some of which produce interpretations with good visual quality. However, there exist doubts about whether these intuitive visualizations are related to the network decisions. Recent studies have confirmed this suspicion by verifying that almost all these modified back-propagation visualizations are not faithful to the model's decision-making process. Besides, these visualizations produce vague "relative importance scores", among which low values can't guarantee to be independent of the final prediction. Hence, it's highly desirable to develop a novel back-propagation framework that guarantees theoretical faithfulness and produces a quantitative attribution score with a clear understanding. To achieve the goal, we resort to mutual information theory to generate the interpretations, studying how much information of output is encoded in each input neuron. The basic idea is to learn a source signal by back-propagation such that the mutual information between input and output should be as much as possible preserved in the mutual information between input and the source signal. In addition, we propose a Mutual Information Preserving Inverse Network, termed MIP-IN, in which the parameters of each layer are recursively trained to learn how to invert. During the inversion, forward Relu operation is adopted to adapt the general interpretations to the specific input. We then empirically demonstrate that the inverted source signal satisfies completeness and minimality property, which are crucial for a faithful interpretation. Furthermore, the empirical study validates the effectiveness of interpretations generated by MIP-IN.
• Abstract（参考訳）: バック伝搬に基づく可視化はディープニューラルネットワーク(DNN)を解釈するために提案されている。 しかし、これらの直感的な視覚化がネットワーク決定に関係しているかどうかには疑問がある。 最近の研究は、これらの修正されたバックプロパゲーションの可視化がモデルの意思決定プロセスに忠実でないことを検証することで、この疑いを裏付けている。 さらに、これらの視覚化はあいまいな「相対的重要度スコア」を生み出し、その中の低値が最終予測から独立することを保証できない。 したがって、理論的忠実性を保証する新しいバックプロパゲーションフレームワークを開発し、明確な理解で量的帰属スコアを生成することが非常に望ましい。 この目的を達成するために、我々は相互情報理論を用いて解釈を生成し、各入力ニューロンにどれだけの出力情報がエンコードされているかを研究する。 基本的な考え方は、入力と出力の相互情報が入力とソース信号の相互情報に可能な限り保存されるように、バックプロパゲーションによってソース信号を学ぶことである。 さらに,MIP-INと呼ばれる相互情報保存逆ネットワークを提案する。 反転の間、フォワード relu 演算は、特定の入力に一般的な解釈を適用するために採用される。 そして、逆元信号が完全性と最小性を満たすことを実証的に示し、忠実な解釈に不可欠である。 さらに,MIP-INによる解釈の有効性を実証的に検証した。

関連論文リスト

• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Feature Perturbation Augmentation for Reliable Evaluation of Importance Estimators in Neural Networks [5.439020425819001]
  ポストホック解釈可能性法は、ディープニューラルネットワークの内部動作をより解釈可能にしようとする。 最も一般的な評価フレームワークの1つは、解釈可能性メソッドによって重要とみなされる機能を摂動させることである。 モデルトレーニング中に摂動画像を生成し,付加する特徴摂動増強(FPA)を提案する。
  論文  参考訳（メタデータ） (2023-03-02T19:05:46Z)
• Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
  相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。 マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
  論文  参考訳（メタデータ） (2022-09-14T22:04:10Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
  本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。 我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T12:52:45Z)
• Latent Space Explanation by Intervention [16.43087660376697]
  本研究では,個別の変分オートエンコーダに基づいて,予測クラスをシフトする介入機構を用いることで,隠れた概念を明らかにすることを目的とする。 説明モデルは、任意の隠された層とその対応するインターバルド表現から符号化された情報を視覚化する。
  論文  参考訳（メタデータ） (2021-12-09T13:23:19Z)
• Building Reliable Explanations of Unreliable Neural Networks: Locally Smoothing Perspective of Model Interpretation [0.0]
  本稿では,ニューラルネットワークの予測を確実に説明するための新しい手法を提案する。 本手法は,モデル予測の損失関数における平滑な景観の仮定に基づいて構築される。
  論文  参考訳（メタデータ） (2021-03-26T08:52:11Z)
• Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
  近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。 本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T08:30:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。