論文の概要: Gradient strikes back: How filtering out high frequencies improves
explanations
- arxiv url: http://arxiv.org/abs/2307.09591v1
- Date: Tue, 18 Jul 2023 19:56:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-20 16:16:11.145571
- Title: Gradient strikes back: How filtering out high frequencies improves
explanations
- Title(参考訳): 勾配が逆戻り:高周波数のフィルタリングが説明を改善する
- Authors: Sabine Muzellec, Leo Andeol, Thomas Fel, Rufin VanRullen, Thomas Serre
- Abstract要約: 勾配に基づく手法は予測に基づく手法よりも高周波な内容を明らかにする。
ダウンサンプリングのためにCNNで使用される操作は、この高周波コンテンツの重要な原因であるように見える。
次に、帰属写像に最適なローパスフィルタを適用し、勾配に基づく帰属法を改善することを実証する。
- 参考スコア(独自算出の注目度): 6.772249211312724
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent years have witnessed an explosion in the development of novel
prediction-based attribution methods, which have slowly been supplanting older
gradient-based methods to explain the decisions of deep neural networks.
However, it is still not clear why prediction-based methods outperform
gradient-based ones. Here, we start with an empirical observation: these two
approaches yield attribution maps with very different power spectra, with
gradient-based methods revealing more high-frequency content than
prediction-based methods. This observation raises multiple questions: What is
the source of this high-frequency information, and does it truly reflect
decisions made by the system? Lastly, why would the absence of high-frequency
information in prediction-based methods yield better explainability scores
along multiple metrics? We analyze the gradient of three representative visual
classification models and observe that it contains noisy information emanating
from high-frequencies. Furthermore, our analysis reveals that the operations
used in Convolutional Neural Networks (CNNs) for downsampling appear to be a
significant source of this high-frequency content -- suggesting aliasing as a
possible underlying basis. We then apply an optimal low-pass filter for
attribution maps and demonstrate that it improves gradient-based attribution
methods. We show that (i) removing high-frequency noise yields significant
improvements in the explainability scores obtained with gradient-based methods
across multiple models -- leading to (ii) a novel ranking of state-of-the-art
methods with gradient-based methods at the top. We believe that our results
will spur renewed interest in simpler and computationally more efficient
gradient-based methods for explainability.
- Abstract(参考訳): 近年では、新しい予測に基づく帰属法の開発が爆発的に増加しており、深層ニューラルネットワークの決定を説明するために、古い勾配に基づく手法を徐々に置き換えている。
しかし、なぜ予測に基づく手法が勾配に基づく手法よりも優れているのかは定かではない。
これらの2つのアプローチは、非常に異なるパワースペクトルを持つ帰属写像を生み出し、勾配に基づく手法は、予測に基づく方法よりも高周波のコンテンツを明らかにする。
この高周波情報の源は何であり、システムによる決定を本当に反映しているのか?
最後に、なぜ予測に基づく手法に高周波情報がないことが、複数の指標に沿ってより良い説明可能性スコアをもたらすのか?
代表的な3つの視覚分類モデルの勾配を解析し、高頻度から発生するノイズ情報を含むことを観察する。
さらに、我々の分析では、ダウンサンプリングにConvolutional Neural Networks(CNN)で使用される操作が、この高周波コンテンツの重要なソースであるように見えることが判明した。
次に, 最適低域通過フィルタを帰属写像に適用し, 勾配に基づく帰属法を改善することを示す。
私たちはそれを示します
(i)高周波ノイズの除去は、複数のモデルにまたがる勾配法による説明可能性スコアの大幅な改善をもたらす。
(ii)グラデーションに基づく手法を頂点とした最先端手法の新規ランキング
本研究の結果は, より単純で, より効率的な勾配法への新たな関心を喚起すると考えられる。
関連論文リスト
- Enhancing Diffusion-Based Image Synthesis with Robust Classifier
Guidance [17.929524924008962]
クラス条件生成のために,時間依存型分類器からの勾配による拡散過程の導出を提案した。
このアイデアは理論上は健全だが、ディープラーニングベースの分類器は、勾配に基づく敵対攻撃に悪名高い。
本研究では,時間依存型頑健な分類器を定義・訓練し,生成拡散モデルのガイダンスとして利用する。
論文 参考訳(メタデータ) (2022-08-18T06:51:23Z) - Point Cloud Denoising via Momentum Ascent in Gradient Fields [72.93429911044903]
ニューラルネットワークを用いて雑音点雲から勾配場を推定する勾配法を提案した。
そこで我々は, 過去の反復情報を利用して, 点の軌道を決定する運動量勾配上昇法を開発した。
実験により, 提案手法は, 様々な点群, ノイズタイプ, 騒音レベルを有する最先端手法よりも優れていた。
論文 参考訳(メタデータ) (2022-02-21T10:21:40Z) - Deep learning: a statistical viewpoint [120.94133818355645]
ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。
特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。
我々はこれらの現象を具体的原理で補うと推測する。
論文 参考訳(メタデータ) (2021-03-16T16:26:36Z) - Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。
いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
論文 参考訳(メタデータ) (2021-03-01T08:25:26Z) - Rethinking Positive Aggregation and Propagation of Gradients in
Gradient-based Saliency Methods [47.999621481852266]
Saliencyメソッドは、ニューラルネットワークの予測を、その予測に入力要素の重要性を示すことによって解釈する。
本研究では,勾配情報,すなわち正の凝集と正の伝播を扱うための2つの手法が,これらの手法を破っていることを実証的に示す。
論文 参考訳(メタデータ) (2020-12-01T09:38:54Z) - Neural gradients are near-lognormal: improved quantized and sparse
training [35.28451407313548]
神経勾配の分布は概ね対数正規である。
神経勾配の計算と記憶の負担を軽減するための2つの閉形式解析法を提案する。
我々の知る限り,本論文は,(1)6ビット浮動小数点形式への勾配の定量化,あるいは(2)精度の低い場合において,最大85%の勾配間隔を達成した最初の論文である。
論文 参考訳(メタデータ) (2020-06-15T07:00:15Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳(メタデータ) (2020-06-04T21:51:21Z) - Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant
Disease Diagnosis [64.82680813427054]
植物病は食料安全保障と作物生産に対する主要な脅威の1つである。
1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。
本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-17T09:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。