論文の概要: Gradient strikes back: How filtering out high frequencies improves explanations

• arxiv url: http://arxiv.org/abs/2307.09591v1
• Date: Tue, 18 Jul 2023 19:56:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 16:16:11.145571
• Title: Gradient strikes back: How filtering out high frequencies improves explanations
• Title（参考訳）: 勾配が逆戻り:高周波数のフィルタリングが説明を改善する
• Authors: Sabine Muzellec, Leo Andeol, Thomas Fel, Rufin VanRullen, Thomas Serre
• Abstract要約: 勾配に基づく手法は予測に基づく手法よりも高周波な内容を明らかにする。 ダウンサンプリングのためにCNNで使用される操作は、この高周波コンテンツの重要な原因であるように見える。 次に、帰属写像に最適なローパスフィルタを適用し、勾配に基づく帰属法を改善することを実証する。
• 参考スコア（独自算出の注目度）: 6.772249211312724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have witnessed an explosion in the development of novel prediction-based attribution methods, which have slowly been supplanting older gradient-based methods to explain the decisions of deep neural networks. However, it is still not clear why prediction-based methods outperform gradient-based ones. Here, we start with an empirical observation: these two approaches yield attribution maps with very different power spectra, with gradient-based methods revealing more high-frequency content than prediction-based methods. This observation raises multiple questions: What is the source of this high-frequency information, and does it truly reflect decisions made by the system? Lastly, why would the absence of high-frequency information in prediction-based methods yield better explainability scores along multiple metrics? We analyze the gradient of three representative visual classification models and observe that it contains noisy information emanating from high-frequencies. Furthermore, our analysis reveals that the operations used in Convolutional Neural Networks (CNNs) for downsampling appear to be a significant source of this high-frequency content -- suggesting aliasing as a possible underlying basis. We then apply an optimal low-pass filter for attribution maps and demonstrate that it improves gradient-based attribution methods. We show that (i) removing high-frequency noise yields significant improvements in the explainability scores obtained with gradient-based methods across multiple models -- leading to (ii) a novel ranking of state-of-the-art methods with gradient-based methods at the top. We believe that our results will spur renewed interest in simpler and computationally more efficient gradient-based methods for explainability.
• Abstract（参考訳）: 近年では、新しい予測に基づく帰属法の開発が爆発的に増加しており、深層ニューラルネットワークの決定を説明するために、古い勾配に基づく手法を徐々に置き換えている。 しかし、なぜ予測に基づく手法が勾配に基づく手法よりも優れているのかは定かではない。 これらの2つのアプローチは、非常に異なるパワースペクトルを持つ帰属写像を生み出し、勾配に基づく手法は、予測に基づく方法よりも高周波のコンテンツを明らかにする。 この高周波情報の源は何であり、システムによる決定を本当に反映しているのか? 最後に、なぜ予測に基づく手法に高周波情報がないことが、複数の指標に沿ってより良い説明可能性スコアをもたらすのか? 代表的な3つの視覚分類モデルの勾配を解析し、高頻度から発生するノイズ情報を含むことを観察する。 さらに、我々の分析では、ダウンサンプリングにConvolutional Neural Networks(CNN)で使用される操作が、この高周波コンテンツの重要なソースであるように見えることが判明した。 次に, 最適低域通過フィルタを帰属写像に適用し, 勾配に基づく帰属法を改善することを示す。 私たちはそれを示します (i)高周波ノイズの除去は、複数のモデルにまたがる勾配法による説明可能性スコアの大幅な改善をもたらす。 (ii)グラデーションに基づく手法を頂点とした最先端手法の新規ランキング 本研究の結果は, より単純で, より効率的な勾配法への新たな関心を喚起すると考えられる。

関連論文リスト

• On Gradient-like Explanation under a Black-box Setting: When Black-box Explanations Become as Good as White-box [9.368325306722321]
  本稿では,クエリレベルのアクセスのみを通じて,勾配のような説明を生成するmethodAbr(gradient-estimation-based explanation)を提案する。 提案手法は, 数学的に厳密に証明された帰属法の基本特性の集合を持ち, その説明の質を保証している。 画像データに焦点をあてた理論的解析に加えて,提案手法が最先端のブラックボックス法よりも優れていることを示す実験結果が得られた。
  論文  参考訳（メタデータ） (2023-08-18T08:24:57Z)
• Sampling-based Fast Gradient Rescaling Method for Highly Transferable Adversarial Attacks [18.05924632169541]
  サンプリングに基づく高速勾配再スケーリング法(S-FGRM)を提案する。 具体的には、余分な計算コストを伴わずに手話関数を置換するためにデータ再スケーリングを用いる。 本手法は, 勾配に基づく攻撃の伝達可能性を大幅に向上させ, 最先端のベースラインより優れる可能性がある。
  論文  参考訳（メタデータ） (2023-07-06T07:52:42Z)
• Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
  本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。 提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
  論文  参考訳（メタデータ） (2022-04-23T02:45:55Z)
• Query-Efficient Black-box Adversarial Attacks Guided by a Transfer-based Prior [50.393092185611536]
  対象モデルの勾配にアクセスできることなく、敵が敵の例を作らなければならないブラックボックスの敵設定を考える。 従来の手法では、代用ホワイトボックスモデルの転送勾配を用いたり、モデルクエリのフィードバックに基づいて真の勾配を近似しようとした。 偏りサンプリングと勾配平均化に基づく2つの事前誘導型ランダム勾配フリー(PRGF)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-13T04:06:27Z)
• Time to Focus: A Comprehensive Benchmark Using Time Series Attribution Methods [4.9449660544238085]
  本論文は時系列解析といくつかの最先端属性手法のベンチマークに焦点をあてる。 本実験では, 勾配および摂動に基づく帰属法について検討した。 その結果,最も適した帰属法を選択することは,所望のユースケースと強く相関していることが示唆された。
  論文  参考訳（メタデータ） (2022-02-08T10:06:13Z)
• A concise method for feature selection via normalized frequencies [0.0]
  本稿では,普遍的特徴選択のための簡潔な手法を提案する。 提案手法は, フィルタ法とラッパー法を融合して行う。 評価結果から,提案手法は,精度,精度,リコール,Fスコア,AUCの点で,いくつかの最先端技術に優れた性能を示した。
  論文  参考訳（メタデータ） (2021-06-10T15:29:54Z)
• Staircase Sign Method for Boosting Adversarial Attacks [123.19227129979943]
  トランスファーベースの攻撃の敵の例を作るのは難しいし、研究のホットスポットだ。 そこで本研究では,この問題を緩和するための新しい階段サイン法(S$2$M)を提案する。 我々の手法は一般に転送ベースの攻撃と統合することができ、計算オーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2021-04-20T02:31:55Z)
• Visualization of Supervised and Self-Supervised Neural Networks via Attribution Guided Factorization [87.96102461221415]
  クラスごとの説明性を提供するアルゴリズムを開発した。 実験の広範なバッテリーでは、クラス固有の可視化のための手法の能力を実証する。
  論文  参考訳（メタデータ） (2020-12-03T18:48:39Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)
• There and Back Again: Revisiting Backpropagation Saliency Methods [87.40330595283969]
  正当性法は,各入力サンプルの重要度マップを作成することによって,モデルの予測を説明する。 このような手法の一般的なクラスは、信号のバックプロパゲートと結果の勾配の分析に基づいている。 本稿では,そのような手法を統一可能な単一のフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:58:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。