論文の概要: Rethinking Positive Aggregation and Propagation of Gradients in Gradient-based Saliency Methods

• arxiv url: http://arxiv.org/abs/2012.00362v1
• Date: Tue, 1 Dec 2020 09:38:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-31 13:10:10.679609
• Title: Rethinking Positive Aggregation and Propagation of Gradients in Gradient-based Saliency Methods
• Title（参考訳）: 勾配法における正の凝集と勾配伝播の再考
• Authors: Ashkan Khakzar, Soroosh Baselizadeh, Nassir Navab
• Abstract要約: Saliencyメソッドは、ニューラルネットワークの予測を、その予測に入力要素の重要性を示すことによって解釈する。 本研究では,勾配情報,すなわち正の凝集と正の伝播を扱うための2つの手法が,これらの手法を破っていることを実証的に示す。
• 参考スコア（独自算出の注目度）: 47.999621481852266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Saliency methods interpret the prediction of a neural network by showing the importance of input elements for that prediction. A popular family of saliency methods utilize gradient information. In this work, we empirically show that two approaches for handling the gradient information, namely positive aggregation, and positive propagation, break these methods. Though these methods reflect visually salient information in the input, they do not explain the model prediction anymore as the generated saliency maps are insensitive to the predicted output and are insensitive to model parameter randomization. Specifically for methods that aggregate the gradients of a chosen layer such as GradCAM++ and FullGrad, exclusively aggregating positive gradients is detrimental. We further support this by proposing several variants of aggregation methods with positive handling of gradient information. For methods that backpropagate gradient information such as LRP, RectGrad, and Guided Backpropagation, we show the destructive effect of exclusively propagating positive gradient information.
• Abstract（参考訳）: Saliencyメソッドは、ニューラルネットワークの予測を、その予測に入力要素の重要性を示すことによって解釈する。 公衆衛生手法の一般的なファミリーは、勾配情報を利用する。 本研究では, 勾配情報を扱う2つの手法, 正の凝集, 正の伝播, がこれらの手法を破ることを示す。 これらの方法は入力中の視覚的なサルエント情報を反映するが、生成されたサルエンシーマップは予測された出力に影響を受けず、モデルパラメータのランダム化に敏感であるため、モデル予測をもはや説明しない。 具体的には、GradCAM++やFullGradのような選択された層の勾配を集約するメソッドでは、正の勾配を排他的に集約することは有害である。 さらに,グラデーション情報の正のハンドリングを伴うアグリゲーション手法の変種を複数提案することで,これをさらに支持する。 LRP, RectGrad, Guided Backpropagationなどの勾配情報をバックプロパゲートする手法では, 正勾配情報のみを伝播させることによる破壊効果を示す。

関連論文リスト

• A Learning Paradigm for Interpretable Gradients [9.074325843851726]
  本稿では,解釈可能性向上のための新たな学習手法を提案する。 得られた勾配は定性的にノイズが少なく、異なるネットワークの解釈可能性特性を定量的に改善する。
  論文  参考訳（メタデータ） (2024-04-23T13:32:29Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
  モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。 この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
  論文  参考訳（メタデータ） (2023-07-06T15:19:53Z)
• Clip21: Error Feedback for Gradient Clipping [8.979288425347702]
  我々はClip21を設計し、分散メソッドに対する最初の有効で実用的なフィードバックメカニズムを設計する。 提案手法は, 競合手法よりも高速に収束する。
  論文  参考訳（メタデータ） (2023-05-30T10:41:42Z)
• Natural Gradient Methods: Perspectives, Efficient-Scalable Approximations, and Analysis [0.0]
  Natural Gradient Descentは、情報幾何学によって動機付けられた2次最適化手法である。 一般的に使用されるヘッセン語の代わりにフィッシャー情報マトリックスを使用している。 2階法であることは、膨大な数のパラメータとデータを扱う問題で直接使用されることが不可能である。
  論文  参考訳（メタデータ） (2023-03-06T04:03:56Z)
• Geometrically Guided Integrated Gradients [0.3867363075280543]
  我々は「幾何学的誘導積分勾配」と呼ばれる解釈可能性法を導入する。 提案手法は,入力の複数のスケールバージョンからモデルの動的挙動を探索し,各入力に対する最適な属性をキャプチャする。 また,従来のモデルランダム化試験を補完する「モデル摂動」正当性チェックを提案する。
  論文  参考訳（メタデータ） (2022-06-13T05:05:43Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• There and Back Again: Revisiting Backpropagation Saliency Methods [87.40330595283969]
  正当性法は,各入力サンプルの重要度マップを作成することによって,モデルの予測を説明する。 このような手法の一般的なクラスは、信号のバックプロパゲートと結果の勾配の分析に基づいている。 本稿では,そのような手法を統一可能な単一のフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:58:08Z)
• DANCE: Enhancing saliency maps using decoys [35.46266461621123]
  本稿では,2段階の手順に従うことで,サリエンシ手法の堅牢性を向上させる枠組みを提案する。 まず、中間表現を変更せずに入力サンプルを微妙に変化させる摂動機構を導入する。 第2に、摂動サンプルの塩分マップを計算し、塩分マップを集約する新しい方法を提案する。
  論文  参考訳（メタデータ） (2020-02-03T01:21:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。