論文の概要: Rethinking the Principle of Gradient Smooth Methods in Model Explanation

• arxiv url: http://arxiv.org/abs/2410.07711v1
• Date: Thu, 10 Oct 2024 08:24:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 15:25:43.547194
• Title: Rethinking the Principle of Gradient Smooth Methods in Model Explanation
• Title（参考訳）: モデル説明におけるグラディエント・スムース法の原理の再考
• Authors: Linjiang Zhou, Chao Ma, Zepeng Wang, Xiaochuan Shi,
• Abstract要約: グラディエント・スムーシング(Gradient Smoothing)は、勾配モデル記述法における雑音の低減に有効な手法である。 これらの知見に基づいて適応的な勾配平滑化手法AdaptGradを提案する。
• 参考スコア（独自算出の注目度）: 2.6819730646697972
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient Smoothing is an efficient approach to reducing noise in gradient-based model explanation method. SmoothGrad adds Gaussian noise to mitigate much of these noise. However, the crucial hyper-parameter in this method, the variance $\sigma$ of Gaussian noise, is set manually or with heuristic approach. However, it results in the smoothed gradients still containing a certain amount of noise. In this paper, we aim to interpret SmoothGrad as a corollary of convolution, thereby re-understanding the gradient noise and the role of $\sigma$ from the perspective of confidence level. Furthermore, we propose an adaptive gradient smoothing method, AdaptGrad, based on these insights. Through comprehensive experiments, both qualitative and quantitative results demonstrate that AdaptGrad could effectively reduce almost all the noise in vanilla gradients compared with baselines methods. AdaptGrad is simple and universal, making it applicable for enhancing gradient-based interpretability methods for better visualization.
• Abstract（参考訳）: グラディエント・スムーシング(Gradient Smoothing)は、勾配モデル記述法における雑音の低減に有効な手法である。 SmoothGradは、これらのノイズの多くを軽減するためにガウスノイズを追加します。 しかし、この手法における重要なハイパーパラメータである、ガウス雑音の分散$\sigma$は、手動またはヒューリスティックなアプローチで設定される。 しかし、一定のノイズを含む滑らかな勾配が生じる。 本稿では,SmoothGradを畳み込みの集合体と解釈し,信頼度の観点から勾配雑音と$\sigma$の役割を再考する。 さらに,これらの知見に基づいて適応的な勾配平滑化手法AdaptGradを提案する。 総合的な実験を通じて、定性的および定量的な結果は、AdaptGradがベースライン法と比較してバニラ勾配のほとんど全てのノイズを効果的に低減できることを示した。 AdaptGradはシンプルで普遍的であり、グラデーションベースの解釈可能性メソッドを拡張して視覚化に利用できる。

関連論文リスト

• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• A Learning Paradigm for Interpretable Gradients [9.074325843851726]
  本稿では,解釈可能性向上のための新たな学習手法を提案する。 得られた勾配は定性的にノイズが少なく、異なるネットワークの解釈可能性特性を定量的に改善する。
  論文  参考訳（メタデータ） (2024-04-23T13:32:29Z)
• Nesterov acceleration despite very noisy gradients [2.048226951354646]
  我々はネステロフの加速勾配降下アルゴリズムの一般化を提案する。 AGNESは滑らかな凸と強い凸最小化タスクの加速を達成する。
  論文  参考訳（メタデータ） (2023-02-10T21:32:47Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• NoiseGrad: enhancing explanations by introducing stochasticity to model weights [4.735227614605093]
  NoiseGradは、入力データの代わりに重みにノイズを加える手法に依存しない説明強調法である。 提案手法を,異なるデータセットを含む様々な実験により検討する。
  論文  参考訳（メタデータ） (2021-06-18T15:22:33Z)
• Guided Integrated Gradients: An Adaptive Path Method for Removing Noise [9.792727625917083]
  統合グラディエンツ(IG)は、ディープニューラルネットワークのための一般的な特徴属性法である。 問題の原因の1つは、IG経路に沿ったノイズの蓄積である。 我々は、帰属経路自体に適応することを提案し、画像だけでなく、説明されるモデルにも経路を条件付けする。
  論文  参考訳（メタデータ） (2021-06-17T20:00:55Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)
• Understanding Integrated Gradients with SmoothTaylor for Deep Neural Network Attribution [70.78655569298923]
  ディープニューラルネットワークモデルの属性方法としての統合グラディエントは、シンプルな実装性を提供する。 理解しやすさに影響を及ぼす説明のうるささに悩まされる。 SmoothGrad法は,ノイズ問題を解消し,勾配に基づく帰属法の帰属写像を円滑化するために提案される。
  論文  参考訳（メタデータ） (2020-04-22T10:43:19Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。