論文の概要: Gaussian Smoothing in Saliency Maps: The Stability-Fidelity Trade-Off in Neural Network Interpretability

• arxiv url: http://arxiv.org/abs/2411.05837v2
• Date: Tue, 11 Mar 2025 10:19:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:40:15.648425
• Title: Gaussian Smoothing in Saliency Maps: The Stability-Fidelity Trade-Off in Neural Network Interpretability
• Title（参考訳）: サリエンシマップにおけるガウスの平滑化:ニューラルネットワークの解釈可能性における安定性と忠実性のトレードオフ
• Authors: Zhuorui Ye, Farzan Farnia,
• Abstract要約: サイレンシマップはニューラルネットワーク分類器の決定を解釈するために広く使われている。 標準地図はしばしば、トレーニングデータのランダム性やトレーニングプロセスの勾配性に非常に敏感であることが観察される。 本研究では,Smooth-Gradアルゴリズムにおけるガウス平滑化が,勾配図の安定性とトレーニングサンプルのランダム性に果たす役割について検討する。
• 参考スコア（独自算出の注目度）: 9.054540533394926
• License:
• Abstract: Saliency maps have been widely used to interpret the decisions of neural network classifiers and discover phenomena from their learned functions. However, standard gradient-based maps are frequently observed to be highly sensitive to the randomness of training data and the stochasticity in the training process. In this work, we study the role of Gaussian smoothing in the well-known Smooth-Grad algorithm in the stability of the gradient-based maps to the randomness of training samples. We extend the algorithmic stability framework to gradient-based interpretation maps and prove bounds on the stability error of standard Simple-Grad, Integrated-Gradients, and Smooth-Grad saliency maps. Our theoretical results suggest the role of Gaussian smoothing in boosting the stability of gradient-based maps to the randomness of training settings. On the other hand, we analyze the faithfulness of the Smooth-Grad maps to the original Simple-Grad and show the lower fidelity under a more intense Gaussian smoothing. We support our theoretical results by performing several numerical experiments on standard image datasets. Our empirical results confirm our hypothesis on the fidelity-stability trade-off in the application of Gaussian smoothing to gradient-based interpretation maps.
• Abstract（参考訳）: サリエンシマップはニューラルネットワーク分類器の決定を解釈し、学習した関数から現象を発見するために広く利用されている。 しかし、標準勾配マップはトレーニングデータのランダム性や学習過程の確率性に非常に敏感であることが多い。 本研究では,Smooth-Gradアルゴリズムにおけるガウス平滑化の役割について,勾配図の安定性とトレーニングサンプルのランダム性について検討する。 アルゴリズム安定性の枠組みを勾配に基づく解釈マップに拡張し、標準単純勾配、積分勾配、滑らか勾配分布マップの安定性誤差の有界性を証明する。 本理論は,勾配図の安定性をトレーニング設定のランダム性に高める上でガウス平滑化が果たす役割を示唆するものである。 一方,Smooth-Grad マップの本来の Simple-Grad への忠実度を解析し,より強いガウス的滑らか化の下で低忠実度を示す。 我々は、標準画像データセット上でいくつかの数値実験を行うことで、理論的結果を支援する。 我々の経験的結果は、勾配に基づく解釈写像へのガウス平滑化の適用における忠実性と安定性のトレードオフに関する我々の仮説を裏付けるものである。

関連論文リスト

• Unlearning-based Neural Interpretations [51.99182464831169]
  静的関数を用いて定義される現在のベースラインは、バイアスがあり、脆弱であり、操作可能であることを示す。 UNIは、学習不可能で、偏りがなく、適応的なベースラインを計算し、入力を最も急な上昇の未学習方向に向けて摂動させることを提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:02:39Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Stochastic Gradient Flow Dynamics of Test Risk and its Exact Solution for Weak Features [8.645858565518155]
  純勾配の試験リスク曲線と勾配流の差を計算する式を提供する。 我々は、動的に加えた項によって引き起こされる補正を明示的に計算する。 解析結果は離散時間勾配降下のシミュレーションと比較し,良好な一致を示した。
  論文  参考訳（メタデータ） (2024-02-12T13:11:11Z)
• Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization [0.6906005491572401]
  バッチ降下(SGD)におけるノイズは,目的関数の平滑化の効果を示す。 SGDsノイズによるスムース化の程度と、よく研究されたシャープネスの指標との間には、興味深い関係があることが示されている。
  論文  参考訳（メタデータ） (2023-11-15T07:27:40Z)
• Multi-fidelity Stability for Graph Representation Learning [38.31487722188051]
  エンフルティ忠実度安定性(英語版)と呼ばれるより弱い一様一般化を導入し、その例を示す。 2種類の安定性の相違点について,多相性設計を正当化する下界を提示する。
  論文  参考訳（メタデータ） (2021-11-25T01:33:41Z)
• Tight Second-Order Certificates for Randomized Smoothing [106.06908242424481]
  また、ガウス的ランダムな滑らか化のための普遍曲率的境界が存在することを示す。 この新たな証明書の正確性を証明することに加えて、SoS証明書は実現可能であり、したがって厳密であることを示す。
  論文  参考訳（メタデータ） (2020-10-20T18:03:45Z)
• Reintroducing Straight-Through Estimators as Principled Methods for Stochastic Binary Networks [85.94999581306827]
  2重みとアクティベーションを持つニューラルネットワークのトレーニングは、勾配の欠如と離散重みよりも最適化が難しいため、難しい問題である。 多くの実験結果が経験的ストレートスルー(ST)アプローチで達成されている。 同時に、ST法はベルヌーイ重みを持つバイナリネットワーク(SBN)モデルにおける推定子として真に導出することができる。
  論文  参考訳（メタデータ） (2020-06-11T23:58:18Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Understanding Integrated Gradients with SmoothTaylor for Deep Neural Network Attribution [70.78655569298923]
  ディープニューラルネットワークモデルの属性方法としての統合グラディエントは、シンプルな実装性を提供する。 理解しやすさに影響を及ぼす説明のうるささに悩まされる。 SmoothGrad法は,ノイズ問題を解消し,勾配に基づく帰属法の帰属写像を円滑化するために提案される。
  論文  参考訳（メタデータ） (2020-04-22T10:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。