論文の概要: On the Trade-Off between Stability and Fidelity of Gaussian-Smoothed Saliency Maps

• arxiv url: http://arxiv.org/abs/2411.05837v1
• Date: Wed, 06 Nov 2024 13:26:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:11:21.885601
• Title: On the Trade-Off between Stability and Fidelity of Gaussian-Smoothed Saliency Maps
• Title（参考訳）: ガウス平滑な塩分マップの安定性と忠実さのトレードオフについて
• Authors: Zhuorui Ye, Farzan Farnia,
• Abstract要約: 本研究では,Smooth-Gradアルゴリズムにおけるランダムな平滑化が,勾配マップの安定性とトレーニングサンプルのランダム性に果たす役割について検討する。 本理論は,勾配図の安定性をトレーニング設定のランダム性に高める上でガウス平滑化が果たす役割を示唆するものである。
• 参考スコア（独自算出の注目度）: 9.054540533394926
• License:
• Abstract: Gradient-based saliency maps have been widely used to interpret the decisions of neural network classifiers and discover phenomena from their learned functions. Standard gradient-based maps are frequently observed to be highly sensitive to the randomness of training data and the stochasticity in the training process. In this work, we study the role of randomized smoothing in the well-known Smooth-Grad algorithm in the stability of the gradient-based maps to the randomness of training samples. We extend the algorithmic stability framework to gradient-based saliency maps and prove bounds on the stability error of standard Simple-Grad, Integrated-Gradients, and Smooth-Grad saliency maps. Our theoretical results suggest the role of Gaussian smoothing in boosting the stability of gradient-based maps to the randomness of training settings. On the other hand, we analyze the faithfulness of the Smooth-Grad maps to the original Simple-Grad and show the lower fidelity under a more intense Gaussian smoothing. We support our theoretical results by performing several numerical experiments on standard image datasets. Our empirical results confirm our hypothesis on the fidelity-stability trade-off in the application of Gaussian smoothing to gradient-based interpretation maps.
• Abstract（参考訳）: グラディエント・ベース・サリエンシ・マップは、ニューラルネットワーク分類器の決定を解釈し、学習した関数から現象を発見するために広く利用されている。 標準勾配マップはしばしば、トレーニングデータのランダム性やトレーニング過程の確率性に非常に敏感であることが観察される。 本研究では,Smooth-Gradアルゴリズムにおけるランダムな平滑化が,勾配マップの安定性とトレーニングサンプルのランダム性に果たす役割について検討する。 アルゴリズム的安定性の枠組みを勾配に基づくサリエンシマップに拡張し、標準単純勾配、統合勾配、滑らか勾配のサリエンシマップの安定性誤差の限界を証明した。 本理論は,勾配図の安定性をトレーニング設定のランダム性に高める上で,ガウス平滑化が果たす役割を示唆している。 一方,Smooth-Grad マップの本来の Simple-Grad への忠実度を解析し,より強いガウス的滑らか化の下で低忠実度を示す。 我々は、標準画像データセット上でいくつかの数値実験を行うことで、理論的結果を支援する。 我々の経験的結果は、勾配に基づく解釈写像へのガウス平滑化の適用における忠実性と安定性のトレードオフに関する我々の仮説を裏付けるものである。

関連論文リスト

• Unlearning-based Neural Interpretations [51.99182464831169]
  静的関数を用いて定義される現在のベースラインは、バイアスがあり、脆弱であり、操作可能であることを示す。 UNIは、学習不可能で、偏りがなく、適応的なベースラインを計算し、入力を最も急な上昇の未学習方向に向けて摂動させることを提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:02:39Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Stochastic Gradient Flow Dynamics of Test Risk and its Exact Solution for Weak Features [8.645858565518155]
  純勾配の試験リスク曲線と勾配流の差を計算する式を提供する。 我々は、動的に加えた項によって引き起こされる補正を明示的に計算する。 解析結果は離散時間勾配降下のシミュレーションと比較し,良好な一致を示した。
  論文  参考訳（メタデータ） (2024-02-12T13:11:11Z)
• Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization [0.6906005491572401]
  バッチ降下勾配 (SGD) における雑音は, 目的関数の平滑化の効果を示す。 我々は,学習率とバッチサイズによってスムース化の度合いが変化する新しい累積最適化アルゴリズムを解析する。
  論文  参考訳（メタデータ） (2023-11-15T07:27:40Z)
• Multi-fidelity Stability for Graph Representation Learning [38.31487722188051]
  エンフルティ忠実度安定性(英語版)と呼ばれるより弱い一様一般化を導入し、その例を示す。 2種類の安定性の相違点について,多相性設計を正当化する下界を提示する。
  論文  参考訳（メタデータ） (2021-11-25T01:33:41Z)
• Tight Second-Order Certificates for Randomized Smoothing [106.06908242424481]
  また、ガウス的ランダムな滑らか化のための普遍曲率的境界が存在することを示す。 この新たな証明書の正確性を証明することに加えて、SoS証明書は実現可能であり、したがって厳密であることを示す。
  論文  参考訳（メタデータ） (2020-10-20T18:03:45Z)
• Reintroducing Straight-Through Estimators as Principled Methods for Stochastic Binary Networks [85.94999581306827]
  2重みとアクティベーションを持つニューラルネットワークのトレーニングは、勾配の欠如と離散重みよりも最適化が難しいため、難しい問題である。 多くの実験結果が経験的ストレートスルー(ST)アプローチで達成されている。 同時に、ST法はベルヌーイ重みを持つバイナリネットワーク(SBN)モデルにおける推定子として真に導出することができる。
  論文  参考訳（メタデータ） (2020-06-11T23:58:18Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Understanding Integrated Gradients with SmoothTaylor for Deep Neural Network Attribution [70.78655569298923]
  ディープニューラルネットワークモデルの属性方法としての統合グラディエントは、シンプルな実装性を提供する。 理解しやすさに影響を及ぼす説明のうるささに悩まされる。 SmoothGrad法は,ノイズ問題を解消し,勾配に基づく帰属法の帰属写像を円滑化するために提案される。
  論文  参考訳（メタデータ） (2020-04-22T10:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。