論文の概要: Structured Gradient-based Interpretations via Norm-Regularized Adversarial Training

• arxiv url: http://arxiv.org/abs/2404.04647v1
• Date: Sat, 6 Apr 2024 14:49:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 20:09:57.444464
• Title: Structured Gradient-based Interpretations via Norm-Regularized Adversarial Training
• Title（参考訳）: Norm-Regularized Adversarial Trainingによる構造的勾配に基づく解釈
• Authors: Shizhan Gong, Qi Dou, Farzan Farnia,
• Abstract要約: 勾配に基づくサリエンシマップは、現実のコンピュータビジョンモデルへの応用において、空間性や接続性のような望ましい構造を欠いていることが多い。 勾配に基づく正則写像にスパーシティ構造を誘導するためのよく使われるアプローチは、スパーシフィケーションやノルムベースの正則化を用いて単純な勾配スキームを変更することである。 そこで本研究では,ニューラルネットワークを単純な勾配マップで学習するプロセス内スキームとして,逆トレーニングを適用することを提案する。
• 参考スコア（独自算出の注目度）: 18.876749156797935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient-based saliency maps have been widely used to explain the decisions of deep neural network classifiers. However, standard gradient-based interpretation maps, including the simple gradient and integrated gradient algorithms, often lack desired structures such as sparsity and connectedness in their application to real-world computer vision models. A frequently used approach to inducing sparsity structures into gradient-based saliency maps is to alter the simple gradient scheme using sparsification or norm-based regularization. A drawback with such post-processing methods is their frequently-observed significant loss in fidelity to the original simple gradient map. In this work, we propose to apply adversarial training as an in-processing scheme to train neural networks with structured simple gradient maps. We show a duality relation between the regularized norms of the adversarial perturbations and gradient-based maps, based on which we design adversarial training loss functions promoting sparsity and group-sparsity properties in simple gradient maps. We present several numerical results to show the influence of our proposed norm-based adversarial training methods on the standard gradient-based maps of standard neural network architectures on benchmark image datasets.
• Abstract（参考訳）: 勾配に基づく従順性マップは、ディープニューラルネットワーク分類器の決定を説明するために広く使われている。 しかし、単純な勾配と積分勾配アルゴリズムを含む標準勾配に基づく解釈マップは、現実のコンピュータビジョンモデルへの応用において、空間性や接続性のような望ましい構造を欠いていることが多い。 勾配に基づく正則写像にスパーシティ構造を誘導するためのよく使われるアプローチは、スパーシフィケーションやノルムベースの正則化を用いて単純な勾配スキームを変更することである。 このようなポストプロセッシング手法の欠点は、元の単純勾配写像に対する忠実度がしばしば失われることである。 そこで本研究では,ニューラルネットワークを単純な勾配マップで学習するプロセス内スキームとして,逆トレーニングを適用することを提案する。 直交摂動の正規化ノルムと勾配に基づく写像との双対性関係を示し、簡単な勾配写像におけるスパーシティとグループスパーシティ性を促進する対向訓練損失関数を設計する。 提案手法が標準ニューラルネットワークアーキテクチャの標準勾配図とベンチマーク画像データセットに与える影響を示すために,いくつかの数値的な結果を示す。

関連論文リスト

• A Learning Paradigm for Interpretable Gradients [9.074325843851726]
  本稿では,解釈可能性向上のための新たな学習手法を提案する。 得られた勾配は定性的にノイズが少なく、異なるネットワークの解釈可能性特性を定量的に改善する。
  論文  参考訳（メタデータ） (2024-04-23T13:32:29Z)
• Neural Gradient Regularizer [150.85797800807524]
  ニューラルネットワークの出力として勾配マップを表現するニューラルネットワーク勾配正規化器(NGR)を提案する。 NGRは、さまざまなイメージタイプと異なる画像処理タスクに適用でき、ゼロショット学習方式で機能する。
  論文  参考訳（メタデータ） (2023-08-31T10:19:23Z)
• Can Forward Gradient Match Backpropagation? [2.875726839945885]
  フォワードグラディエントはニューラルネットワークトレーニングに有効であることが示されている。 我々は、小さな局所的な補助ネットワークから得られるフィードバックなど、より有望な方向の勾配推定を強く偏り付けることを提案する。 局所損失から得られた勾配を候補方向として用いた場合,前方勾配法におけるランダムノイズを大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2023-06-12T08:53:41Z)
• Interpretation of Neural Networks is Susceptible to Universal Adversarial Perturbations [9.054540533394926]
  本稿では,標準画像データセットにUniversal Perturbation for Interpretation (UPI)が存在することを示す。 本稿では、ニューラルネットワークの勾配に基づく解釈を異なるサンプルで効果的に変更可能な、主成分分析(PCA)に基づくUPI計算手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T15:55:40Z)
• Gradient-Based Adversarial and Out-of-Distribution Detection [15.510581400494207]
  ニューラルネットワークの効率的な表現性を調べるために,勾配生成における共起ラベルを導入する。 我々の勾配に基づくアプローチは、モデルの効果的な表現率に基づいて入力の異常を捉えることができることを示す。
  論文  参考訳（メタデータ） (2022-06-16T15:50:41Z)
• Entangled Residual Mappings [59.02488598557491]
  残余接続の構造を一般化するために、絡み合った残余写像を導入する。 絡み合い残余写像は、アイデンティティスキップ接続を特別な絡み合い写像に置き換える。 絡み合った写像は、様々な深層モデルにまたがる特徴の反復的洗練を保ちながら、畳み込みネットワークにおける表現学習プロセスに影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-06-02T19:36:03Z)
• Generalization Error Analysis of Neural networks with Gradient Based Regularization [2.7286395031146062]
  ニューラルネットワークの勾配に基づく正規化法について検討する。 本稿では,正規化ネットワークの一般化誤差を解析するための一般的なフレームワークを提案する。 画像分類タスクについていくつかの実験を行い、勾配に基づく手法が一般化能力を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-07-06T07:54:36Z)
• CAMERAS: Enhanced Resolution And Sanity preserving Class Activation Mapping for image saliency [61.40511574314069]
  バックプロパゲーション画像のサリエンシは、入力中の個々のピクセルのモデル中心の重要性を推定することにより、モデル予測を説明することを目的としている。 CAMERASは、外部の事前処理を必要とせずに、高忠実度バックプロパゲーション・サリエンシ・マップを計算できる手法である。
  論文  参考訳（メタデータ） (2021-06-20T08:20:56Z)
• Backward Gradient Normalization in Deep Neural Networks [68.8204255655161]
  ニューラルネットワークトレーニングにおける勾配正規化のための新しい手法を提案する。 勾配は、ネットワークアーキテクチャ内の特定の点で導入された正規化レイヤを使用して、後方通過中に再スケールされる。 非常に深いニューラルネットワークを用いたテストの結果、新しい手法が勾配ノルムを効果的に制御できることが示されている。
  論文  参考訳（メタデータ） (2021-06-17T13:24:43Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• Understanding Integrated Gradients with SmoothTaylor for Deep Neural Network Attribution [70.78655569298923]
  ディープニューラルネットワークモデルの属性方法としての統合グラディエントは、シンプルな実装性を提供する。 理解しやすさに影響を及ぼす説明のうるささに悩まされる。 SmoothGrad法は,ノイズ問題を解消し,勾配に基づく帰属法の帰属写像を円滑化するために提案される。
  論文  参考訳（メタデータ） (2020-04-22T10:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。