論文の概要: Improving Deep Learning Interpretability by Saliency Guided Training
- arxiv url: http://arxiv.org/abs/2111.14338v1
- Date: Mon, 29 Nov 2021 06:05:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-01 03:51:26.118376
- Title: Improving Deep Learning Interpretability by Saliency Guided Training
- Title(参考訳): 学習指導による深層学習の理解性向上
- Authors: Aya Abdelsalam Ismail, H\'ector Corrada Bravo and Soheil Feizi
- Abstract要約: 精度法はモデル予測において重要な入力特徴を強調するために広く用いられている。
既存の方法の多くは、修正された勾配関数のバックプロパゲーションを使用して、サリエンシマップを生成する。
本稿では,予測に使用する雑音勾配を低減するために,ニューラルネットワークに対するサリエンシ指導訓練手法を提案する。
- 参考スコア(独自算出の注目度): 36.782919916001624
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Saliency methods have been widely used to highlight important input features
in model predictions. Most existing methods use backpropagation on a modified
gradient function to generate saliency maps. Thus, noisy gradients can result
in unfaithful feature attributions. In this paper, we tackle this issue and
introduce a {\it saliency guided training}procedure for neural networks to
reduce noisy gradients used in predictions while retaining the predictive
performance of the model. Our saliency guided training procedure iteratively
masks features with small and potentially noisy gradients while maximizing the
similarity of model outputs for both masked and unmasked inputs. We apply the
saliency guided training procedure to various synthetic and real data sets from
computer vision, natural language processing, and time series across diverse
neural architectures, including Recurrent Neural Networks, Convolutional
Networks, and Transformers. Through qualitative and quantitative evaluations,
we show that saliency guided training procedure significantly improves model
interpretability across various domains while preserving its predictive
performance.
- Abstract(参考訳): 精度法はモデル予測において重要な入力特徴を強調するために広く用いられている。
既存の手法では、修正された勾配関数のバックプロパゲーションを使って塩分マップを生成する。
したがって、雑音勾配は不誠実な特徴属性をもたらす。
本稿では,モデル予測性能を維持しつつ,予測に使用する雑音勾配を低減させるニューラルネットワークのための,"it saliency guided training}プロシージャを導入する。
当社のサリエンシ指導訓練は,マスク入力とアンマスク入力の両方のモデル出力の類似性を最大化しつつ,小さく,うるさい勾配で特徴を反復的にマスキングする。
本稿では,計算機ビジョン,自然言語処理,ニューラルネットワーク,畳み込みニューラルネットワーク,トランスフォーマーなどの多種多様なニューラルネットワークを対象とする時系列の合成および実データに対して,サリエンシガイド付きトレーニング手順を適用した。
定性的・定量的評価を通して, 塩分指導訓練は, 予測性能を維持しつつ, 様々な領域におけるモデル解釈可能性を大幅に向上させることを示した。
関連論文リスト
- Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
連続学習を逐次関数空間変動推論として定式化した目的を提案する。
ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。
タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
論文 参考訳(メタデータ) (2023-12-28T18:44:32Z) - Robust Neural Pruning with Gradient Sampling Optimization for Residual
Neural Networks [0.0]
本研究は, 採粒過程におけるStochGradAdamと同様の勾配サンプリング技術の適用に焦点を当てた。
実験により, 従来の最適化手法と比較して, 勾配サンプリング法により最適化されたモデルの方が, 刈り込み時の精度を保つのに有効であることが判明した。
計算資源の制約のある環境においても,精度を損なうことなく効率の良いニューラルネットワークを構築するための有望な方向性が示唆された。
論文 参考訳(メタデータ) (2023-12-26T12:19:22Z) - Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。
メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。
我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
論文 参考訳(メタデータ) (2023-02-01T17:32:16Z) - Scaling Private Deep Learning with Low-Rank and Sparse Gradients [5.14780936727027]
ニューラルネットワークの低ランクかつスパースな構造を利用して、勾配更新の次元を小さくするフレームワークを提案する。
勾配を拡大するために新しい戦略が利用され、低次元でノイズの少ない更新をもたらす。
自然言語処理とコンピュータビジョンタスクの実証評価により,本手法が他の最先端のベースラインよりも優れていることが示された。
論文 参考訳(メタデータ) (2022-07-06T14:09:47Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳(メタデータ) (2021-10-01T10:03:57Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Last Layer Marginal Likelihood for Invariance Learning [12.00078928875924]
我々は、より大きな確率関数のクラスに対する推論を行うことができるような、限界確率に対する新しい下界を導入する。
我々は、最後の層にガウス的プロセスを持つアーキテクチャを使用することで、このアプローチをニューラルネットワークに導入することに取り組んでいます。
論文 参考訳(メタデータ) (2021-06-14T15:40:51Z) - Self-Adaptive Training: Bridging the Supervised and Self-Supervised
Learning [16.765461276790944]
自己適応型トレーニングは、追加の計算コストを課すことなく、モデル予測によってトレーニングプロセスを動的にキャリブレーションし、強化する統一型トレーニングアルゴリズムです。
ランダムノイズや敵対的な例など、破損したトレーニングデータの深層ネットワークのトレーニングダイナミクスを分析します。
分析の結果, モデル予測はデータ中の有用な情報量を拡大することが可能であり, 強調ラベル情報がない場合にも広く発生することがわかった。
論文 参考訳(メタデータ) (2021-01-21T17:17:30Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳(メタデータ) (2020-10-27T17:56:14Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z) - Gradients as Features for Deep Representation Learning [26.996104074384263]
本稿では,事前学習したディープ・ネットワークを様々なタスクに適応させることによって,ディープ・表現学習の課題に対処する。
我々の重要な革新は、事前訓練されたネットワークの勾配と活性化の両方を組み込んだ線形モデルの設計である。
我々は,実際の勾配を計算せずに,モデルのトレーニングと推論を効率的に行うアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-04-12T02:57:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。