論文の概要: A Learning Paradigm for Interpretable Gradients

• arxiv url: http://arxiv.org/abs/2404.15024v1
• Date: Tue, 23 Apr 2024 13:32:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 13:51:55.437042
• Title: A Learning Paradigm for Interpretable Gradients
• Title（参考訳）: 解釈可能なグラディエントのための学習パラダイム
• Authors: Felipe Torres Figueroa, Hanwei Zhang, Ronan Sicre, Yannis Avrithis, Stephane Ayache,
• Abstract要約: 本稿では,解釈可能性向上のための新たな学習手法を提案する。 得られた勾配は定性的にノイズが少なく、異なるネットワークの解釈可能性特性を定量的に改善する。
• 参考スコア（独自算出の注目度）: 9.074325843851726
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper studies interpretability of convolutional networks by means of saliency maps. Most approaches based on Class Activation Maps (CAM) combine information from fully connected layers and gradient through variants of backpropagation. However, it is well understood that gradients are noisy and alternatives like guided backpropagation have been proposed to obtain better visualization at inference. In this work, we present a novel training approach to improve the quality of gradients for interpretability. In particular, we introduce a regularization loss such that the gradient with respect to the input image obtained by standard backpropagation is similar to the gradient obtained by guided backpropagation. We find that the resulting gradient is qualitatively less noisy and improves quantitatively the interpretability properties of different networks, using several interpretability methods.
• Abstract（参考訳）: 本稿では,畳み込みネットワークのサリエンシマップによる解釈可能性について検討する。 クラスアクティベーションマップ(CAM)に基づくほとんどのアプローチは、完全に接続されたレイヤからの情報と、バックプロパゲーションのバリエーションによる勾配を組み合わせている。 しかし、勾配はノイズが多いことがよく理解されており、推論におけるより良い視覚化を得るために、ガイド付きバックプロパゲーションのような代替法が提案されている。 本研究では,解釈可能性向上のための新たな学習手法を提案する。 特に、標準バックプロパゲーションにより得られる入力画像に対する勾配が誘導バックプロパゲーションにより得られる勾配と類似する正規化損失を導入する。 得られた勾配は定性的にノイズが少なく、様々なネットワークの解釈可能性特性を定量的に改善する。

関連論文リスト

• Rethinking the Principle of Gradient Smooth Methods in Model Explanation [2.6819730646697972]
  グラディエント・スムーシング(Gradient Smoothing)は、勾配モデル記述法における雑音の低減に有効な手法である。 これらの知見に基づいて適応的な勾配平滑化手法AdaptGradを提案する。
  論文  参考訳（メタデータ） (2024-10-10T08:24:27Z)
• Expected Grad-CAM: Towards gradient faithfulness [7.2203673761998495]
  勾配重み付きCAMアプローチは依然としてバニラ勾配に依存している。 本研究は飽和度と感度問題に対処する勾配重み付きCAM増強法を提案する。
  論文  参考訳（メタデータ） (2024-06-03T12:40:30Z)
• How to guess a gradient [68.98681202222664]
  我々は、勾配が以前考えられていたよりもより構造化されていることを示す。 この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。 厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
  論文  参考訳（メタデータ） (2023-12-07T21:40:44Z)
• Can Forward Gradient Match Backpropagation? [2.875726839945885]
  フォワードグラディエントはニューラルネットワークトレーニングに有効であることが示されている。 我々は、小さな局所的な補助ネットワークから得られるフィードバックなど、より有望な方向の勾配推定を強く偏り付けることを提案する。 局所損失から得られた勾配を候補方向として用いた場合,前方勾配法におけるランダムノイズを大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2023-06-12T08:53:41Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Rethinking Positive Aggregation and Propagation of Gradients in Gradient-based Saliency Methods [47.999621481852266]
  Saliencyメソッドは、ニューラルネットワークの予測を、その予測に入力要素の重要性を示すことによって解釈する。 本研究では,勾配情報,すなわち正の凝集と正の伝播を扱うための2つの手法が,これらの手法を破っていることを実証的に示す。
  論文  参考訳（メタデータ） (2020-12-01T09:38:54Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• Understanding Integrated Gradients with SmoothTaylor for Deep Neural Network Attribution [70.78655569298923]
  ディープニューラルネットワークモデルの属性方法としての統合グラディエントは、シンプルな実装性を提供する。 理解しやすさに影響を及ぼす説明のうるささに悩まされる。 SmoothGrad法は,ノイズ問題を解消し,勾配に基づく帰属法の帰属写像を円滑化するために提案される。
  論文  参考訳（メタデータ） (2020-04-22T10:43:19Z)
• Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
  適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。 我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。 適応勾配法の一般化に関する経験的および理論的考察を示す。
  論文  参考訳（メタデータ） (2020-02-26T21:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。