論文の概要: Investigating Saturation Effects in Integrated Gradients

• arxiv url: http://arxiv.org/abs/2010.12697v1
• Date: Fri, 23 Oct 2020 22:48:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 22:10:22.052905
• Title: Investigating Saturation Effects in Integrated Gradients
• Title（参考訳）: 統合勾配における飽和効果の研究
• Authors: Vivek Miglani and Narine Kokhlikyan and Bilal Alsallakh and Miguel Martin and Orion Reblitz-Richardson
• Abstract要約: 不飽和領域の勾配を主に捉える積分勾配の変種を提案する。 この帰属的手法により,標準積分勾配と組み合わせたモデル忠実度が向上し,雑音に対する感度が低下することが判明した。
• 参考スコア（独自算出の注目度）: 5.366801257602863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Integrated Gradients has become a popular method for post-hoc model interpretability. De-spite its popularity, the composition and relative impact of different regions of the integral path are not well understood. We explore these effects and find that gradients in saturated regions of this path, where model output changes minimally, contribute disproportionately to the computed attribution. We propose a variant of IntegratedGradients which primarily captures gradients in unsaturated regions and evaluate this method on ImageNet classification networks. We find that this attribution technique shows higher model faithfulness and lower sensitivity to noise com-pared with standard Integrated Gradients. A note-book illustrating our computations and results is available at https://github.com/vivekmig/captum-1/tree/ExpandedIG.
• Abstract（参考訳）: 統合勾配はポストホックモデル解釈可能性の一般的な方法となっている。 その人気を落として、積分経路の異なる領域の構成と相対的な影響はよく分かっていない。 これらの効果を考察し、モデル出力が最小に変化するこの経路の飽和領域の勾配が計算された帰属に不釣り合いに寄与することを発見した。 本研究では,不飽和領域の勾配を主に捉える統合勾配の変種を提案し,この手法をimagenet分類ネットワーク上で評価する。 この帰属的手法は,標準積分勾配と組み合わせたモデル忠実度が高く,雑音に対する感度が低いことを示す。 計算結果を示すノートブックはhttps://github.com/vivekmig/captum-1/tree/ExpandedIGで公開されている。

関連論文リスト

• A Learning Paradigm for Interpretable Gradients [9.074325843851726]
  本稿では,解釈可能性向上のための新たな学習手法を提案する。 得られた勾配は定性的にノイズが少なく、異なるネットワークの解釈可能性特性を定量的に改善する。
  論文  参考訳（メタデータ） (2024-04-23T13:32:29Z)
• Neural Gradient Regularizer [150.85797800807524]
  ニューラルネットワークの出力として勾配マップを表現するニューラルネットワーク勾配正規化器(NGR)を提案する。 NGRは、さまざまなイメージタイプと異なる画像処理タスクに適用でき、ゼロショット学習方式で機能する。
  論文  参考訳（メタデータ） (2023-08-31T10:19:23Z)
• Integrated Decision Gradients: Compute Your Attributions Where the Model Makes Its Decision [9.385886214196479]
  我々は、IDG(Integrated decision gradients)と呼ばれる帰属アルゴリズムを提案する。 IDGは、モデルが決定する経路の領域、すなわち出力ロジットがゼロから最終値に急速に遷移する経路の部分からの勾配の統合に焦点を当てている。 適応サンプリングによって決定される一様でない部分分割を利用して経路積分の和近似における誤差を最小化する。
  論文  参考訳（メタデータ） (2023-05-31T17:25:12Z)
• Deep Manifold Learning with Graph Mining [80.84145791017968]
  グラフマイニングのための非段階的決定層を持つ新しいグラフ深層モデルを提案する。 提案モデルでは,現行モデルと比較して最先端性能を実現している。
  論文  参考訳（メタデータ） (2022-07-18T04:34:08Z)
• Geometrically Guided Integrated Gradients [0.3867363075280543]
  我々は「幾何学的誘導積分勾配」と呼ばれる解釈可能性法を導入する。 提案手法は,入力の複数のスケールバージョンからモデルの動的挙動を探索し,各入力に対する最適な属性をキャプチャする。 また,従来のモデルランダム化試験を補完する「モデル摂動」正当性チェックを提案する。
  論文  参考訳（メタデータ） (2022-06-13T05:05:43Z)
• Gradient Correction beyond Gradient Descent [63.33439072360198]
  勾配補正は明らかに、ニューラルネットワークのトレーニングにおいて、最も重要な側面である。 勾配補正を行うためのフレームワーク(textbfGCGD)を導入する。 実験結果から, 勾配補正フレームワークは, トレーニングエポックスを$sim$20%削減し, ネットワーク性能を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-03-16T01:42:25Z)
• On Training Implicit Models [75.20173180996501]
  ファントム勾配(ファントム勾配)と呼ばれる暗黙モデルに対する新しい勾配推定法を提案し、正確な勾配の計算コストを抑える。 大規模タスクの実験では、これらの軽量ファントム勾配が暗黙の訓練モデルの後方通過を約1.7倍加速することを示した。
  論文  参考訳（メタデータ） (2021-11-09T14:40:24Z)
• Integrated Grad-CAM: Sensitivity-Aware Visual Explanation of Deep Convolutional Networks via Integrated Gradient-Based Scoring [26.434705114982584]
  Grad-CAMは、モデルから得られたアクティベーションマップを組み合わせて視覚化する一般的なソリューションである。 Grad-CAMのグラデーションベース項のパス積分を計算することで、この問題に取り組むソリューションを紹介します。 CNNの予測のために抽出された表現の重要性を計測する手法で達成した改善を徹底した分析を行います。
  論文  参考訳（メタデータ） (2021-02-15T19:21:46Z)
• A Study of Gradient Variance in Deep Learning [56.437755740715396]
  階層化サンプリングによる平均ミニバッチ勾配のばらつきを最小化する手法であるグラディエントクラスタリングを導入する。 我々は、一般的なディープラーニングベンチマークの勾配分散を測定し、一般的な仮定に反して、トレーニング中に勾配分散が増加することを観察する。
  論文  参考訳（メタデータ） (2020-07-09T03:23:10Z)
• Understanding Integrated Gradients with SmoothTaylor for Deep Neural Network Attribution [70.78655569298923]
  ディープニューラルネットワークモデルの属性方法としての統合グラディエントは、シンプルな実装性を提供する。 理解しやすさに影響を及ぼす説明のうるささに悩まされる。 SmoothGrad法は,ノイズ問題を解消し,勾配に基づく帰属法の帰属写像を円滑化するために提案される。
  論文  参考訳（メタデータ） (2020-04-22T10:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。