論文の概要: NoiseGrad: enhancing explanations by introducing stochasticity to model weights

• arxiv url: http://arxiv.org/abs/2106.10185v1
• Date: Fri, 18 Jun 2021 15:22:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-21 14:03:00.109486
• Title: NoiseGrad: enhancing explanations by introducing stochasticity to model weights
• Title（参考訳）: ノイズグラッド:モデル重みへの確率性の導入による説明の強化
• Authors: Kirill Bykov, Anna Hedstr\"om, Shinichi Nakajima, Marina M.-C. H\"ohne
• Abstract要約: NoiseGradは、入力データの代わりに重みにノイズを加える手法に依存しない説明強調法である。 提案手法を,異なるデータセットを含む様々な実験により検討する。
• 参考スコア（独自算出の注目度）: 4.735227614605093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attribution methods remain a practical instrument that is used in real-world applications to explain the decision-making process of complex learning machines. It has been shown that a simple method called SmoothGrad can effectively reduce the visual diffusion of gradient-based attribution methods and has established itself among both researchers and practitioners. What remains unexplored in research, however, is how explanations can be improved by introducing stochasticity to the model weights. In the light of this, we introduce - NoiseGrad - a stochastic, method-agnostic explanation-enhancing method that adds noise to the weights instead of the input data. We investigate our proposed method through various experiments including different datasets, explanation methods and network architectures and conclude that NoiseGrad (and its extension NoiseGrad++) with multiplicative Gaussian noise offers a clear advantage compared to SmoothGrad on several evaluation criteria. We connect our proposed method to Bayesian Learning and provide the user with a heuristic for choosing hyperparameters.
• Abstract（参考訳）: 帰属法は、複雑な学習機械の意思決定過程を説明するために現実世界のアプリケーションで使われる実践的な道具である。 SmoothGradと呼ばれる単純な手法は、勾配に基づく帰属法の視覚的拡散を効果的に抑制できることが示されており、研究者と実践者の間で確立されている。 しかし、研究でまだ解明されていないのは、モデル重みに確率性を導入することで、どのように説明が改善されるかである。 本研究では,入力データに代えて重み付けにノイズを付加する,確率的かつメソッド非依存な説明エンハンシング手法であるノイズグレードを提案する。 提案手法を,異なるデータセット,説明手法,ネットワークアーキテクチャを含む様々な実験により検討し,乗算ガウス雑音によるノイズGrad(および拡張ノイズGrad++)は,複数の評価基準においてSmoothGradと比較して明らかに有利であることを示した。 提案手法をベイズ学習に接続し,ハイパーパラメータを選択するためのヒューリスティックを提供する。

関連論文リスト

• Rethinking the Principle of Gradient Smooth Methods in Model Explanation [2.6819730646697972]
  グラディエント・スムーシング(Gradient Smoothing)は、勾配モデル記述法における雑音の低減に有効な手法である。 これらの知見に基づいて適応的な勾配平滑化手法AdaptGradを提案する。
  論文  参考訳（メタデータ） (2024-10-10T08:24:27Z)
• Blue noise for diffusion models [50.99852321110366]
  本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。 我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。 本手法を用いて,各種データセットの質的,定量的な評価を行う。
  論文  参考訳（メタデータ） (2024-02-07T14:59:25Z)
• Learning minimal representations of stochastic processes with variational autoencoders [52.99137594502433]
  プロセスを記述するのに必要なパラメータの最小セットを決定するために、教師なしの機械学習アプローチを導入する。 我々の手法はプロセスを記述する未知のパラメータの自律的な発見を可能にする。
  論文  参考訳（メタデータ） (2023-07-21T14:25:06Z)
• Bayesian Spline Learning for Equation Discovery of Nonlinear Dynamics with Quantified Uncertainty [8.815974147041048]
  本研究では,非線形(時空間)力学の擬似的支配方程式を,定量化された不確実性を伴うスパースノイズデータから同定する枠組みを開発した。 提案アルゴリズムは、正準常微分方程式と偏微分方程式によって制御される複数の非線形力学系に対して評価される。
  論文  参考訳（メタデータ） (2022-10-14T20:37:36Z)
• On the Theoretical Properties of Noise Correlation in Stochastic Optimization [6.970991851511823]
  PGDとアンチPGDに比較して,fPGDは探索能力を有することを示す。 これらの結果は、機械学習モデルにノイズを利用する新しい方法へとフィールドを開放する。
  論文  参考訳（メタデータ） (2022-09-19T16:32:22Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Deep Active Learning with Noise Stability [24.54974925491753]
  ラベルのないデータの不確実性推定は、アクティブな学習に不可欠である。 本稿では,雑音の安定性を利用して不確実性を推定する新しいアルゴリズムを提案する。 本手法はコンピュータビジョン,自然言語処理,構造データ解析など,様々なタスクに適用可能である。
  論文  参考訳（メタデータ） (2022-05-26T13:21:01Z)
• Robust Imitation Learning from Noisy Demonstrations [81.67837507534001]
  我々は,対称的損失を伴う分類リスクを最適化することにより,ロバストな模倣学習を実現することができることを示す。 擬似ラベルと協調学習を効果的に組み合わせた新しい模倣学習法を提案する。 連続制御ベンチマークによる実験結果から,本手法は最先端手法よりも頑健であることがわかった。
  論文  参考訳（メタデータ） (2020-10-20T10:41:37Z)
• Reintroducing Straight-Through Estimators as Principled Methods for Stochastic Binary Networks [85.94999581306827]
  2重みとアクティベーションを持つニューラルネットワークのトレーニングは、勾配の欠如と離散重みよりも最適化が難しいため、難しい問題である。 多くの実験結果が経験的ストレートスルー(ST)アプローチで達成されている。 同時に、ST法はベルヌーイ重みを持つバイナリネットワーク(SBN)モデルにおける推定子として真に導出することができる。
  論文  参考訳（メタデータ） (2020-06-11T23:58:18Z)
• There and Back Again: Revisiting Backpropagation Saliency Methods [87.40330595283969]
  正当性法は,各入力サンプルの重要度マップを作成することによって,モデルの予測を説明する。 このような手法の一般的なクラスは、信号のバックプロパゲートと結果の勾配の分析に基づいている。 本稿では,そのような手法を統一可能な単一のフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:58:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。