論文の概要: Fast Axiomatic Attribution for Neural Networks

• arxiv url: http://arxiv.org/abs/2111.07668v1
• Date: Mon, 15 Nov 2021 10:51:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-16 14:32:34.311812
• Title: Fast Axiomatic Attribution for Neural Networks
• Title（参考訳）: ニューラルネットワークの高速軸方向属性
• Authors: Robin Hesse, Simone Schaub-Meyer, Stefan Roth
• Abstract要約: 最近のアプローチには、望ましくない機能への依存を減らすために、トレーニングプロセスにディープニューラルネットワーク(DNN)の機能帰属に関する先行が含まれている。 本稿では, 1 つの前方/後方パスのみを用いて, 公理的特徴属性を計算できる DNN の高効率な公理的帰属性について考察する。 様々な実験により、$mathcalX$-DNNsの利点が示され、通常のDNNに対する最先端の一般的な帰属法を破り、帰属前の訓練に役立てられる。
• 参考スコア（独自算出の注目度）: 44.527672563424545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mitigating the dependence on spurious correlations present in the training dataset is a quickly emerging and important topic of deep learning. Recent approaches include priors on the feature attribution of a deep neural network (DNN) into the training process to reduce the dependence on unwanted features. However, until now one needed to trade off high-quality attributions, satisfying desirable axioms, against the time required to compute them. This in turn either led to long training times or ineffective attribution priors. In this work, we break this trade-off by considering a special class of efficiently axiomatically attributable DNNs for which an axiomatic feature attribution can be computed with only a single forward/backward pass. We formally prove that nonnegatively homogeneous DNNs, here termed $\mathcal{X}$-DNNs, are efficiently axiomatically attributable and show that they can be effortlessly constructed from a wide range of regular DNNs by simply removing the bias term of each layer. Various experiments demonstrate the advantages of $\mathcal{X}$-DNNs, beating state-of-the-art generic attribution methods on regular DNNs for training with attribution priors.
• Abstract（参考訳）: トレーニングデータセットに存在するスプリアス相関への依存の緩和は、ディープラーニングの迅速かつ重要なトピックである。 最近のアプローチでは、不必要な特徴への依存を減らすために、トレーニングプロセスにディープニューラルネットワーク(dnn)の機能帰属を優先する。 しかし、それまでは、それらの計算に要する時間に対して、望ましい公理を満たす高品質な帰属をトレードオフする必要があった。 この結果、長い訓練時間か非効果的な帰属先へと導かれた。 本研究では,1つの前方/後方パスのみで公理的特徴属性を計算できるDNNを効率よく公理的に帰属させる特別なクラスを考えることで,このトレードオフを解消する。 非負に同質なDNN(ここでは$\mathcal{X}$-DNN)が効率よく公理的に帰属可能であることを正式に証明し、各層のバイアス項を単純に除去することで、幅広い正規DNNから強制的に構築可能であることを示す。 様々な実験により、$\mathcal{X}$-DNNsの利点が示され、通常のDNNに対する最先端の一般的な帰属法を破り、帰属前の訓練を行う。

関連論文リスト

• Theoretical Analysis of Robust Overfitting for Wide DNNs: An NTK Approach [8.994430921243767]
  Adversarial Training (AT)は、ディープニューラルネットワーク(DNN)の堅牢性を高めるための標準的手法である 我々は, ニューラル・タンジェント・カーネル(NTK)理論をATに非自明に拡張し, 線形化されたDNNによって逆向きに訓練されたワイドDNNを適切に近似できることを証明する。 正方形損失の場合、線形化DNNの閉形式ATダイナミクスが導出され、新たなAT退化現象が明らかになる。
  論文  参考訳（メタデータ） (2023-10-09T19:40:25Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Taming Reachability Analysis of DNN-Controlled Systems via Abstraction-Based Training [14.787056022080625]
  本稿では, 到達可能性解析における過剰近似DNNの欠如を回避するための, 抽象的アプローチを提案する。 我々は、実数をトレーニングの間隔に抽象化する抽象層を挿入することで、従来のDNNを拡張した。 我々は、DNN制御システムに対する最初のブラックボックス到達可能性分析手法を考案し、訓練されたDNNは抽象状態に対するアクションのためのブラックボックスオラクルとしてのみクエリされる。
  論文  参考訳（メタデータ） (2022-11-21T00:11:50Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• Understanding and Improving Early Stopping for Learning with Noisy Labels [63.0730063791198]
  ディープニューラルネットワーク(DNN)の記憶効果は、多くの最先端のラベルノイズ学習法において重要な役割を担っている。 現在の手法は一般的にDNN全体を考慮して早期停止点を決定する。 我々は、DNNを異なる部分に分割し、この問題に対処するよう徐々に訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-30T07:18:00Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Implicit Bias of Linear RNNs [27.41989861342218]
  リニアリカレントニューラルネットワーク(RNN)は、長期記憶を必要とするタスクではうまく機能しない。 本稿では,線形RNNの特殊な場合において,この性質を厳密に説明する。 近年開発されたカーネル構造解析を用いて,線形RNNは特定の重み付き1次元畳み込みネットワークと機能的に等価であることを示す。
  論文  参考訳（メタデータ） (2021-01-19T19:39:28Z)
• Fractional Deep Neural Network via Constrained Optimization [0.0]
  本稿では,ディープニューラルネットワーク(DNN)のための新しいアルゴリズムフレームワークを提案する。 Fractional-DNNは、時間非線形常微分方程式(ODE)における分数の時間差分化と見なすことができる。
  論文  参考訳（メタデータ） (2020-04-01T21:58:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。