論文の概要: Rethinking Influence Functions of Neural Networks in the
Over-parameterized Regime
- arxiv url: http://arxiv.org/abs/2112.08297v1
- Date: Wed, 15 Dec 2021 17:44:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-16 13:09:47.629988
- Title: Rethinking Influence Functions of Neural Networks in the
Over-parameterized Regime
- Title（参考訳）: 過度パラメータ化レジームにおけるニューラルネットワークの影響関数の再考
- Authors: Rui Zhang, Shihua Zhang
- Abstract要約: インフルエンス関数(IF)は、ニューラルネットワークにおける1つのトレーニングポイントを除去する効果を測定するように設計されている。
ニューラルネットワークの平均二乗損失を正規化して訓練したニューラルネットワークのIFを計算するために,ニューラルタンジェントカーネル(NTK)理論を用いる。
- 参考スコア（独自算出の注目度）: 12.501827786462924
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding the black-box prediction for neural networks is challenging. To
achieve this, early studies have designed influence function (IF) to measure
the effect of removing a single training point on neural networks. However, the
classic implicit Hessian-vector product (IHVP) method for calculating IF is
fragile, and theoretical analysis of IF in the context of neural networks is
still lacking. To this end, we utilize the neural tangent kernel (NTK) theory
to calculate IF for the neural network trained with regularized mean-square
loss, and prove that the approximation error can be arbitrarily small when the
width is sufficiently large for two-layer ReLU networks. We analyze the error
bound for the classic IHVP method in the over-parameterized regime to
understand when and why it fails or not. In detail, our theoretical analysis
reveals that (1) the accuracy of IHVP depends on the regularization term, and
is pretty low under weak regularization; (2) the accuracy of IHVP has a
significant correlation with the probability density of corresponding training
points. We further borrow the theory from NTK to understand the IFs better,
including quantifying the complexity for influential samples and depicting the
variation of IFs during the training dynamics. Numerical experiments on
real-world data confirm our theoretical results and demonstrate our findings.
- Abstract（参考訳）: ニューラルネットワークのブラックボックス予測を理解することは難しい。
これを達成するために、初期の研究では、ニューラルネットワークに単一のトレーニングポイントを取り除く効果を測定するために影響関数(IF)を設計した。
しかし、IFを計算するための古典的暗黙的ヘッセンベクトル積 (IHVP) 法は脆弱であり、ニューラルネットワークの文脈におけるIFの理論解析はいまだに不足している。
この目的のために、ニューラルネットワークのNTK理論を用いて、正規化平均二乗損失で訓練されたニューラルネットワークのIFを計算し、二層ReLUネットワークの幅が十分に大きい場合、近似誤差が任意に小さいことを証明した。
過パラメータ化方式における古典的IHVP法の誤差を解析して、いつ、なぜ失敗したかを理解する。
具体的には,(1)ihvpの精度は正規化項に依存し,弱正規化下ではかなり低いこと,(2)ihvpの精度は対応するトレーニング点の確率密度と有意な相関があることを明らかにした。
さらに、NTK から IF の複雑さの定量化や、トレーニング力学における IF の変動の描写など、IF の理解を深めるために理論を取り入れた。
実世界データを用いた数値実験により, 理論結果を確認し, 実験結果を示す。
関連論文リスト
- SGD method for entropy error function with smoothing l0 regularization for neural networks [3.108634881604788]
エントロピー誤差関数はニューラルネットワークで広く使われている。
本稿では,フィードフォワードニューラルネットワークの規則化を円滑に行うエントロピー関数を提案する。
ニューラルネットワークを効果的に学習し、より正確な予測を可能にするため、私たちの仕事は新しくなっています。
論文 参考訳（メタデータ） (2024-05-28T19:54:26Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Learning Theory of Distribution Regression with Neural Networks [6.961253535504979]
完全連結ニューラルネットワーク(FNN)による近似理論と分布回帰の学習理論を確立する。
古典回帰法とは対照的に、分布回帰の入力変数は確率測度である。
論文 参考訳（メタデータ） (2023-07-07T09:49:11Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。
新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。
モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
論文 参考訳（メタデータ） (2022-01-14T06:42:42Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳（メタデータ） (2021-07-07T16:59:14Z) - FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。
FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
論文 参考訳（メタデータ） (2021-06-24T15:38:34Z) - Learning and Generalization in Overparameterized Normalizing Flows [13.074242275886977]
正規化フロー(NF)は教師なし学習において重要なモデルのクラスである。
既存のNFモデルの大部分を含むNFのクラスでは、過度なパラメトリゼーションがトレーニングを損なうという理論的および実証的な証拠を提供する。
ネットワークが過度にパラメータ化されている場合、最小限の仮定の下で、制約のないNFが妥当なデータ分布を効率的に学習できることを実証する。
論文 参考訳（メタデータ） (2021-06-19T17:11:42Z) - Persistent Homology Captures the Generalization of Neural Networks
Without A Validation Set [0.0]
本稿では,代数的トポロジー,特に永続的ホモロジーを用いたニューラルネットワークのトレーニングについて考察する。
ニューラルネットワークの単純な複雑な表現を用いて、ニューラルネットワーク学習プロセスにおけるPHダイアグラム距離の進化について検討する。
その結果,連続するニューラルネットワーク状態間のPHダイアグラム距離は,検証精度と相関していることがわかった。
論文 参考訳（メタデータ） (2021-05-31T09:17:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。