論文の概要: Theoretical Analysis of Robust Overfitting for Wide DNNs: An NTK Approach

• arxiv url: http://arxiv.org/abs/2310.06112v2
• Date: Sun, 4 Feb 2024 16:31:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 04:42:32.279608
• Title: Theoretical Analysis of Robust Overfitting for Wide DNNs: An NTK Approach
• Title（参考訳）: 広DNNにおけるロバストオーバーフィッティングの理論解析:NTKアプローチ
• Authors: Shaopeng Fu, Di Wang
• Abstract要約: Adversarial Training (AT)は、ディープニューラルネットワーク(DNN)の堅牢性を高めるための標準的手法である 我々は, ニューラル・タンジェント・カーネル(NTK)理論をATに非自明に拡張し, 線形化されたDNNによって逆向きに訓練されたワイドDNNを適切に近似できることを証明する。 正方形損失の場合、線形化DNNの閉形式ATダイナミクスが導出され、新たなAT退化現象が明らかになる。
• 参考スコア（独自算出の注目度）: 8.994430921243767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training (AT) is a canonical method for enhancing the robustness of deep neural networks (DNNs). However, recent studies empirically demonstrated that it suffers from robust overfitting, i.e., a long time AT can be detrimental to the robustness of DNNs. This paper presents a theoretical explanation of robust overfitting for DNNs. Specifically, we non-trivially extend the neural tangent kernel (NTK) theory to AT and prove that an adversarially trained wide DNN can be well approximated by a linearized DNN. Moreover, for squared loss, closed-form AT dynamics for the linearized DNN can be derived, which reveals a new AT degeneration phenomenon: a long-term AT will result in a wide DNN degenerates to that obtained without AT and thus cause robust overfitting. Based on our theoretical results, we further design a method namely Adv-NTK, the first AT algorithm for infinite-width DNNs. Experiments on real-world datasets show that Adv-NTK can help infinite-width DNNs enhance comparable robustness to that of their finite-width counterparts, which in turn justifies our theoretical findings. The code is available at https://github.com/fshp971/adv-ntk.
• Abstract（参考訳）: Adversarial Training (AT)は、ディープニューラルネットワーク(DNN)の堅牢性を高めるための標準的手法である。 しかし、近年の研究では、dnnのロバスト性に対して長い時間、すなわち、ロバストな過剰フィッティングに苦しむことが実証されている。 本稿では,DNNに対するロバストなオーバーフィッティングの理論的説明を行う。 具体的には、ニューラル・タンジェント・カーネル(NTK)理論をATに非自明に拡張し、逆向きに訓練された広DNNが線形化されたDNNで十分に近似できることを証明する。 さらに、正方形損失に対しては、線形化DNNの閉形式ATダイナミクスを導出することができ、これは新たなAT縮退現象を呈する: 長期ATは、ATのないものに広くDNNを縮退させ、堅牢なオーバーフィッティングをもたらす。 この理論結果に基づき, 無限幅dnnに対する最初のatアルゴリズムであるadv-ntk法を更に設計する。 実世界のデータセットでの実験では、Adv-NTKは無限幅のDNNが有限幅のDNNと同等の堅牢性を高めるのに役立つことが示されています。 コードはhttps://github.com/fshp971/adv-ntkで入手できる。

関連論文リスト

• Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
  我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。 完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。 予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-01-19T23:48:04Z)
• OccRob: Efficient SMT-Based Occlusion Robustness Verification of Deep Neural Networks [7.797299214812479]
  Occlusionは、ディープニューラルネットワーク(DNN)に対する一般的かつ容易に実現可能なセマンティック摂動である DNNを騙していくつかのセグメントを隠蔽することで入力画像を誤分類し、おそらく深刻なエラーを引き起こす可能性がある。 DNNの既存のロバスト性検証アプローチは、非意味的な摂動に重点を置いている。
  論文  参考訳（メタデータ） (2023-01-27T18:54:00Z)
• Quantum-Inspired Tensor Neural Networks for Option Pricing [4.3942901219301564]
  近年の深層学習の進歩により,高次元の問題を解くことで,次元性の呪い(COD)に対処することが可能になった。 このようなCODに対処するアプローチのサブセットは、高次元PDEの解決に繋がった。 この結果、数学的な金融から産業用途の制御まで、様々な現実世界の問題を解決するための扉が開けた。
  論文  参考訳（メタデータ） (2022-12-28T19:39:55Z)
• Quantum-Inspired Tensor Neural Networks for Partial Differential Equations [5.963563752404561]
  ディープラーニング手法は時間と記憶の訓練によって制約される。これらの欠点に対処するため、ニューラルネットワーク(TNN)を実装している。 我々は、TNNが古典的ニューラルネットワーク(DNN)と同等の精度を保ちながら、重要なパラメータの節約を提供することを示した。
  論文  参考訳（メタデータ） (2022-08-03T17:41:11Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Fast Axiomatic Attribution for Neural Networks [44.527672563424545]
  最近のアプローチには、望ましくない機能への依存を減らすために、トレーニングプロセスにディープニューラルネットワーク(DNN)の機能帰属に関する先行が含まれている。 本稿では, 1 つの前方/後方パスのみを用いて, 公理的特徴属性を計算できる DNN の高効率な公理的帰属性について考察する。 様々な実験により、$mathcalX$-DNNsの利点が示され、通常のDNNに対する最先端の一般的な帰属法を破り、帰属前の訓練に役立てられる。
  論文  参考訳（メタデータ） (2021-11-15T10:51:01Z)
• Exploring Architectural Ingredients of Adversarially Robust Deep Neural Networks [98.21130211336964]
  ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。 本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2021-10-07T23:13:33Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。