論文の概要: Evolution of Neural Tangent Kernels under Benign and Adversarial Training

• arxiv url: http://arxiv.org/abs/2210.12030v1
• Date: Fri, 21 Oct 2022 15:21:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 13:17:01.051018
• Title: Evolution of Neural Tangent Kernels under Benign and Adversarial Training
• Title（参考訳）: 良性および敵対的訓練下での神経接核の進化
• Authors: Noel Loo, Ramin Hasani, Alexander Amini, Daniela Rus
• Abstract要約: 実験的なニューラル・タンジェント・カーネル(NTK)の進化を,標準および対角訓練下で研究する。 敵対的トレーニングでは、経験的NTKは標準トレーニングとは異なるカーネル(および特徴マップ)に急速に収束する。 この新しいカーネルは、その上に非ロマンストレーニングが行われたとしても、敵の堅牢性を提供する。
• 参考スコア（独自算出の注目度）: 109.07737733329019
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Two key challenges facing modern deep learning are mitigating deep networks' vulnerability to adversarial attacks and understanding deep learning's generalization capabilities. Towards the first issue, many defense strategies have been developed, with the most common being Adversarial Training (AT). Towards the second challenge, one of the dominant theories that has emerged is the Neural Tangent Kernel (NTK) -- a characterization of neural network behavior in the infinite-width limit. In this limit, the kernel is frozen, and the underlying feature map is fixed. In finite widths, however, there is evidence that feature learning happens at the earlier stages of the training (kernel learning) before a second phase where the kernel remains fixed (lazy training). While prior work has aimed at studying adversarial vulnerability through the lens of the frozen infinite-width NTK, there is no work that studies the adversarial robustness of the empirical/finite NTK during training. In this work, we perform an empirical study of the evolution of the empirical NTK under standard and adversarial training, aiming to disambiguate the effect of adversarial training on kernel learning and lazy training. We find under adversarial training, the empirical NTK rapidly converges to a different kernel (and feature map) than standard training. This new kernel provides adversarial robustness, even when non-robust training is performed on top of it. Furthermore, we find that adversarial training on top of a fixed kernel can yield a classifier with $76.1\%$ robust accuracy under PGD attacks with $\varepsilon = 4/255$ on CIFAR-10.
• Abstract（参考訳）: 現代のディープラーニングに直面する2つの重要な課題は、敵の攻撃に対するディープネットワークの脆弱性の緩和と、ディープラーニングの一般化能力の理解である。 第1号に向けて、多くの防衛戦略が開発され、最も一般的なのは敵訓練(AT)である。 第2の課題として、神経接核(neural tangent kernel, ntk)は無限幅限界におけるニューラルネットワークの挙動を特徴づける理論である。 この制限では、カーネルは凍結され、基盤となる機能マップは固定される。 しかしながら、有限幅では、カーネルが固定された第2フェーズの前に、機能学習がトレーニングの初期段階(カーネル学習)で起こるという証拠がある(ラジートレーニング)。 従来の研究は、凍った無限幅NTKのレンズを通して敵の脆弱性を研究することを目的としていたが、訓練中に経験的/有限NTKの敵の堅牢性を研究する研究は存在しない。 本研究は,標準的および敵対的訓練における経験的ntkの進化に関する実証研究を行い,攻撃的訓練がカーネル学習と怠け者訓練に与える影響を曖昧にすることを目的とした。 敵対的トレーニングでは、経験的NTKは標準トレーニングとは異なるカーネル(および特徴マップ)に急速に収束する。 この新しいカーネルは、その上に非ロバストトレーニングを実行しても、逆の堅牢性を提供します。 さらに、固定カーネル上での敵対的トレーニングは、cifar-10上で$\varepsilon = 4/255$のpgd攻撃において、76.1\%$ロバストな精度を持つ分類器を得ることができる。

関連論文リスト

• Infinite Width Limits of Self Supervised Neural Networks [6.178817969919849]
  NTKと自己教師型学習のギャップを埋め、Barlow Twinsの損失下で訓練された2層ニューラルネットワークに焦点を当てる。 ネットワークの幅が無限大に近づくと、バーロウ・ツインズのNTKは確かに一定となる。
  論文  参考訳（メタデータ） (2024-11-17T21:13:57Z)
• Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
  ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:41:47Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness? [0.0]
  ニューラルネットワークとカーネルメソッドを接続する最近の理論の進歩によって得られた分析ツールを用いて、トレーニングされたニューラルネットワークの逆例について研究する。 NTKがいかにして、トレーニングフリーのやり方で敵の例を生成できるかを示し、遅延のやり方で、有限幅のニューラルネットを騙すために移行することを実証する。
  論文  参考訳（メタデータ） (2022-10-11T16:11:48Z)
• Limitations of the NTK for Understanding Generalization in Deep Learning [13.44676002603497]
  我々はNTKをスケーリング法則のレンズを通して研究し、ニューラルネットワークの一般化の重要な側面を説明するには不十分であることを示した。 実験的なNTKを一定数のサンプルで事前トレーニングしても、カーネルのスケーリングはニューラルネットワークのスケーリングに追いつかなくなる。
  論文  参考訳（メタデータ） (2022-06-20T21:23:28Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。