論文の概要: Rethinking Adversarial Training with Neural Tangent Kernel

• arxiv url: http://arxiv.org/abs/2312.02236v1
• Date: Mon, 4 Dec 2023 08:06:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 18:16:26.315540
• Title: Rethinking Adversarial Training with Neural Tangent Kernel
• Title（参考訳）: ニューラルタンジェントカーネルによる逆行訓練の再考
• Authors: Guanlin Li, Han Qiu, Shangwei Guo, Jiwei Li, Tianwei Zhang
• Abstract要約: 逆行訓練(AT)は、ディープラーニングのセキュリティにおいて重要なトピックである。 ニューラルタンジェントカーネル(NTK)に基づくニューラルネットワークトレーニングダイナミクスの最近の研究は、ATを再認識し、その特性を分析することができる。
• 参考スコア（独自算出の注目度）: 34.23530274871618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial training (AT) is an important and attractive topic in deep learning security, exhibiting mysteries and odd properties. Recent studies of neural network training dynamics based on Neural Tangent Kernel (NTK) make it possible to reacquaint AT and deeply analyze its properties. In this paper, we perform an in-depth investigation of AT process and properties with NTK, such as NTK evolution. We uncover three new findings that are missed in previous works. First, we disclose the impact of data normalization on AT and the importance of unbiased estimators in batch normalization layers. Second, we experimentally explore the kernel dynamics and propose more time-saving AT methods. Third, we study the spectrum feature inside the kernel to address the catastrophic overfitting problem. To the best of our knowledge, it is the first work leveraging the observations of kernel dynamics to improve existing AT methods.
• Abstract（参考訳）: 敵対的訓練(AT)は、深層学習のセキュリティにおいて重要かつ魅力的なトピックであり、謎と奇妙な性質を示す。 ニューラルタンジェントカーネル(NTK)に基づくニューラルネットワークトレーニングダイナミクスの最近の研究は、ATを再認識し、その特性を深く分析することができる。 本稿では,NTKの進化など,NTKによるATプロセスと特性の詳細な調査を行う。 我々は、以前の研究で見落としていた3つの新しい発見を明らかにする。 まず,ATにおけるデータ正規化の影響とバッチ正規化層における非バイアス推定器の重要性を明らかにする。 第2に,カーネルダイナミクスを実験的に検討し,メソッドの時間節約について提案する。 第3に,破壊的オーバーフィッティング問題に対処するため,カーネル内のスペクトル特性について検討する。 我々の知る限りでは、既存のATメソッドを改善するためにカーネルダイナミクスの観察を利用する最初の研究である。

関連論文リスト

• A Unified Kernel for Neural Network Learning [4.0759204898334715]
  本稿では、勾配降下を伴うニューラルネットワークの学習力学を特徴付けるUnified Neural Kernel(UNK)を提案する。 UNK は NNGP と NTK の両方の制限特性を維持し、有限学習ステップで NTK に似た振る舞いを示す。 また、UNKカーネルの均一な厳密性と学習収束性を理論的に特徴づける。
  論文  参考訳（メタデータ） (2024-03-26T07:55:45Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Evolution of Neural Tangent Kernels under Benign and Adversarial Training [109.07737733329019]
  実験的なニューラル・タンジェント・カーネル(NTK)の進化を,標準および対角訓練下で研究する。 敵対的トレーニングでは、経験的NTKは標準トレーニングとは異なるカーネル(および特徴マップ)に急速に収束する。 この新しいカーネルは、その上に非ロマンストレーニングが行われたとしても、敵の堅牢性を提供する。
  論文  参考訳（メタデータ） (2022-10-21T15:21:15Z)
• What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness? [0.0]
  ニューラルネットワークとカーネルメソッドを接続する最近の理論の進歩によって得られた分析ツールを用いて、トレーニングされたニューラルネットワークの逆例について研究する。 NTKがいかにして、トレーニングフリーのやり方で敵の例を生成できるかを示し、遅延のやり方で、有限幅のニューラルネットを騙すために移行することを実証する。
  論文  参考訳（メタデータ） (2022-10-11T16:11:48Z)
• TT-NF: Tensor Train Neural Fields [88.49847274083365]
  そこで本研究では,Train Neural Fields (TT-NF) と呼ばれる新しい低ランク表現を導入した。 ダウンストリームタスク品質指標に対する低ランク圧縮の影響を解析する。
  論文  参考訳（メタデータ） (2022-09-30T15:17:39Z)
• Neural Tangent Kernel Analysis of Deep Narrow Neural Networks [11.623483126242478]
  無限に深いが狭いニューラルネットワークの最初のトレーニング可能性保証を示す。 次に、解析を無限深部畳み込みニューラルネットワーク(CNN)に拡張し、簡単な実験を行う。
  論文  参考訳（メタデータ） (2022-02-07T07:27:02Z)
• The Recurrent Neural Tangent Kernel [11.591070761599328]
  本稿では、過度にパラメータ化されたRNNの動作に関する新たな洞察を提供するRNTK(Recurrent Neural Tangent Kernel)を紹介し、研究する。 56個の実世界のデータ実験により、RNTKは他のカーネルよりも大幅に性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-06-18T02:59:21Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。