論文の概要: What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness?
- arxiv url: http://arxiv.org/abs/2210.05577v1
- Date: Tue, 11 Oct 2022 16:11:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 17:50:41.776264
- Title: What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness?
- Title（参考訳）: ニューラル・タンジェント・カーネルは 敵の強固さについて 何がわかる?
- Authors: Nikolaos Tsilivis, Julia Kempe
- Abstract要約: ニューラルネットワークとカーネルメソッドを接続する最近の理論の進歩によって得られた分析ツールを用いて、トレーニングされたニューラルネットワークの逆例について研究する。
NTKがいかにして、トレーニングフリーのやり方で敵の例を生成できるかを示し、遅延のやり方で、有限幅のニューラルネットを騙すために移行することを実証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The adversarial vulnerability of neural nets, and subsequent techniques to
create robust models have attracted significant attention; yet we still lack a
full understanding of this phenomenon. Here, we study adversarial examples of
trained neural networks through analytical tools afforded by recent theory
advances connecting neural networks and kernel methods, namely the Neural
Tangent Kernel (NTK), following a growing body of work that leverages the NTK
approximation to successfully analyze important deep learning phenomena and
design algorithms for new applications. We show how NTKs allow to generate
adversarial examples in a ``training-free'' fashion, and demonstrate that they
transfer to fool their finite-width neural net counterparts in the ``lazy''
regime. We leverage this connection to provide an alternative view on robust
and non-robust features, which have been suggested to underlie the adversarial
brittleness of neural nets. Specifically, we define and study features induced
by the eigendecomposition of the kernel to better understand the role of robust
and non-robust features, the reliance on both for standard classification and
the robustness-accuracy trade-off. We find that such features are surprisingly
consistent across architectures, and that robust features tend to correspond to
the largest eigenvalues of the model, and thus are learned early during
training. Our framework allows us to identify and visualize non-robust yet
useful features. Finally, we shed light on the robustness mechanism underlying
adversarial training of neural nets used in practice: quantifying the evolution
of the associated empirical NTK, we demonstrate that its dynamics falls much
earlier into the ``lazy'' regime and manifests a much stronger form of the well
known bias to prioritize learning features within the top eigenspaces of the
kernel, compared to standard training.
- Abstract（参考訳）: ニューラルネットワークの敵対的脆弱性や、それに続く堅牢なモデル作成のテクニックは、大きな注目を集めていますが、この現象の完全な理解はいまだに欠如しています。
本稿では,近年のニューラル・ネットワークとカーネル・メソッド,すなわちニューラル・タンジェント・カーネル(ntk)をつなぐ解析手法を用いて,ntk近似を応用し,重要な深層学習現象を解析し,新たな応用のためのアルゴリズムを考案した。
NTKが「トレーニングフリー」なやり方で敵の例を生成できることを示すとともに、「ラジ」方式で有限幅ニューラルネットを騙すために移行することを示す。
我々はこの接続を利用して、ニューラルネットワークの対向的な脆さを過小評価するために、頑健で非破壊的な特徴の代替的なビューを提供する。
具体的には、カーネルの固有分解によって引き起こされる特徴を定義し、ロバストな特徴と非ロバストな特徴の役割、標準分類とロバストネス-精度トレードオフの両方への依存をよりよく理解するために研究する。
このような機能はアーキテクチャ間で驚くほど一貫性があり、堅牢な機能はモデルの最大の固有値に対応しがちであるため、トレーニングの早い段階で学習される。
当社のフレームワークでは,非ロバストで有用な機能を特定し,視覚化することが可能です。
最後に、我々は、実際に使用されるニューラルネットワークの敵対的トレーニングの基礎となるロバスト性メカニズムについて光を当てた: 関連する経験的NTKの進化を定量化し、そのダイナミクスが 'lazy' 体制にずっと早く該当し、カーネルのトップ固有空間における学習特徴の優先順位付けによく知られたバイアスのより強力な形を示すことを示す。
関連論文リスト
- Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。
本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
論文 参考訳（メタデータ） (2024-10-11T03:59:49Z) - Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks [7.956678963695681]
本稿では,Deep Sparse Coding(DSC)モデルについて紹介する。
スパース特徴を抽出する能力において,CNNの収束率を導出する。
スパースコーディングとCNNの強いつながりにインスパイアされた私たちは、ニューラルネットワークがよりスパースな機能を学ぶように促すトレーニング戦略を探求する。
論文 参考訳（メタデータ） (2024-08-10T12:43:55Z) - Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。
CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。
NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
論文 参考訳（メタデータ） (2023-10-28T06:41:47Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-02-11T21:07:30Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳（メタデータ） (2023-01-01T02:11:39Z) - NCTV: Neural Clamping Toolkit and Visualization for Neural Network
Calibration [66.22668336495175]
ニューラルネットワークのキャリブレーションに対する考慮の欠如は、人間から信頼を得ることはないだろう。
我々はNeural Clamping Toolkitを紹介した。これは開発者が最先端のモデルに依存しないキャリブレーションモデルを採用するのを支援するために設計された最初のオープンソースフレームワークである。
論文 参考訳（メタデータ） (2022-11-29T15:03:05Z) - Standalone Neural ODEs with Sensitivity Analysis [5.565364597145569]
本稿では,完全深部ニューラルネットワークを記述可能な連続深部ニューラルネットワークモデルを提案する。
神経感受性問題の一般的な定式化を行い,NCGトレーニングでどのように使用されるかを示す。
我々の新しい定式化がResNetモデルと比較してロバスト性や性能の向上につながることを示す。
論文 参考訳（メタデータ） (2022-05-27T12:16:53Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Object-based attention for spatio-temporal reasoning: Outperforming
neuro-symbolic models with flexible distributed architectures [15.946511512356878]
適切な帰納的バイアスを持つ完全学習型ニューラルネットワークは,従来のニューラルシンボリックモデルよりもかなり優れた性能を示す。
我々のモデルは、自己意識と学習された「ソフト」オブジェクト中心表現の両方を批判的に利用します。
論文 参考訳（メタデータ） (2020-12-15T18:57:40Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。