論文の概要: Beyond the Universal Law of Robustness: Sharper Laws for Random Features and Neural Tangent Kernels

• arxiv url: http://arxiv.org/abs/2302.01629v1
• Date: Fri, 3 Feb 2023 09:58:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-06 16:45:21.351782
• Title: Beyond the Universal Law of Robustness: Sharper Laws for Random Features and Neural Tangent Kernels
• Title（参考訳）: ロバストネスの普遍法則を超えて:ランダム特徴とニューラルタンジェントカーネルのシャーパー法則
• Authors: Simone Bombari, Shayan Kiyani, Marco Mondelli
• Abstract要約: 本稿では、ランダム特徴とニューラル・タンジェント・カーネル(NTK)の2つの設定における経験的リスク最小化に焦点を当てた。 ランダムな特徴に対して、モデルが任意のパラメータ化の度合いに対してロバストであることは、普遍的ロバスト性法則から生じる必要条件が満たされている場合でも証明する。 本研究の結果は, 合成および標準原型データセットの数値的証拠によって裏付けられている。
• 参考スコア（独自算出の注目度）: 14.186776881154127
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning models are vulnerable to adversarial perturbations, and a thought-provoking paper by Bubeck and Sellke has analyzed this phenomenon through the lens of over-parameterization: interpolating smoothly the data requires significantly more parameters than simply memorizing it. However, this "universal" law provides only a necessary condition for robustness, and it is unable to discriminate between models. In this paper, we address these gaps by focusing on empirical risk minimization in two prototypical settings, namely, random features and the neural tangent kernel (NTK). We prove that, for random features, the model is not robust for any degree of over-parameterization, even when the necessary condition coming from the universal law of robustness is satisfied. In contrast, for even activations, the NTK model meets the universal lower bound, and it is robust as soon as the necessary condition on over-parameterization is fulfilled. This also addresses a conjecture in prior work by Bubeck, Li and Nagaraj. Our analysis decouples the effect of the kernel of the model from an "interaction matrix", which describes the interaction with the test data and captures the effect of the activation. Our theoretical results are corroborated by numerical evidence on both synthetic and standard datasets (MNIST, CIFAR-10).
• Abstract（参考訳）: 機械学習モデルは、逆の摂動に対して脆弱であり、bubeck and sellke氏の示唆する論文では、過剰パラメータ化のレンズを通してこの現象を分析している。 しかし、この「普遍的」法則はロバスト性に必要な条件のみを提供し、モデル間で区別できない。 本稿では,ランダムな特徴とニューラル・タンジェント・カーネル(NTK)という2つの原始的設定における経験的リスク最小化に着目し,これらのギャップに対処する。 ランダムな特徴に対して、モデルが任意の過度パラメータ化の度合いに対してロバストであることは、普遍的なロバスト性法則から生じる必要条件が満たされている場合でも証明する。 対照的に、活性化についても、NTKモデルは普遍的な下界に合致し、過パラメータ化に必要な条件が満たされると、すぐに堅牢となる。 これはまた、bubeck、li、nagarajによる先行研究における予想にも対処している。 この分析は、テストデータとの相互作用を記述する「相互作用行列」からモデルのカーネルの効果を分離し、アクティベーションの効果をキャプチャする。 我々の理論結果は、合成データセットと標準データセット(MNIST, CIFAR-10)の数値的証拠によって裏付けられている。

関連論文リスト

• SPIN: SE(3)-Invariant Physics Informed Network for Binding Affinity Prediction [3.406882192023597]
  タンパク質-リガンド結合親和性の正確な予測は、薬物開発に不可欠である。 伝統的な手法は、しばしば複合体の空間情報を正確にモデル化するのに失敗する。 この課題に適用可能な様々な帰納バイアスを組み込んだモデルSPINを提案する。
  論文  参考訳（メタデータ） (2024-07-10T08:40:07Z)
• Learning a Sparse Neural Network using IHT [1.124958340749622]
  本稿では、高度なスパース最適化の分野、特に非線形微分可能関数に対処する分野の成果に依拠する。 NNのトレーニングの計算能力が増大するにつれて、モデルがより多くのパラメータで複雑になる。 本稿では,ニューラルネットワーク(NN)トレーニングの領域において,そのような収束の理論的前提が適用可能であるかを検討することを目的とする。
  論文  参考訳（メタデータ） (2024-04-29T04:10:22Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• The Surprising Harmfulness of Benign Overfitting for Adversarial Robustness [13.120373493503772]
  根拠的真理そのものが敵の例に対して堅牢であるとしても、標準のアウト・オブ・サンプルのリスク目標の観点から見れば、明らかに過適合なモデルは良性である、という驚くべき結果が証明されます。 我々の発見は、実際に観察されたパズリング現象に関する理論的洞察を与え、真の標的関数(例えば、人間)は副次的攻撃に対して堅牢であり、一方、当初過適合のニューラルネットワークは、堅牢でないモデルに導かれる。
  論文  参考訳（メタデータ） (2024-01-19T15:40:46Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
  ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。 この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
  論文  参考訳（メタデータ） (2023-04-25T07:42:06Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Neural Abstractions [72.42530499990028]
  本稿では,ニューラルネットワークを用いた非線形力学モデルの安全性検証手法を提案する。 提案手法は,既存のベンチマーク非線形モデルにおいて,成熟度の高いFlow*と同等に動作することを示す。
  論文  参考訳（メタデータ） (2023-01-27T12:38:09Z)
• Robust Neural Posterior Estimation and Statistical Model Criticism [1.5749416770494706]
  モデラーはシミュレータを真のデータ生成プロセスの理想主義的な表現として扱わなければならない。 本研究では,シミュレーションモデルにおけるブラックボックスパラメータ推論を可能にするアルゴリズムのクラスであるNPEを再検討する。 一方,NPEを経時的に用いた場合,不特定性の存在は信頼できない推論につながることが判明した。
  論文  参考訳（メタデータ） (2022-10-12T20:06:55Z)
• Causally Estimating the Sensitivity of Neural NLP Models to Spurious Features [19.770032728328733]
  NLPにおける異なる形態の突発性特徴の効果を評価・比較する手段はない。 我々は,CENTと呼ばれる因果推定値を用いて,刺激性特徴に対するモデル感度を定量化する。 感度と頑健性の間に統計的に有意な逆相関が見られ、仮説を実証的に支持する。
  論文  参考訳（メタデータ） (2021-10-14T05:26:08Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。