論文の概要: Adversarially robust generalization theory via Jacobian regularization for deep neural networks
- arxiv url: http://arxiv.org/abs/2412.12449v1
- Date: Tue, 17 Dec 2024 01:26:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-18 14:01:39.060786
- Title: Adversarially robust generalization theory via Jacobian regularization for deep neural networks
- Title（参考訳）: ディープニューラルネットワークに対するヤコビ正規化による逆ロバスト一般化理論
- Authors: Dongya Wu, Xin Li,
- Abstract要約: ヤコビアン正則化は, $ell_2$ あるいは $ell_1$ の逆トレーニングと密接に関連していることを示す。
我々の理論的結果は、ヤコビアンのノルムが標準とロバストな一般化の両方に関係していることを示している。
この研究は、ジャコビアン正則化を通じて、理論的および経験的な理解を逆向きに堅牢な一般化に促進する。
- 参考スコア（独自算出の注目度）: 4.983567824636051
- License:
- Abstract: Powerful deep neural networks are vulnerable to adversarial attacks. To obtain adversarially robust models, researchers have separately developed adversarial training and Jacobian regularization techniques. There are abundant theoretical and empirical studies for adversarial training, but theoretical foundations for Jacobian regularization are still lacking. In this study, we show that Jacobian regularization is closely related to adversarial training in that $\ell_{2}$ or $\ell_{1}$ Jacobian regularized loss serves as an approximate upper bound on the adversarially robust loss under $\ell_{2}$ or $\ell_{\infty}$ adversarial attack respectively. Further, we establish the robust generalization gap for Jacobian regularized risk minimizer via bounding the Rademacher complexity of both the standard loss function class and Jacobian regularization function class. Our theoretical results indicate that the norms of Jacobian are related to both standard and robust generalization. We also perform experiments on MNIST data classification to demonstrate that Jacobian regularized risk minimization indeed serves as a surrogate for adversarially robust risk minimization, and that reducing the norms of Jacobian can improve both standard and robust generalization. This study promotes both theoretical and empirical understandings to adversarially robust generalization via Jacobian regularization.
- Abstract（参考訳）: 強力なディープニューラルネットワークは敵の攻撃に弱い。
逆向きの頑健なモデルを得るため、研究者は逆行訓練とヤコビ正規化技法を別々に開発した。
敵の訓練には理論的および経験的な研究が豊富にあるが、ヤコビアン正則化の理論的基礎はいまだに欠落している。
本研究では, ヤコビ正規化は, $\ell_{2}$ あるいは $\ell_{1}$ の正則化損失が, $\ell_{2}$ または $\ell_{\infty} の逆正則化損失に対する近似上界であることを示す。
さらに、標準損失関数クラスとヤコビ正規化関数クラスの両方のラデマッハ複雑性を有界化することにより、ヤコビ正規化リスク最小化器の堅牢な一般化ギャップを確立する。
我々の理論的結果は、ヤコビアンのノルムが標準とロバストな一般化の両方に関係していることを示している。
我々はまた、MNISTデータ分類の実験を行い、ヤコビアン正規化リスク最小化が逆に頑健なリスク最小化の代役となり、ヤコビアンのノルムの低減が標準およびロバストな一般化の両方を改善することを実証した。
この研究は、ジャコビアン正則化を通じて、理論的および経験的な理解を逆向きに堅牢な一般化に促進する。
関連論文リスト
- Of Dice and Games: A Theory of Generalized Boosting [61.752303337418475]
我々は、コスト感受性と多目的損失の両方を組み込むために、ブースティングの有名な理論を拡張した。
我々は、コスト感受性と多目的強化の包括的理論を開発し、弱い学習保証の分類を提供する。
我々の特徴付けは、昇降の幾何学的解釈に依存しており、コスト感受性と多目的損失の間の驚くべき等価性を明らかにしている。
論文 参考訳（メタデータ） (2024-12-11T01:38:32Z) - On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds [11.30047438005394]
本研究では, 正規化ノルム $lVert cdot rVert$ を二項分類のための高次元対角訓練の文脈で選択する方法について検討する。
我々は、摂動サイズと$lVert cdot rVert$の最適選択との関係を定量的に評価し、データ不足状態において、摂動が大きくなるにつれて、正則化のタイプが敵の訓練にとってますます重要になっていることを確認する。
論文 参考訳（メタデータ） (2024-10-21T14:53:12Z) - On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。
本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。
この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
論文 参考訳（メタデータ） (2024-03-11T16:23:42Z) - PAC-Bayesian Spectrally-Normalized Bounds for Adversarially Robust
Generalization [25.272738030198862]
ディープニューラルネットワーク(DNN)は敵の攻撃に対して脆弱である。
敵の攻撃に対する防衛アルゴリズムを確立するには 敵の強固な一般化が不可欠だ
本稿では、PAC-Bayesアプローチに基づくノルムに基づく摂動の複雑さに焦点を当てる。
論文 参考訳（メタデータ） (2023-10-09T22:20:27Z) - Generalizing and Improving Jacobian and Hessian Regularization [1.926971915834451]
対象行列をゼロから効率的な行列ベクトル積を持つ任意の行列に拡張することで、これまでの取り組みを一般化する。
提案されたパラダイムは、正方形ヤコビ行列とヘッセン行列に対称性や対角性を強制する新しい正規化項を構築することを可能にする。
本稿では、Laczosに基づくスペクトルノルム最小化を導入し、この問題に対処する。
論文 参考訳（メタデータ） (2022-12-01T07:01:59Z) - On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。
我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文 参考訳（メタデータ） (2022-10-12T12:49:20Z) - Jacobian Regularization for Mitigating Universal Adversarial
Perturbations [2.9465623430708905]
UAP(Universal Adversarial Perturbations)は、大規模なデータセットでニューラルネットワークを騙すことができる入力摂動である。
データ依存ヤコビアンのノルムに基づくUPAの有効性の上限を導出する。
論文 参考訳（メタデータ） (2021-04-21T11:00:21Z) - Robustness, Privacy, and Generalization of Adversarial Training [84.38148845727446]
本稿では, 対人訓練におけるプライバシ・ロバスト性トレードオフと一般化・ロバスト性トレードオフの確立と定量化を行う。
我々は,差分プライバシの大きさが強固な強度と正の相関を持つ場合,敵対的トレーニングは$(varepsilon,delta)$-differentially privateであることが示される。
我々の一般化境界は、ディープラーニングにおいて大きなパラメータサイズに明示的に依存していない。
論文 参考訳（メタデータ） (2020-12-25T13:35:02Z) - Posterior Differential Regularization with f-divergence for Improving
Model Robustness [95.05725916287376]
クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。
後微分正則化を$f$-divergencesの族に一般化する。
実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
論文 参考訳（メタデータ） (2020-10-23T19:58:01Z) - In Search of Robust Measures of Generalization [79.75709926309703]
我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。
経験的に評価すると、これらの境界の大部分は数値的に空白である。
我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
論文 参考訳（メタデータ） (2020-10-22T17:54:25Z) - On the generalization of bayesian deep nets for multi-class
classification [27.39403411896995]
我々は,Log-Sobolevの不等式の縮約性を利用して,ベイズ深度ネットの新たな一般化を提案する。
これらの不等式を使用すると、一般化境界に損失次数ノルム項が加わり、これは直感的にはモデルの複雑性の代用である。
論文 参考訳（メタデータ） (2020-02-23T09:05:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。