論文の概要: Certified Robust Neural Networks: Generalization and Corruption Resistance

• arxiv url: http://arxiv.org/abs/2303.02251v2
• Date: Thu, 18 May 2023 14:28:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 19:53:16.175118
• Title: Certified Robust Neural Networks: Generalization and Corruption Resistance
• Title（参考訳）: 認定ロバストニューラルネットワーク:一般化と破壊耐性
• Authors: Amine Bennouna, Ryan Lucas, Bart Van Parys
• Abstract要約: 敵対的トレーニングは、現在のニューラルネットワークの小さなデータ摂動に対する問題への感受性を低減することを目的としている。 オーバーフィッティングは、標準的な訓練にほとんど欠席しているにもかかわらず、敵の訓練において大きな関心事である。 得られた総合的ロバスト(HR)トレーニングがSOTA性能を向上することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work have demonstrated that robustness (to "corruption") can be at odds with generalization. Adversarial training, for instance, aims to reduce the problematic susceptibility of modern neural networks to small data perturbations. Surprisingly, overfitting is a major concern in adversarial training despite being mostly absent in standard training. We provide here theoretical evidence for this peculiar "robust overfitting" phenomenon. Subsequently, we advance a novel distributionally robust loss function bridging robustness and generalization. We demonstrate both theoretically as well as empirically the loss to enjoy a certified level of robustness against two common types of corruption--data evasion and poisoning attacks--while ensuring guaranteed generalization. We show through careful numerical experiments that our resulting holistic robust (HR) training procedure yields SOTA performance. Finally, we indicate that HR training can be interpreted as a direct extension of adversarial training and comes with a negligible additional computational burden. A ready-to-use python library implementing our algorithm is available at https://github.com/RyanLucas3/HR_Neural_Networks.
• Abstract（参考訳）: 近年の研究は、(「腐敗」に対する)堅牢性が一般化と相反することを示した。 例えば、adversarial trainingは、現代のニューラルネットワークが抱える脆弱性を小さなデータ摂動に軽減することを目的としている。 驚くべきことに、オーバーフィッティングは標準的な訓練にほとんど欠席しているにもかかわらず、敵の訓練において大きな関心事である。 この特異な「乱暴な過剰フィッティング」現象の理論的証拠を提供する。 続いて、ロバスト性と一般化を橋渡しする分散ロバストな損失関数を新たに導入する。 我々は,データ回避と中毒攻撃という2つの一般的なタイプの腐敗に対して,認証された堅牢性を享受する上での損失を,理論的にも実証的にも実証する。 総合ロバスト(hr)トレーニング手順がsota性能に与える影響を,注意深い数値実験により明らかにする。 最後に, 人事訓練は対人訓練の直接的な拡張と解釈でき, 計算負荷が無視できることを示す。 アルゴリズムを実装するpythonライブラリは、https://github.com/ryanlucas3/hr_neural_networksで利用可能です。

関連論文リスト

• Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
  本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。 本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-11T03:59:49Z)
• Provable Robustness of (Graph) Neural Networks Against Data Poisoning and Backdoor Attacks [50.87615167799367]
  グラフニューラルネットワーク(GNN)は、特定のグラフのノード特徴をターゲットとして、バックドアを含む有毒な攻撃に対して認証する。 コンボリューションベースのGNNとPageRankベースのGNNの最悪の動作におけるグラフ構造の役割とその接続性に関する基本的な知見を提供する。
  論文  参考訳（メタデータ） (2024-07-15T16:12:51Z)
• Better Representations via Adversarial Training in Pre-Training: A Theoretical Perspective [30.871769067624836]
  本研究では,事前学習したモデルと下流タスクの相反するロバスト性を結合する上で,特徴の浄化が重要な役割を担っていることを示す。 清浄なノードでは、清浄なトレーニングは下流のタスクにおける敵の堅牢性を達成するのに十分であることがわかった。
  論文  参考訳（メタデータ） (2024-01-26T23:52:20Z)
• Can overfitted deep neural networks in adversarial training generalize? -- An approximation viewpoint [25.32729343174394]
  敵対的摂動に対するディープニューラルネットワーク(DNN)の堅牢性を改善するために広く用いられている手法である。 本稿では,逆行訓練における過剰適合DNNが近似的視点から一般化できるかどうかを理論的に理解する。
  論文  参考訳（メタデータ） (2024-01-24T17:54:55Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Evolution of Neural Tangent Kernels under Benign and Adversarial Training [109.07737733329019]
  実験的なニューラル・タンジェント・カーネル(NTK)の進化を,標準および対角訓練下で研究する。 敵対的トレーニングでは、経験的NTKは標準トレーニングとは異なるカーネル(および特徴マップ)に急速に収束する。 この新しいカーネルは、その上に非ロマンストレーニングが行われたとしても、敵の堅牢性を提供する。
  論文  参考訳（メタデータ） (2022-10-21T15:21:15Z)
• Robustness, Privacy, and Generalization of Adversarial Training [84.38148845727446]
  本稿では, 対人訓練におけるプライバシ・ロバスト性トレードオフと一般化・ロバスト性トレードオフの確立と定量化を行う。 我々は,差分プライバシの大きさが強固な強度と正の相関を持つ場合,敵対的トレーニングは$(varepsilon,delta)$-differentially privateであることが示される。 我々の一般化境界は、ディープラーニングにおいて大きなパラメータサイズに明示的に依存していない。
  論文  参考訳（メタデータ） (2020-12-25T13:35:02Z)
• On the Generalization Properties of Adversarial Training [21.79888306754263]
  本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。 滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
  論文  参考訳（メタデータ） (2020-08-15T02:32:09Z)
• Optimizing Information Loss Towards Robust Neural Networks [0.0]
  ニューラルネットワーク(NN)は、敵の例に対して脆弱である。 テクステントロピックリトレーニングと呼ばれる新しいトレーニング手法を提案する。 情報理論にインスパイアされた分析に基づいて、エントロピー的リトレーニングは敵の訓練の効果を模倣する。
  論文  参考訳（メタデータ） (2020-08-07T10:12:31Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。