論文の概要: Certified Robust Neural Networks: Generalization and Corruption Resistance

• arxiv url: http://arxiv.org/abs/2303.02251v1
• Date: Fri, 3 Mar 2023 22:43:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-07 20:52:38.109098
• Title: Certified Robust Neural Networks: Generalization and Corruption Resistance
• Title（参考訳）: 認定ロバストニューラルネットワーク:一般化と破壊耐性
• Authors: Amine Bennouna, Ryan Lucas, Bart Van Parys
• Abstract要約: オーバーフィッティングは、標準トレーニングにほとんど欠席しているにもかかわらず、ニューラルネットワークの敵のトレーニングにおいて大きな関心事である。 その結果, 総合的ロバスト(HR)トレーニングにより, 逆誤差損失の点でSOTAの性能が向上することがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial training aims to reduce the problematic susceptibility of modern neural networks to small data perturbations. Surprisingly, overfitting is a major concern in adversarial training of neural networks despite being mostly absent in standard training. We provide here theoretical evidence for this peculiar ``robust overfitting'' phenomenon. Subsequently, we advance a novel loss function which we show both theoretically as well as empirically to enjoy a certified level of robustness against data evasion and poisoning attacks while ensuring guaranteed generalization. We indicate through careful numerical experiments that our resulting holistic robust (HR) training procedure yields SOTA performance in terms of adversarial error loss. Finally, we indicate that HR training can be interpreted as a direct extension of adversarial training and comes with a negligible additional computational burden.
• Abstract（参考訳）: adversarial trainingは、現代のニューラルネットワークが抱える脆弱性を小さなデータ摂動に軽減することを目的としている。 驚いたことに、オーバーフィッティングは通常のトレーニングにはほとんど欠如しているものの、ニューラルネットワークの敵対的なトレーニングにおいて大きな関心事である。 この特異な ‘robust overfitting'' 現象の理論的証拠を提供する。 その後,理論上および実証的に両立する新たな損失関数を前進させ,データの回避や毒殺攻撃に対する強固性が保証され,一般化が保証されるようにした。 提案手法は, 対向誤差損失の点から総合的ロバスト(HR)訓練によりSOTA性能が向上することを示す。 最後に, 人事訓練は対人訓練の直接的な拡張と解釈でき, 計算負荷が無視できることを示す。

関連論文リスト

• Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
  本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。 本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-11T03:59:49Z)
• Provable Robustness of (Graph) Neural Networks Against Data Poisoning and Backdoor Attacks [50.87615167799367]
  グラフニューラルネットワーク(GNN)は、特定のグラフのノード特徴をターゲットとして、バックドアを含む有毒な攻撃に対して認証する。 コンボリューションベースのGNNとPageRankベースのGNNの最悪の動作におけるグラフ構造の役割とその接続性に関する基本的な知見を提供する。
  論文  参考訳（メタデータ） (2024-07-15T16:12:51Z)
• Better Representations via Adversarial Training in Pre-Training: A Theoretical Perspective [30.871769067624836]
  本研究では,事前学習したモデルと下流タスクの相反するロバスト性を結合する上で,特徴の浄化が重要な役割を担っていることを示す。 清浄なノードでは、清浄なトレーニングは下流のタスクにおける敵の堅牢性を達成するのに十分であることがわかった。
  論文  参考訳（メタデータ） (2024-01-26T23:52:20Z)
• Can overfitted deep neural networks in adversarial training generalize? -- An approximation viewpoint [25.32729343174394]
  敵対的摂動に対するディープニューラルネットワーク(DNN)の堅牢性を改善するために広く用いられている手法である。 本稿では,逆行訓練における過剰適合DNNが近似的視点から一般化できるかどうかを理論的に理解する。
  論文  参考訳（メタデータ） (2024-01-24T17:54:55Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Evolution of Neural Tangent Kernels under Benign and Adversarial Training [109.07737733329019]
  実験的なニューラル・タンジェント・カーネル(NTK)の進化を,標準および対角訓練下で研究する。 敵対的トレーニングでは、経験的NTKは標準トレーニングとは異なるカーネル(および特徴マップ)に急速に収束する。 この新しいカーネルは、その上に非ロマンストレーニングが行われたとしても、敵の堅牢性を提供する。
  論文  参考訳（メタデータ） (2022-10-21T15:21:15Z)
• Robustness, Privacy, and Generalization of Adversarial Training [84.38148845727446]
  本稿では, 対人訓練におけるプライバシ・ロバスト性トレードオフと一般化・ロバスト性トレードオフの確立と定量化を行う。 我々は,差分プライバシの大きさが強固な強度と正の相関を持つ場合,敵対的トレーニングは$(varepsilon,delta)$-differentially privateであることが示される。 我々の一般化境界は、ディープラーニングにおいて大きなパラメータサイズに明示的に依存していない。
  論文  参考訳（メタデータ） (2020-12-25T13:35:02Z)
• On the Generalization Properties of Adversarial Training [21.79888306754263]
  本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。 滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
  論文  参考訳（メタデータ） (2020-08-15T02:32:09Z)
• Optimizing Information Loss Towards Robust Neural Networks [0.0]
  ニューラルネットワーク(NN)は、敵の例に対して脆弱である。 テクステントロピックリトレーニングと呼ばれる新しいトレーニング手法を提案する。 情報理論にインスパイアされた分析に基づいて、エントロピー的リトレーニングは敵の訓練の効果を模倣する。
  論文  参考訳（メタデータ） (2020-08-07T10:12:31Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。