Fugu-MT 論文翻訳(概要): On the Generalization Properties of Adversarial Training

論文の概要: On the Generalization Properties of Adversarial Training

arxiv url: http://arxiv.org/abs/2008.06631v2
Date: Tue, 6 Apr 2021 14:19:31 GMT
ステータス: 処理完了
システム内更新日: 2022-10-28 20:34:26.866116
Title: On the Generalization Properties of Adversarial Training
Title（参考訳）: 対人訓練の一般化特性について
Authors: Yue Xing, Qifan Song, Guang Cheng
Abstract要約: 本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
参考スコア（独自算出の注目度）: 21.79888306754263
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Modern machine learning and deep learning models are shown to be vulnerable when testing data are slightly perturbed. Existing theoretical studies of adversarial training algorithms mostly focus on either adversarial training losses or local convergence properties. In contrast, this paper studies the generalization performance of a generic adversarial training algorithm. Specifically, we consider linear regression models and two-layer neural networks (with lazy training) using squared loss under low-dimensional and high-dimensional regimes. In the former regime, after overcoming the non-smoothness of adversarial training, the adversarial risk of the trained models can converge to the minimal adversarial risk. In the latter regime, we discover that data interpolation prevents the adversarially robust estimator from being consistent. Therefore, inspired by successes of the least absolute shrinkage and selection operator (LASSO), we incorporate the L1 penalty in the high dimensional adversarial learning and show that it leads to consistent adversarially robust estimation. A series of numerical studies are conducted to demonstrate how the smoothness and L1 penalization help improve the adversarial robustness of DNN models.
Abstract（参考訳）: 最近の機械学習とディープラーニングモデルは、データテストがややゆるむと脆弱であることが示されている。相反訓練アルゴリズムの既存の理論的研究は、主に相反訓練損失または局所収束特性に焦点を当てている。対照的に,本論文では汎用逆訓練アルゴリズムの一般化性能について検討する。具体的には,低次元・高次元環境下での2乗損失を用いた線形回帰モデルと2層ニューラルネットワークについて検討する。旧体制では、非平滑な対人訓練を克服した後、訓練されたモデルの対人リスクは最小の対人リスクに収束する。後者の体制では、データ補間により、逆向きに頑健な推定器が一貫することを防ぐ。したがって,L1ペナルティを高次元対角学習に組み込んだ最小縮小選択演算子(LASSO)の成功に触発され,一貫した対角的ロバストな推定が導かれることを示す。 DNNモデルのスムーズ性およびL1ペナル化が, 対角強靭性の向上にどのように寄与するかを示すために, 一連の数値的研究を行った。

関連論文リスト

Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
論文参考訳（メタデータ） (2024-10-11T03:59:49Z)
Outlier Robust Adversarial Training [57.06824365801612]
本研究では,アウトリー・ロバスト・アドバイザリアル・トレーニング(ORAT)を紹介する。 ORATは、強靭なランクに基づく損失関数を持つ対向訓練の2レベル最適化の定式化に基づいている。 ORATの学習目的はバイナリ分類における$mathcalH$-consistencyを満たすことが示され、これは敵の0/1損失に対する適切なサロゲートとして確立されている。
論文参考訳（メタデータ） (2023-09-10T21:36:38Z)
Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文参考訳（メタデータ） (2023-08-01T06:16:18Z)
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文参考訳（メタデータ） (2023-03-20T14:12:55Z)
Bayesian Learning with Information Gain Provably Bounds Risk for a Robust Adversarial Defense [27.545466364906773]
敵攻撃に対して堅牢なディープニューラルネットワークモデルを学習するための新しいアルゴリズムを提案する。本モデルでは, PGD 攻撃下での対人訓練と Adv-BNN との比較により, 強靭性は20%まで向上した。
論文参考訳（メタデータ） (2022-12-05T03:26:08Z)
Latent Boundary-guided Adversarial Training [61.43040235982727]
モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-08T07:40:55Z)
Enhancing Adversarial Training with Feature Separability [52.39305978984573]
本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
論文参考訳（メタデータ） (2022-05-02T04:04:23Z)
Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
論文参考訳（メタデータ） (2022-03-18T01:12:18Z)
The curse of overparametrization in adversarial training: Precise analysis of robust generalization for random features regression [34.35440701530876]
逆向きに訓練されたランダムな特徴モデルでは、高い過度なパラメータ化が堅牢な一般化を損なう可能性があることを示す。提案理論は, 強靭性に対する過度パラメータ化の非自明な効果を明らかにし, 高過度パラメータ化が強靭性一般化を損なうことを示唆している。
論文参考訳（メタデータ） (2022-01-13T18:57:30Z)
Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。 2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
論文参考訳（メタデータ） (2020-10-26T01:44:20Z)
Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
論文参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。