論文の概要: Asymptotic Behavior of Adversarial Training Estimator under $\ell_\infty$-Perturbation
- arxiv url: http://arxiv.org/abs/2401.15262v2
- Date: Mon, 03 Mar 2025 00:04:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-04 16:10:53.323168
- Title: Asymptotic Behavior of Adversarial Training Estimator under $\ell_\infty$-Perturbation
- Title（参考訳）: $\ell_\infty$-摂動下での対向訓練推定器の漸近挙動
- Authors: Yiling Xie, Xiaoming Huo,
- Abstract要約: 本稿では, $ell_infty-perturbation 下での対向トレーニング推定器の挙動について検討する。
数値実験により, $ell_infty-perturbation 下での対人訓練の空間的回復能力を示す。
- 参考スコア（独自算出の注目度）: 5.217870815854704
- License:
- Abstract: Adversarial training has been proposed to protect machine learning models against adversarial attacks. This paper focuses on adversarial training under $\ell_\infty$-perturbation, which has recently attracted much research attention. The asymptotic behavior of the adversarial training estimator is investigated in the generalized linear model. The results imply that the asymptotic distribution of the adversarial training estimator under $\ell_\infty$-perturbation could put a positive probability mass at $0$ when the true parameter is $0$, providing a theoretical guarantee of the associated sparsity-recovery ability. Alternatively, a two-step procedure is proposed -- adaptive adversarial training, which could further improve the performance of adversarial training under $\ell_\infty$-perturbation. Specifically, the proposed procedure could achieve asymptotic variable-selection consistency and unbiasedness. Numerical experiments are conducted to show the sparsity-recovery ability of adversarial training under $\ell_\infty$-perturbation and to compare the empirical performance between classic adversarial training and adaptive adversarial training.
- Abstract（参考訳）: 敵の攻撃から機械学習モデルを保護するために、敵の訓練が提案されている。
本稿では,最近注目されている,$\ell_\infty$-perturbationに基づく対人訓練に焦点を当てた。
一般線形モデルにおいて, 対向トレーニング推定器の漸近挙動について検討した。
その結果、$\ell_\infty$-perturbation の下での対向的トレーニング推定器の漸近分布は、真のパラメータが 0$ であるときの正の確率質量を 0$ とすることができ、関連する空間的回復能力の理論的保証を与えることが示唆された。
適応的対位訓練は、$\ell_\infty$-perturbationの下での対位訓練の性能をさらに向上させる。
具体的には、提案手法は漸近的変数選択一貫性と不偏性を達成することができる。
数値実験により,$\ell_\infty$-perturbationの下での対人訓練の空間的回復能力を示し,古典対人訓練と適応対人訓練の実証的性能を比較した。
関連論文リスト
- Focus on Hiders: Exploring Hidden Threats for Enhancing Adversarial
Training [20.1991376813843]
我々は、HFAT(Hider-Focused Adversarial Training)と呼ばれる一般化した逆トレーニングアルゴリズムを提案する。
HFATは、標準的な対向訓練と予防隠蔽装置の最適化方向を組み合わせたものである。
提案手法の有効性を実験により検証した。
論文 参考訳（メタデータ） (2023-12-12T08:41:18Z) - Adaptive Adversarial Training Does Not Increase Recourse Costs [5.669106489320257]
本稿では,適応的対人訓練がアルゴリズム的リコースコストに及ぼす影響について検討する。
適応的対角訓練により誘導されるモデルの改善が,アルゴリズム的リコースコストにはほとんど影響しないことを確認した。
論文 参考訳（メタデータ） (2023-09-05T18:40:22Z) - The Enemy of My Enemy is My Friend: Exploring Inverse Adversaries for
Improving Adversarial Training [72.39526433794707]
敵の訓練とその変種は、敵の例に対抗して最も効果的なアプローチであることが示されている。
本稿では,モデルが類似した出力を生成することを奨励する,新たな対角訓練手法を提案する。
本手法は,最先端のロバスト性および自然な精度を実現する。
論文 参考訳（メタデータ） (2022-11-01T15:24:26Z) - Enhancing Adversarial Training with Feature Separability [52.39305978984573]
本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。
包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
論文 参考訳（メタデータ） (2022-05-02T04:04:23Z) - Adaptive perturbation adversarial training: based on reinforcement
learning [9.563820241076103]
対人訓練の欠点の1つは、通常のサンプルの認識精度を低下させることである。
この問題を緩和するため,適応的対人訓練が提案されている。
決定境界に近いが、敵の訓練のために決定境界を越えていない辺境の敵のサンプルを使用する。
論文 参考訳（メタデータ） (2021-08-30T13:49:55Z) - Robustness, Privacy, and Generalization of Adversarial Training [84.38148845727446]
本稿では, 対人訓練におけるプライバシ・ロバスト性トレードオフと一般化・ロバスト性トレードオフの確立と定量化を行う。
我々は,差分プライバシの大きさが強固な強度と正の相関を持つ場合,敵対的トレーニングは$(varepsilon,delta)$-differentially privateであることが示される。
我々の一般化境界は、ディープラーニングにおいて大きなパラメータサイズに明示的に依存していない。
論文 参考訳（メタデータ） (2020-12-25T13:35:02Z) - Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。
我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。
その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文 参考訳（メタデータ） (2020-12-22T00:45:24Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z) - Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。
実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。
2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
論文 参考訳（メタデータ） (2020-10-26T01:44:20Z) - On the Generalization Properties of Adversarial Training [21.79888306754263]
本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。
滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
論文 参考訳（メタデータ） (2020-08-15T02:32:09Z) - Efficient Adversarial Training with Transferable Adversarial Examples [58.62766224452761]
同じトレーニングプロセスにおいて、近隣のエポックからのモデル間で高い転送可能性があることが示される。
本稿では,ATTA(Adversarial Training with Transferable Adversarial Examples)を提案する。
論文 参考訳（メタデータ） (2019-12-27T03:05:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。