論文の概要: Asymptotic Behavior of Adversarial Training Estimator under
$\ell_\infty$-Perturbation
- arxiv url: http://arxiv.org/abs/2401.15262v1
- Date: Sat, 27 Jan 2024 01:16:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 19:12:46.602053
- Title: Asymptotic Behavior of Adversarial Training Estimator under
$\ell_\infty$-Perturbation
- Title（参考訳）: $\ell_\infty$-摂動下での対向訓練推定器の漸近挙動
- Authors: Yiling Xie and Xiaoming Huo
- Abstract要約: 機械学習や統計モデルにおいて、敵対的攻撃に対抗するために、敵対的訓練が提案されている。
本稿では,$ell_infty$-perturbationの下での対人訓練に焦点を当てた。
数値実験により, $ell_infty$-perturbation の下での対人訓練の空間的回復能力を示す。
- 参考スコア（独自算出の注目度）: 6.164223149261535
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training has been proposed to hedge against adversarial attacks
in machine learning and statistical models. This paper focuses on adversarial
training under $\ell_\infty$-perturbation, which has recently attracted much
research attention. The asymptotic behavior of the adversarial training
estimator is investigated in the generalized linear model. The results imply
that the limiting distribution of the adversarial training estimator under
$\ell_\infty$-perturbation could put a positive probability mass at $0$ when
the true parameter is $0$, providing a theoretical guarantee of the associated
sparsity-recovery ability. Alternatively, a two-step procedure is proposed --
adaptive adversarial training, which could further improve the performance of
adversarial training under $\ell_\infty$-perturbation. Specifically, the
proposed procedure could achieve asymptotic unbiasedness and variable-selection
consistency. Numerical experiments are conducted to show the sparsity-recovery
ability of adversarial training under $\ell_\infty$-perturbation and to compare
the empirical performance between classic adversarial training and adaptive
adversarial training.
- Abstract（参考訳）: 機械学習と統計モデルにおける敵意攻撃をヘッジするために、敵意トレーニングが提案されている。
本稿では,最近注目されている,$\ell_\infty$-perturbationに基づく対人訓練に焦点を当てた。
適応訓練推定器の漸近的挙動を一般化線形モデルを用いて検討した。
この結果は、真パラメータが0$であるとき、対向訓練推定器を$\ell_\infty$-perturbation で制限することで、正の確率質量が$0$となり、関連するスパース性回復能力の理論的保証をもたらすことを暗示している。
あるいは、$\ell_\infty$-perturbationの下での敵意トレーニングのパフォーマンスをさらに向上させる2段階の手順 -adaptive adversarial training を提案している。
特に,提案手法は漸近的不偏性と変数選択一貫性を実現することができる。
実測実験により,$\ell_\infty$-perturbation 下での対向訓練のスパース性回復能力と,従来の対向訓練と適応対向訓練との経験的性能の比較を行った。
関連論文リスト
- Focus on Hiders: Exploring Hidden Threats for Enhancing Adversarial
Training [20.1991376813843]
我々は、HFAT(Hider-Focused Adversarial Training)と呼ばれる一般化した逆トレーニングアルゴリズムを提案する。
HFATは、標準的な対向訓練と予防隠蔽装置の最適化方向を組み合わせたものである。
提案手法の有効性を実験により検証した。
論文 参考訳（メタデータ） (2023-12-12T08:41:18Z) - Adaptive Adversarial Training Does Not Increase Recourse Costs [5.669106489320257]
本稿では,適応的対人訓練がアルゴリズム的リコースコストに及ぼす影響について検討する。
適応的対角訓練により誘導されるモデルの改善が,アルゴリズム的リコースコストにはほとんど影響しないことを確認した。
論文 参考訳（メタデータ） (2023-09-05T18:40:22Z) - The Enemy of My Enemy is My Friend: Exploring Inverse Adversaries for
Improving Adversarial Training [72.39526433794707]
敵の訓練とその変種は、敵の例に対抗して最も効果的なアプローチであることが示されている。
本稿では,モデルが類似した出力を生成することを奨励する,新たな対角訓練手法を提案する。
本手法は,最先端のロバスト性および自然な精度を実現する。
論文 参考訳（メタデータ） (2022-11-01T15:24:26Z) - Enhancing Adversarial Training with Feature Separability [52.39305978984573]
本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。
包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
論文 参考訳（メタデータ） (2022-05-02T04:04:23Z) - Adaptive perturbation adversarial training: based on reinforcement
learning [9.563820241076103]
対人訓練の欠点の1つは、通常のサンプルの認識精度を低下させることである。
この問題を緩和するため,適応的対人訓練が提案されている。
決定境界に近いが、敵の訓練のために決定境界を越えていない辺境の敵のサンプルを使用する。
論文 参考訳（メタデータ） (2021-08-30T13:49:55Z) - Robustness, Privacy, and Generalization of Adversarial Training [84.38148845727446]
本稿では, 対人訓練におけるプライバシ・ロバスト性トレードオフと一般化・ロバスト性トレードオフの確立と定量化を行う。
我々は,差分プライバシの大きさが強固な強度と正の相関を持つ場合,敵対的トレーニングは$(varepsilon,delta)$-differentially privateであることが示される。
我々の一般化境界は、ディープラーニングにおいて大きなパラメータサイズに明示的に依存していない。
論文 参考訳（メタデータ） (2020-12-25T13:35:02Z) - Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。
我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。
その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文 参考訳（メタデータ） (2020-12-22T00:45:24Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z) - Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。
実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。
2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
論文 参考訳（メタデータ） (2020-10-26T01:44:20Z) - On the Generalization Properties of Adversarial Training [21.79888306754263]
本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。
滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
論文 参考訳（メタデータ） (2020-08-15T02:32:09Z) - Efficient Adversarial Training with Transferable Adversarial Examples [58.62766224452761]
同じトレーニングプロセスにおいて、近隣のエポックからのモデル間で高い転送可能性があることが示される。
本稿では,ATTA(Adversarial Training with Transferable Adversarial Examples)を提案する。
論文 参考訳（メタデータ） (2019-12-27T03:05:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。