論文の概要: Uniformly Stable Algorithms for Adversarial Training and Beyond

• arxiv url: http://arxiv.org/abs/2405.01817v1
• Date: Fri, 3 May 2024 02:30:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 13:55:11.065926
• Title: Uniformly Stable Algorithms for Adversarial Training and Beyond
• Title（参考訳）: 対人訓練と超越のための一様安定アルゴリズム
• Authors: Jiancong Xiao, Jiawei Zhang, Zhi-Quan Luo, Asuman Ozdaglar,
• Abstract要約: 敵対的機械学習では、ニューラルネットワークは堅牢なオーバーフィッティングとして知られる重大な問題に悩まされる。 近年の研究では、敵の訓練が均一な安定性を示さないことが示されている。 このことは、敵の訓練に適した一様安定なアルゴリズムを開発する動機となっている。
• 参考スコア（独自算出の注目度）: 21.893162113946715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In adversarial machine learning, neural networks suffer from a significant issue known as robust overfitting, where the robust test accuracy decreases over epochs (Rice et al., 2020). Recent research conducted by Xing et al.,2021; Xiao et al., 2022 has focused on studying the uniform stability of adversarial training. Their investigations revealed that SGD-based adversarial training fails to exhibit uniform stability, and the derived stability bounds align with the observed phenomenon of robust overfitting in experiments. This motivates us to develop uniformly stable algorithms specifically tailored for adversarial training. To this aim, we introduce Moreau envelope-$\mathcal{A}$, a variant of the Moreau Envelope-type algorithm. We employ a Moreau envelope function to reframe the original problem as a min-min problem, separating the non-strong convexity and non-smoothness of the adversarial loss. Then, this approach alternates between solving the inner and outer minimization problems to achieve uniform stability without incurring additional computational overhead. In practical scenarios, we show the efficacy of ME-$\mathcal{A}$ in mitigating the issue of robust overfitting. Beyond its application in adversarial training, this represents a fundamental result in uniform stability analysis, as ME-$\mathcal{A}$ is the first algorithm to exhibit uniform stability for weakly-convex, non-smooth problems.
• Abstract（参考訳）: 敵対的機械学習では、ニューラルネットワークは堅牢なオーバーフィッティングとして知られる重大な問題に悩まされ、堅牢なテスト精度はエポックよりも低下する(Rice et al , 2020)。 Xing et al ,2021; Xiao et al ,2022は、敵の訓練の均一な安定性の研究に重点を置いている。 彼らの研究により、SGDに基づく対向訓練は均一な安定性を示すことができず、導出された安定性境界は実験において頑健なオーバーフィッティングの観測された現象と一致していることが明らかとなった。 このことは、敵の訓練に適した一様安定なアルゴリズムを開発する動機となっている。 この目的のために、モローエンベロープ型アルゴリズムの変種であるモローエンベロープ-$\mathcal{A}$を導入する。 モローエンベロープ関数を用いて、元の問題をミンミン問題として再構成し、非強凸性と非滑らかな対向損失を分離する。 そして、この手法は、計算オーバーヘッドを増大させることなく、内部と外部の最小化問題を解くことと、均一な安定性を達成することを交互に行う。 実用シナリオでは、堅牢なオーバーフィッティングの問題を緩和する ME-$\mathcal{A}$ の有効性を示す。 ME-$\mathcal{A}$は弱凸非滑らかな問題に対して一様安定性を示す最初のアルゴリズムである。

関連論文リスト

• PAPAL: A Provable PArticle-based Primal-Dual ALgorithm for Mixed Nash Equilibrium [58.26573117273626]
  2プレイヤゼロサム連続ゲームにおける非AL平衡非漸近目的関数について考察する。 連続分布戦略のための粒子ベースアルゴリズムに関する新しい知見を述べる。
  論文  参考訳（メタデータ） (2023-03-02T05:08:15Z)
• Stability Analysis and Generalization Bounds of Adversarial Training [31.50956388020211]
  逆機械学習では、ディープニューラルネットワークはトレーニングデータセット上の敵の例に適合するが、テストセット上での一般化は不十分である。 この現象はロバストオーバーフィッティングと呼ばれ、共通のデータセット上でニューラルネットを敵対的にトレーニングする場合に観察することができる。
  論文  参考訳（メタデータ） (2022-10-03T14:21:46Z)
• Stability and Generalization of Stochastic Optimization with Nonconvex and Nonsmooth Problems [34.68590236021379]
  本稿では,アルゴリズム的安定度と定量的勾配と人口間のギャップについて述べる。 これらのアルゴリズムを、暗黙の規則的な反復ステップサイズと適応勾配勾配を達成するためにどのように適用するかを示す。
  論文  参考訳（メタデータ） (2022-06-14T18:14:30Z)
• Boosting the Confidence of Generalization for $L_2$-Stable Randomized Learning Algorithms [41.082982732100696]
  適切に設計されたサブバッグプロセスは、データとアルゴリズムの両方にほぼ28の指数関数的一般化バウンダリをもたらすことを示す。 さらに、自然減衰学習率を持つ凸問題や非重み付き問題に対する高確率一般化境界を改善するために、総合的な結果を導出する。
  論文  参考訳（メタデータ） (2022-06-08T12:14:01Z)
• Multi-fidelity Stability for Graph Representation Learning [38.31487722188051]
  エンフルティ忠実度安定性(英語版)と呼ばれるより弱い一様一般化を導入し、その例を示す。 2種類の安定性の相違点について,多相性設計を正当化する下界を提示する。
  論文  参考訳（メタデータ） (2021-11-25T01:33:41Z)
• Stability and Generalization of Stochastic Gradient Methods for Minimax Problems [71.60601421935844]
  多くの機械学習問題は、GAN(Generative Adversarial Networks)のようなミニマックス問題として定式化できる。 ミニマックス問題に対するトレーニング勾配法から例を包括的に一般化解析する。
  論文  参考訳（メタデータ） (2021-05-08T22:38:00Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)
• Upper Confidence Primal-Dual Reinforcement Learning for CMDP with Adversarial Loss [145.54544979467872]
  マルコフ決定過程(CMDP)に対するオンライン学習の検討 本稿では,遷移モデルから標本化した軌跡のみを必要とする,新しいEmphupper confidence primal-dualアルゴリズムを提案する。 我々の分析では、ラグランジュ乗算過程の新たな高確率ドリフト解析を、高信頼強化学習の記念後悔解析に組み入れている。
  論文  参考訳（メタデータ） (2020-03-02T05:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。