論文の概要: Homogenization of $\ell_2$-Adversarial Training in High-Dimensions: Exact Dynamics under Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2607.00207v1
• Date: Tue, 30 Jun 2026 21:38:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.645522
• Title: Homogenization of $\ell_2$-Adversarial Training in High-Dimensions: Exact Dynamics under Stochastic Gradient Descent
• Title（参考訳）: 高次元における$\ell_2$-Adversarial Trainingの均質化:確率的勾配の時効ダイナミクス
• Authors: Fabrizzio Sabelli,
• Abstract要約: 単元モデルに対する$ell$-adversarial trainingの学習力学を解析するためのフレームワークを開発する。 一定の学習率でSGDの単調な降下を保証できないことが,敵対的リスクの最小化に寄与している。 力学が収束すると、制限された対向リスクとSGDは固定点方程式によって決定される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a framework for analyzing the learning dynamics of $\ell_2$-adversarial training of single-index models on Gaussian mixtures in the high-dimensional limit under streaming stochastic gradient descent (SGD). We derive deterministic equivalents for a broad class of statistics of the SGD iterates, including the adversarial risk and distance to adversarial optimality, in terms of the solution to a system of ODEs. We use them to study two idealized learning rate schedules: the Polyak stepsize and exact line search. In the case of $\ell_2$-adversarial least squares with a single class, we show that, unlike noiseless standard least squares, no constant learning rate guarantees monotone descent of SGD towards a minimizer of the adversarial risk. We identify anisotropic covariance and a mismatch in ridge parameters as the main sources of suboptimality of exact line search relative to the Polyak stepsize. We also introduce a stochastic differential equation (SDE), called adversarial homogenized SGD, that captures the evolution of statistics of the iterates of SGD. For $\ell_2$-adversarial least squares, using this SDE, we show the evolution of the risk is equivalent, up to dimension-free constants, to that of SGD on standard least squares with an adaptive learning rate and adaptive $\ell_2$-regularization. When the dynamics converge, the limiting adversarial risk and SGD iterate are determined by a fixed-point equation, with the limiting iterate being equivalent to the solution of a ridge regression problem whose regularization parameter is the limiting effective regularization of SGD.
• Abstract（参考訳）: 本研究では,ストリーミング確率勾配降下(SGD)下での高次元極限におけるガウス混合モデル上での1-インデックスモデルに対する$\ell_2$-adversarialトレーニングの学習力学を解析するためのフレームワークを開発する。 我々は,SGD 反復の多種多様な統計量に対する決定論的等価性を導出し,ODE のシステムに対する解法の観点から,対角的リスクと対角的最適性の距離を導出する。 我々はこれらを用いて、Polyakのステップサイズと正確な行探索という、2つの理想的な学習率スケジュールを研究する。 単一クラスを持つ $\ell_2$-adversarial 最小二乗の場合、雑音のない標準最小二乗とは異なり、一定の学習速度がSGDの単調降下を最小化するために保証しないことが示される。 我々は,ポリーク段数に対する直線探索の最適部分の主源として,リッジパラメータの異方性共分散とミスマッチを同定した。 また、確率微分方程式(SDE)を導入し、SGDの反復の統計の進化を捉える。 このSDEを用いて、$\ell_2$-adversarial least squaresに対して、適応的な学習率と適応的な$\ell_2$-regularizationを持つ標準最小二乗のSGDに対するリスクの進化は、次元自由定数まで等価であることを示す。 力学が収束すると、制限反転リスクとSGDイテレートは固定点方程式により決定され、制限イテレートは、正規化パラメータがSGDの制限有効正則化であるリッジ回帰問題の解と等価である。

関連論文リスト

• Escape dynamics and implicit bias of one-pass SGD in overparameterized quadratic networks [3.198538967655537]
  2層ニューラルネットワークの1パス勾配勾配勾配ダイナミクスを教師の枠組みで解析する。 本研究では,学生の進化を規定する低次元常微分方程式について考察する。
  論文  参考訳（メタデータ） (2026-04-03T14:47:24Z)
• High-dimensional learning dynamics of multi-pass Stochastic Gradient Descent in multi-index models [2.2129910930772]
  経験的リスク最小化のためのマルチパス・ミニバッチ・グラディエント・Descent (SGD) 手順の学習力学について検討した。 サンプルサイズ$n$とデータディメンション$d$が比例的に増加する制限条件では、サブ線形バッチサイズ$asymp n where $in [0, 1)$に対して、SGDの座標ワイドダイナミクスを正確に評価する。
  論文  参考訳（メタデータ） (2026-01-28T22:28:12Z)
• Sharp Variance-Dependent Bounds in Reinforcement Learning: Best of Both Worlds in Stochastic and Deterministic Environments [48.96971760679639]
  マルコフ決定過程(MDP)の分散依存的後悔境界について検討する。 環境の微細な分散特性を特徴付けるための2つの新しい環境規範を提案する。 モデルに基づく手法では、MVPアルゴリズムの変種を設計する。 特に、この境界は極小かつ決定論的 MDP に対して同時に最適である。
  論文  参考訳（メタデータ） (2023-01-31T06:54:06Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• High-dimensional limit theorems for SGD: Effective dynamics and critical scaling [6.950316788263433]
  我々は、勾配降下(SGD)の要約統計の軌跡に対する極限定理を証明する。 下記の有効弾道力学が人口減少の勾配流と一致するステップサイズにおける重要なスケーリング体制を示す。 この実効力学の固定点について、対応する拡散極限は極めて複雑であり、さらに退化することもある。
  論文  参考訳（メタデータ） (2022-06-08T17:42:18Z)
• Homogenization of SGD in high-dimensions: Exact dynamics and generalization properties [26.782342518986503]
  我々は、勾配降下ベクトル(SGD)のダイナミクスを解析するための等質化SGDと呼ばれる微分方程式を開発する。 均質化されたSGDは、任意の二次統計量(例えば、二次的損失を伴う人口リスク)に対して、SGDの高次元同値であることを示す。
  論文  参考訳（メタデータ） (2022-05-14T14:10:08Z)
• Single Trajectory Nonparametric Learning of Nonlinear Dynamics [8.438421942654292]
  力学系の1つの軌道が与えられた場合、非パラメトリック最小二乗推定器(LSE)の性能を解析する。 我々は最近開発された情報理論手法を活用し、非仮説クラスに対するLSEの最適性を確立する。 我々は、リプシッツ力学、一般化線形モデル、再生ケルネルヒルベルト空間(RKHS)のある種のクラスで記述される関数によって記述される力学など、実用上の関心のあるいくつかのシナリオを専門とする。
  論文  参考訳（メタデータ） (2022-02-16T19:38:54Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。