論文の概要: Adversarial Training with Large Step Sizes: Implicit Bias, Optimization, and Sharpness

• arxiv url: http://arxiv.org/abs/2611.08457v1
• Date: Thu, 05 Nov 2026 18:48:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.627604
• Title: Adversarial Training with Large Step Sizes: Implicit Bias, Optimization, and Sharpness
• Title（参考訳）: 大きなステップサイズを持つ対人訓練:暗黙のバイアス、最適化、シャープネス
• Abstract要約: 逆行訓練(AT)における決定論的グラディエント・ダイス(GD)のダイナミックスについて検討する。 以上の結果から,AT の段差が大きい GD の挙動の理解を深めることができた。
• 参考スコア（独自算出の注目度）: 13.927555959265527
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial Training (AT) is an important method for improving model robustness. We study the dynamics of deterministic Gradient Descent (GD) in AT. Most existing works in this direction focus on the small or vanishing step sizes regime, where GD resembles a continuous-time flow. However, such step sizes can make training inefficient and are rarely used in practice. In this paper, we study the AT dynamics of GD with large constant step sizes. We first study GD in adversarial linear logistic regression, focusing on two aspects: where the model parameters converge (implicit bias) and how quickly the losses decrease (optimization). We then turn to neural networks training and study how the sharpness of losses evolve during AT. Our results advance the understanding of the behaviors of GD with large step sizes in AT and highlight three key differences from its behavior in Standard Training (ST): (i) the implicit bias gap between AT and ST, previously established only for small step sizes, persists for arbitrarily large constant step sizes, (ii) different from ST, there is no uniform rate of convergence for the optimization error in AT, and (iii) sharpness can exhibit two-stage dynamics that differ from the Edge-of-Stability behavior observed in ST.
• Abstract（参考訳）: 逆行訓練(AT)はモデルロバスト性を改善するための重要な方法である。 我々は,ATにおける決定論的グラディエントDescence(GD)のダイナミクスについて検討した。 この方向の既存の作業の多くは、GDが連続的な時間の流れに類似している、小さくまたは消滅するステップサイズレギュレーションに重点を置いている。 しかし、そのようなステップサイズはトレーニングを非効率にし、実際に使用されることは滅多にない。 本稿では,GDのATダイナミクスについて検討する。 まず,モデルパラメータの収束点(単純バイアス)と損失の減少点(最適化点)の2点に着目し,逆線形ロジスティック回帰のGDについて検討した。 そして、ニューラルネットワークのトレーニングに目を向け、AT中に損失のシャープさがどのように進化するかを研究する。 以上の結果から,ATの段差が大きいGDの行動の理解が進み,標準訓練(ST)における行動との大きな違いが3つ浮き彫りにされた。 i) それまで小さなステップサイズにのみ確立されていたATとSTの間の暗黙のバイアスギャップは、任意に大きな一定のステップサイズに持続する。 (ii)STと異なり、ATにおける最適化誤差に対する収束の均一性は存在しない。 3) シャープネスは,STで観測されたエッジ・オブ・ステイビリティの挙動と異なる2段階のダイナミックスを示すことができる。

関連論文リスト

• DRAP: Dynamics-Risk Adaptive Plasticity for Continual Learning in Physical AI [0.0]
  物理AIにおける連続的な学習は、ステップごとのポリシーエラーが1つの軌道上に蓄積されるため、従来の連続的な学習とは異なる。 この研究は、適応可能なモデルテンソルの歴史的重要性を推定するリプレイフリーな手法であるDynamics-Risk Adaptive Plasticity (DRAP)を導入している。
  論文  参考訳（メタデータ） (2026-11-03T15:05:06Z)
• Pairwise AUC Optimization Needs Corrective Power: A Unified View [91.5488253165522]
  ペアワイドのミニバッチ更新が、より厳格なランキングエラーに対して、より強く信頼性の高い改善をもたらすかどうかを検討する。 我々の主な観察では、直接的なペアワイズトレーニングは、深刻なエラーが相変わらずありふれた領域に入ることができるが、もはや有用な修正動作は生じない。
  論文  参考訳（メタデータ） (2026-10-15T12:02:54Z)
• Exploring Structural Degradation in Dense Representations for Self-supervised Learning [84.52554180480037]
  自己教師付き学習(SSL)における直感的な現象を観察する。 我々は、この現象を自己教師付きDense Degradation(SDD)と呼び、16の最先端SSLメソッドに一貫した存在を示す。 本稿では,クラス関連尺度と有効次元尺度からなるDense Expression Structure Estimator (DSE)を紹介する。
  論文  参考訳（メタデータ） (2025-10-20T08:40:16Z)
• Scaling Multimodal Pre-Training via Cross-Modality Gradient Harmonization [68.49738668084693]
  自己教師付き事前学習は、最近、大規模マルチモーダルデータで成功している。 クロスモダリティアライメント(CMA)は、弱くノイズの多い監視である。 CMAは、モダリティ間の衝突や偏見を引き起こす可能性がある。
  論文  参考訳（メタデータ） (2022-11-03T18:12:32Z)
• SGD with Large Step Sizes Learns Sparse Features [22.959258640051342]
  本稿では、ニューラルネットワークのトレーニングにおいて、グラディエント・ディフレッシュ(SGD)のダイナミクスの重要な特徴を紹介する。 より長いステップサイズでは、損失ランドスケープにおいてSGDは高く保たれ、暗黙の正規化がうまく機能し、スパース表現を見つけることができる。
  論文  参考訳（メタデータ） (2022-10-11T11:00:04Z)
• Fast Adversarial Training with Adaptive Step Size [62.37203478589929]
  トレーニングインスタンスの観点から,この現象を考察する。 適応ステップサイズ(ATAS)を用いた逆学習法を提案する。 ATASは、その勾配ノルムに逆比例するインスタンス順応的なステップサイズを学習する。
  論文  参考訳（メタデータ） (2022-06-06T08:20:07Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights [53.8489656709356]
  正規化技術は現代の深層学習の恩恵である。 しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。 本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
  論文  参考訳（メタデータ） (2020-06-15T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。