論文の概要: Generalization Analysis of Biased Stochastic Gradient Methods for Minimax Problems

• arxiv url: http://arxiv.org/abs/2610.19322v1
• Date: Wed, 14 Oct 2026 00:00:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.856411
• Title: Generalization Analysis of Biased Stochastic Gradient Methods for Minimax Problems
• Title（参考訳）: バイアス付き確率勾配法のミニマックス問題に対する一般化解析
• Abstract要約: ミニマックス問題に対するバイアス勾配法の安定性と一般化を研究するための最初の枠組みを提案する。 我々は、バイアス、勾配推定器、安定性の間の関係を明らかにするために、一般的な安定性を導出する。 一般解析をゼロ階およびクリッピング勾配勾配上昇に適用する。
• 参考スコア（独自算出の注目度）: 36.684530886884446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Minimax optimization refers to a class of optimization problems with some variables to minimize and other variables to maximize. Biased stochastic gradient methods have shown practical success in solving minimax problems to either improve robustness, enhance communication efficiency, or decrease computational costs. These successes motivate a lot of theoretical works to study the convergence of biased stochastic gradient methods, while their generalization analysis remains untouched. In this paper, we present the first framework to study the stability and generalization of biased stochastic gradient methods for minimax problems. We establish a connection between stability and generalization for minimax problems by relaxing the existing bounded gradient assumption to a bounded second moment condition. We then introduce a generalized Lipschitz-type condition on bias and gradient estimators, and derive a general stability bound to clarify the connection among bias, gradient estimators, and stability. We apply our general analysis to Zeroth-order and Clipped stochastic gradient descent ascent (SGDA), and derive stability bounds that match those of SGDA under appropriate smoothing/clipping parameters. We combine stability and convergence analyses together, and derive optimal excess risk bounds of order $1/\sqrt{n}$, where $n$ is the sample size.
• Abstract（参考訳）: ミニマックス最適化(Minimax optimization)とは、いくつかの変数を最小化するための最適化問題と、他の変数を最大化するための最適化問題である。 バイアス付き確率勾配法は、ロバスト性を改善したり、通信効率を高めたり、計算コストを下げたりするために、ミニマックス問題の解法を実践的に成功させてきた。 これらの成功は、偏りのある確率勾配法の収束を研究するために多くの理論的な研究を動機付け、その一般化解析は未だに触れられていない。 本稿では,ミニマックス問題に対するバイアス付き確率勾配法の安定性と一般化を研究するための最初の枠組みを提案する。 我々は、既存の有界勾配仮定を有界第二モーメント条件に緩和することにより、ミニマックス問題の安定性と一般化の接続を確立する。 次に、偏りと勾配推定器に関する一般化されたリプシッツ型条件を導入し、偏り、勾配推定器、安定性の間の関係を明らかにするための一般的な安定性を導出する。 我々は,ゼロ階数およびクリッピング確率勾配勾配上昇(SGDA)に一般解析を適用し,適切な平滑化・クリッピングパラメータの下でSGDAと一致する安定性境界を導出する。 安定性と収束解析を結合し、1/\sqrt{n}$の最適超過リスク境界を導出する。

関連論文リスト

• The Role of Gradient Modification in Heavy-Tailed Nonconvex Stochastic Min-Max Optimization [50.59470683896735]
  min-max最適化は、現代の機械学習に応用されているため、注目を集めている。 我々は、勾配降下(SGDA)の包括的理論を提供する。 我々は,Stoc-GDAMとStoc-TRmaxという新たなクリッピングフリーアルゴリズムを開発し,グラディエントクリッピングを使わずに,目標精度への最適依存を実現する。
  論文  参考訳（メタデータ） (2026-09-05T12:49:28Z)
• Fine-grained Analysis of Stability and Generalization for Stochastic Bilevel Optimization [71.33048115652474]
  バイレベル最適化(SBO)は、最近多くの機械学習パラダイムに統合されている。 本稿では,二段階最適化手法の体系的解析について述べる。 結果は再読解を必要とせず、より汎用的な目的関数に適用できる。
  論文  参考訳（メタデータ） (2026-04-05T12:12:58Z)
• Stability and Generalization for Markov Chain Stochastic Gradient Methods [49.981789906200035]
  本稿では,最小化問題と最小化問題の両方に対して,MC-SGMの包括的一般化解析を行う。 我々はスムーズかつ非スムーズなケースに対して最適な過剰人口リスク境界を確立する。 コンベックス・コンケーブ問題に対する最初期のほぼ最適な収束率を期待と高い確率で開発する。
  論文  参考訳（メタデータ） (2022-09-16T15:42:51Z)
• Stability and Generalization of Stochastic Optimization with Nonconvex and Nonsmooth Problems [34.68590236021379]
  本稿では,アルゴリズム的安定度と定量的勾配と人口間のギャップについて述べる。 これらのアルゴリズムを、暗黙の規則的な反復ステップサイズと適応勾配勾配を達成するためにどのように適用するかを示す。
  論文  参考訳（メタデータ） (2022-06-14T18:14:30Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Stability and Generalization of Stochastic Gradient Methods for Minimax Problems [71.60601421935844]
  多くの機械学習問題は、GAN(Generative Adversarial Networks)のようなミニマックス問題として定式化できる。 ミニマックス問題に対するトレーニング勾配法から例を包括的に一般化解析する。
  論文  参考訳（メタデータ） (2021-05-08T22:38:00Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。