論文の概要: Continuous-Time Analysis of Heavy Ball Momentum in Min-Max Games

• arxiv url: http://arxiv.org/abs/2505.19537v1
• Date: Mon, 26 May 2025 05:55:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.196828
• Title: Continuous-Time Analysis of Heavy Ball Momentum in Min-Max Games
• Title（参考訳）: ミニマックスゲームにおける重球運動の連続時間解析
• Authors: Yi Feng, Kaito Fujii, Stratis Skoulakis, Xiao Wang, Volkan Cevher,
• Abstract要約: min-maxゲームにおける更新スキームを同時かつ交互に行うHBの連続時間解析について述べる。 より広いステップサイズで局所収束を可能にすることにより、より小さな運動量によってアルゴリズムの安定性が向上することを示す。 グローバルに,HBの暗黙的な正則化について検討し,損失景観の浅い斜面領域へ向けて,より小さな運動量ガイドアルゴリズムの軌跡を求める。
• 参考スコア（独自算出の注目度）: 60.92010446485464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since Polyak's pioneering work, heavy ball (HB) momentum has been widely studied in minimization. However, its role in min-max games remains largely unexplored. As a key component of practical min-max algorithms like Adam, this gap limits their effectiveness. In this paper, we present a continuous-time analysis for HB with simultaneous and alternating update schemes in min-max games. Locally, we prove smaller momentum enhances algorithmic stability by enabling local convergence across a wider range of step sizes, with alternating updates generally converging faster. Globally, we study the implicit regularization of HB, and find smaller momentum guides algorithms trajectories towards shallower slope regions of the loss landscapes, with alternating updates amplifying this effect. Surprisingly, all these phenomena differ from those observed in minimization, where larger momentum yields similar effects. Our results reveal fundamental differences between HB in min-max games and minimization, and numerical experiments further validate our theoretical results.
• Abstract（参考訳）: ポリアックの先駆的な研究以来、ヘビーボール(HB)の運動量は最小化において広く研究されてきた。 しかし、min-maxゲームにおけるその役割はほとんど解明されていない。 Adamのような実践的なmin-maxアルゴリズムの重要なコンポーネントとして、このギャップは有効性を制限している。 本稿では,min-maxゲームにおける更新スキームを同時かつ交互に行うHBの連続時間解析について述べる。 局所的に、より小さなモーメントがアルゴリズムの安定性を高めることを証明し、より広いステップサイズにわたる局所収束を可能にする。 グローバルに,HBの暗黙的な正則化について検討し,損失景観の浅い斜面領域へ向けて,より小さな運動量ガイドアルゴリズムが進行し,その効果が増大することを示す。 驚くべきことに、これらの現象はすべて、より大きな運動量が同様の効果をもたらす最小化で観測された現象とは異なる。 この結果から,ミンマックスゲームにおけるHBと最小化の基本的な相違が明らかとなり,数値実験により理論的結果がさらに検証された。

関連論文リスト

• Rapid Learning in Constrained Minimax Games with Negative Momentum [5.086470864936883]
  本稿では,非拘束条件から制約条件まで負の運動量の発見を拡大する,運動量バッファ更新のための新しいフレームワークを提案する。 正規形式ゲーム (NFGs) と拡張形式ゲーム (EFGs) の両方の実験結果から、我々の運動量技術はアルゴリズムの性能を大幅に向上させることができることを示した。
  論文  参考訳（メタデータ） (2024-12-31T16:32:51Z)
• Losing momentum in continuous-time stochastic optimisation [42.617042045455506]
  運動量に基づく最適化アルゴリズムは 特に広まりました 本研究では、運動量を伴う勾配降下の連続時間モデルを解析する。 また、画像分類問題において畳み込みニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2022-09-08T10:46:05Z)
• On the fast convergence of minibatch heavy ball momentum [6.154018226934517]
  重球運動量は最適化問題に対する(決定論的)重球運動量の高速線形速度を保っていることを示す。 このアルゴリズムは,極小バッチと重い球運動量を持つランダム化カッツマーズアルゴリズムと解釈できる。
  論文  参考訳（メタデータ） (2022-06-15T14:12:45Z)
• Scaling up Mean Field Games with Online Mirror Descent [55.36153467919289]
  オンラインミラー Descent (OMD) を用いた平均場ゲーム (MFG) のスケールアップ均衡計算に対処する。 連続時間 OMD は自然かつモチベーションの良い単調性仮定の集合の下でナッシュ平衡に確実に収束することを示す。 様々な単一および多集団MFGに関する徹底的な実験的研究は、OMDがFictitious Play (FP)のような従来のアルゴリズムより優れていることを示している。
  論文  参考訳（メタデータ） (2021-02-28T21:28:36Z)
• On the Suboptimality of Negative Momentum for Minimax Optimization [9.400440302623839]
  負の運動量によってゲームダイナミクスの収束は局所的に加速するが、最適以下の速度で加速することを示す。 これは、この設定において明示的な収束率運動量を与える最初の研究である。
  論文  参考訳（メタデータ） (2020-08-17T16:34:53Z)
• Taming GANs with Lookahead-Minmax [63.90038365274479]
  MNIST, SVHN, CIFAR-10, ImageNetによる実験結果から, Lookahead-minmaxとAdam, Exgradientの併用が明らかとなった。 30倍のパラメータと16倍のミニバッチを使用して、クラスラベルを使わずに12.19のFIDを得ることにより、CIFAR-10上でクラス依存のBigGANのパフォーマンスを上回ります。
  論文  参考訳（メタデータ） (2020-06-25T17:13:23Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。