論文の概要: Understanding Lookahead Dynamics Through Laplace Transform

• arxiv url: http://arxiv.org/abs/2506.13712v1
• Date: Mon, 16 Jun 2025 17:20:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:49.098293
• Title: Understanding Lookahead Dynamics Through Laplace Transform
• Title（参考訳）: ラプラス変換によるルックアヘッドダイナミクスの理解
• Authors: Aniket Sanyal, Tatjana Chavdarova,
• Abstract要約: ゲーム内のハイパーパラメータの収束解析のための周波数領域フレームワークを提案する。 双線型ゲームの離散時間ダイナミクスを周波数領域に変換し、正確な収束基準を導出する。 離散時間設定における実証的検証は、我々のアプローチの有効性を示す。
• 参考スコア（独自算出の注目度）: 4.204990010424083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a frequency-domain framework for convergence analysis of hyperparameters in game optimization, leveraging High-Resolution Differential Equations (HRDEs) and Laplace transforms. Focusing on the Lookahead algorithm--characterized by gradient steps $k$ and averaging coefficient $\alpha$--we transform the discrete-time oscillatory dynamics of bilinear games into the frequency domain to derive precise convergence criteria. Our higher-precision $O(\gamma^2)$-HRDE models yield tighter criteria, while our first-order $O(\gamma)$-HRDE models offer practical guidance by prioritizing actionable hyperparameter tuning over complex closed-form solutions. Empirical validation in discrete-time settings demonstrates the effectiveness of our approach, which may further extend to locally linear operators, offering a scalable framework for selecting hyperparameters for learning in games.
• Abstract（参考訳）: 本稿では,高分解能微分方程式(HRDE)とラプラス変換を利用した,ゲーム最適化におけるハイパーパラメータの収束解析のための周波数領域フレームワークを提案する。 グラデーションステップ$k$と平均係数$\alpha$-を特徴とするLookaheadアルゴリズムに着目して、バイリニアゲームの離散時間振動ダイナミクスを周波数領域に変換し、正確な収束基準を導出する。 より高精度な$O(\gamma^2)$-HRDEモデルではより厳密な基準が得られ、一方、$O(\gamma)$-HRDEモデルは複雑な閉形式解に対して実行可能なハイパーパラメータチューニングを優先順位付けすることで実用的なガイダンスを提供する。 離散時間設定における実証的検証は,ゲーム内での学習のためのハイパーパラメータ選択のためのスケーラブルなフレームワークを提供することにより,より局所線形演算子に拡張可能なアプローチの有効性を示す。

関連論文リスト

• More Optimal Fractional-Order Stochastic Gradient Descent for Non-Convex Optimization Problems [2.5971517743176915]
  本稿では,FOSGDとFOSGDを統合した2FOSGD法を提案する。 感度と有効次元性を追跡することにより、2SEDFOSGDは指数を動的に変調し、スラグ振動と急収束を緩和する。
  論文  参考訳（メタデータ） (2025-05-05T19:27:36Z)
• SDEs for Minimax Optimization [11.290653315174382]
  本稿では,微分方程式(SDE)を用いてミニマックス収束の解析と比較を行う。 グラディエント・ディキセント、エクストラグラディエント、ハミルトニアン・ディキセントのSDEモデルはアルゴリズムの近似である。 この観点はまた、伊藤計算の原理に基づく統一的で単純化された分析戦略を可能にする。
  論文  参考訳（メタデータ） (2024-02-19T20:18:29Z)
• PROMISE: Preconditioned Stochastic Optimization Methods by Incorporating Scalable Curvature Estimates [17.777466668123886]
  PROMISE ($textbfPr$econditioned $textbfO$ptimization $textbfM$ethods by $textbfI$ncorporating $textbfS$calable Curvature $textbfE$stimates)はスケッチベースの事前条件勾配アルゴリズムである。 PROMISEには、SVRG、SAGA、およびKatyushaのプレコンディション版が含まれている。
  論文  参考訳（メタデータ） (2023-09-05T07:49:10Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Last-Iterate Convergence of Saddle-Point Optimizers via High-Resolution Differential Equations [83.3201889218775]
  広く使われている1次サドル点最適化法は、帰納的導出時に同一の連続時間常微分方程式(ODE)を導出する。 しかし、これらの方法の収束特性は、単純な双線型ゲームでさえ質的に異なる。 いくつかのサドル点最適化法のための微分方程式モデルの設計に流体力学の研究フレームワークを採用する。
  論文  参考訳（メタデータ） (2021-12-27T18:31:34Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Dynamics of Stochastic Momentum Methods on Large-scale, Quadratic Models [0.2741266294612776]
  我々は高次元ランダム最小二乗問題に対して運動量を持つ勾配アルゴリズムのクラスを解析する。 固定運動量パラメータを持つ(小バッチ)運動量では,ステップサイズを正確に調整した場合,SGDよりも実際の性能向上は得られないことを示す。 非強凸条件では、運動量を用いてSGDよりも大きな改善が得られる。
  論文  参考訳（メタデータ） (2021-06-07T15:08:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。