論文の概要: Accelerated regularized learning in finite N-person games

• arxiv url: http://arxiv.org/abs/2412.20365v1
• Date: Sun, 29 Dec 2024 06:09:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:03:53.013771
• Title: Accelerated regularized learning in finite N-person games
• Title（参考訳）: 有限N人ゲームにおける加速正規化学習
• Authors: Kyriakos Lotidis, Angeliki Giannou, Panayotis Mertikopoulos, Nicholas Bambos,
• Abstract要約: 我々は、加速的リーダー(FTXL)と呼ばれる、加速的学習手法のファミリーを紹介する。 FTXLは局所的に超線形速度で厳密なナッシュ平衡に収束し、バニラ正規化学習法を指数的に高速化する。
• 参考スコア（独自算出の注目度）: 34.37854832849245
• License:
• Abstract: Motivated by the success of Nesterov's accelerated gradient algorithm for convex minimization problems, we examine whether it is possible to achieve similar performance gains in the context of online learning in games. To that end, we introduce a family of accelerated learning methods, which we call "follow the accelerated leader" (FTXL), and which incorporates the use of momentum within the general framework of regularized learning - and, in particular, the exponential/multiplicative weights algorithm and its variants. Drawing inspiration and techniques from the continuous-time analysis of Nesterov's algorithm, we show that FTXL converges locally to strict Nash equilibria at a superlinear rate, achieving in this way an exponential speed-up over vanilla regularized learning methods (which, by comparison, converge to strict equilibria at a geometric, linear rate). Importantly, FTXL maintains its superlinear convergence rate in a broad range of feedback structures, from deterministic, full information models to stochastic, realization-based ones, and even when run with bandit, payoff-based information, where players are only able to observe their individual realized payoffs.
• Abstract（参考訳）: 凸最小化問題に対するNesterovの高速化勾配アルゴリズムの成功により、ゲームにおけるオンライン学習の文脈において、同様のパフォーマンス向上が達成できるかどうかを検討する。 そこで我々は, 一般化学習の一般的な枠組みに運動量の利用を取り入れ, 特に指数的/乗算的重み付けアルゴリズムとその変種を取り入れた, 高速化学習手法のファミリーを紹介した。 ネステロフのアルゴリズムの連続時間解析からインスピレーションと技法を導き、FTXLは局所的に超線形速度で厳密なナッシュ平衡に収束し、この方法でバニラ正規化学習法(比較すると、幾何的線形速度で厳密な平衡に収束する)を指数的に高速化することを示した。 重要なことは、FTXLは決定論的、完全情報モデルから確率的、現実化ベースのものまで幅広いフィードバック構造において、超線形収束率を維持している。

関連論文リスト

• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• A unified stochastic approximation framework for learning in games [82.74514886461257]
  ゲームにおける学習の長期的挙動(連続的・有限的)を解析するためのフレキシブルな近似フレームワークを開発する。 提案する分析テンプレートには,勾配に基づく手法,有限ゲームでの学習のための指数的/乗算的重み付け,楽観的および帯域的変異など,幅広い一般的な学習アルゴリズムが組み込まれている。
  論文  参考訳（メタデータ） (2022-06-08T14:30:38Z)
• Acceleration via Fractal Learning Rate Schedules [37.878672787331105]
  学習率のスケジュールは理解が困難であり、チューニングに費用がかかることが知られている。 我々は,数値解析文献からの反復的アルゴリズムを,バニラ勾配降下を加速するためのチェビシェフ学習率スケジュールと再解釈する。 深層学習における「安定性の最先端」の理解に挑戦するための実験と議論を行う。
  論文  参考訳（メタデータ） (2021-03-01T22:52:13Z)
• A Stable High-order Tuner for General Convex Functions [0.0]
  線形回帰問題に対して高次チューナー (HT) を開発した。 本稿では、一般凸損失関数に対する同じHTの結果を拡張し、議論する。 本稿では,HTアルゴリズムの満足な動作を支援する数値シミュレーションと,高速化学習特性について述べる。
  論文  参考訳（メタデータ） (2020-11-19T17:50:53Z)
• Improved Analysis of Clipping Algorithms for Non-convex Optimization [19.507750439784605]
  最近、citetzhang 2019gradient show that clipped (stochastic) Gradient Descent (GD) converges faster than vanilla GD/SGD。 実験は、深層学習におけるクリッピングに基づく手法の優位性を確認する。
  論文  参考訳（メタデータ） (2020-10-05T14:36:59Z)
• On Learning Rates and Schr\"odinger Operators [105.32118775014015]
  本稿では,学習率の影響に関する一般的な理論的分析を行う。 学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
  論文  参考訳（メタデータ） (2020-04-15T09:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。