論文の概要: LEAD: Least-Action Dynamics for Min-Max Optimization

• arxiv url: http://arxiv.org/abs/2010.13846v3
• Date: Mon, 19 Jun 2023 14:28:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 08:28:18.137496
• Title: LEAD: Least-Action Dynamics for Min-Max Optimization
• Title（参考訳）: LEAD:Min-Max最適化のためのLast-Action Dynamics
• Authors: Reyhane Askari Hemmat, Amartya Mitra, Guillaume Lajoie, Ioannis Mitliagkas
• Abstract要約: GAN(Generative Adversarial Network)のような敵の定式化は、2プレイヤーのmin-maxゲームへの関心を再燃させた。 そのようなゲームの最適化における中心的な障害は、それらの収束を妨げる回転力学である。 ゲーム最適化は,複数の力の対象となる粒子システムと動的特性を共有できることを示す。
• 参考スコア（独自算出の注目度）: 11.808346987640855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial formulations such as generative adversarial networks (GANs) have rekindled interest in two-player min-max games. A central obstacle in the optimization of such games is the rotational dynamics that hinder their convergence. In this paper, we show that game optimization shares dynamic properties with particle systems subject to multiple forces, and one can leverage tools from physics to improve optimization dynamics. Inspired by the physical framework, we propose LEAD, an optimizer for min-max games. Next, using Lyapunov stability theory and spectral analysis, we study LEAD's convergence properties in continuous and discrete time settings for a class of quadratic min-max games to demonstrate linear convergence to the Nash equilibrium. Finally, we empirically evaluate our method on synthetic setups and CIFAR-10 image generation to demonstrate improvements in GAN training.
• Abstract（参考訳）: generative adversarial networks (gans) のような敵対的定式化は、2人プレイのmin-maxゲームへの関心を再び高めた。 このようなゲームの最適化における中心的な障害は、その収束を妨げる回転動力学である。 本稿では,ゲーム最適化が複数の力を持つ粒子システムと動的特性を共有することを示し,物理のツールを活用すれば,最適化のダイナミクスを向上できることを示す。 物理フレームワークにヒントを得て,ミニマックスゲームのための最適化ツールLEADを提案する。 次に、リアプノフ安定理論とスペクトル解析を用いて、二次ミニマックスゲームの連続時間および離散時間設定におけるリードの収束特性を調べ、ナッシュ平衡への線形収束を示す。 最後に, 合成装置とCIFAR-10画像生成の手法を実証的に評価し, GANトレーニングの改善を実証した。

関連論文リスト

• Track Everything Everywhere Fast and Robustly [46.362962852140015]
  ビデオ中の任意のピクセルを効率的に追跡するための新しいテスト時間最適化手法を提案する。 本稿では,関数表現を局所的な時空間特徴グリッドに分解する,新しい非可逆変形ネットワークCaDeX++を提案する。 本実験は,SoTA最適化手法であるOmniMotion上でのトレーニング速度( textbf10 倍の速度),堅牢性,精度を著しく向上したことを示す。
  論文  参考訳（メタデータ） (2024-03-26T17:58:22Z)
• SDEs for Minimax Optimization [11.290653315174382]
  本稿では,微分方程式(SDE)を用いてミニマックス収束の解析と比較を行う。 グラディエント・ディキセント、エクストラグラディエント、ハミルトニアン・ディキセントのSDEモデルはアルゴリズムの近似である。 この観点はまた、伊藤計算の原理に基づく統一的で単純化された分析戦略を可能にする。
  論文  参考訳（メタデータ） (2024-02-19T20:18:29Z)
• Energy-based Potential Games for Joint Motion Forecasting and Control [0.125828876338076]
  この研究は、モーション予測と制御における相互作用モデリングに対処するための数学的枠組みとしてゲーム理論を用いる。 差動ゲーム,最適制御,エネルギーベースモデル間の接続を確立し,提案したエネルギーベースポテンシャルゲーム定式化の下で既存のアプローチをどのように統合できるかを示す。 本稿では,ゲームパラメータ推論のためのニューラルネットワークと,帰納バイアスとして機能するゲーム理論最適化層を組み合わせた,新たなエンドツーエンド学習アプリケーションを提案する。
  論文  参考訳（メタデータ） (2023-12-04T11:30:26Z)
• On the Convergence of No-Regret Learning Dynamics in Time-Varying Games [89.96815099996132]
  時間変化ゲームにおける楽観的勾配降下(OGD)の収束を特徴付ける。 我々のフレームワークは、ゼロサムゲームにおけるOGDの平衡ギャップに対して鋭い収束境界をもたらす。 また,静的ゲームにおける動的後悔の保証に関する新たな洞察も提供する。
  論文  参考訳（メタデータ） (2023-01-26T17:25:45Z)
• Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
  本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。 我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。 アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
  論文  参考訳（メタデータ） (2022-10-31T17:59:29Z)
• Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
  データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。 ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。 ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
  論文  参考訳（メタデータ） (2022-04-09T22:07:34Z)
• Last-Iterate Convergence of Saddle-Point Optimizers via High-Resolution Differential Equations [83.3201889218775]
  広く使われている1次サドル点最適化法は、帰納的導出時に同一の連続時間常微分方程式(ODE)を導出する。 しかし、これらの方法の収束特性は、単純な双線型ゲームでさえ質的に異なる。 いくつかのサドル点最適化法のための微分方程式モデルの設計に流体力学の研究フレームワークを採用する。
  論文  参考訳（メタデータ） (2021-12-27T18:31:34Z)
• Constants of Motion: The Antidote to Chaos in Optimization and Game Dynamics [36.09131227448527]
  オンライン最適化とゲームダイナミクスに関する最近のいくつかの研究は、強い負の複雑さの結果を確立している。 これらの結果は次の質問を動機付けている: そのような力学の規則性を保証できる方法論ツールは? 運動の定数という不変函数の存在を証明することが、この方向の基本的な寄与であることを示す。
  論文  参考訳（メタデータ） (2021-09-08T23:37:13Z)
• PlasticineLab: A Soft-Body Manipulation Benchmark with Differentiable Physics [89.81550748680245]
  PasticineLabと呼ばれる新しい微分可能な物理ベンチマークを導入する。 各タスクにおいて、エージェントはマニピュレータを使用して、プラスチックを所望の構成に変形させる。 本稿では,既存の強化学習(RL)手法と勾配に基づく手法について評価する。
  論文  参考訳（メタデータ） (2021-04-07T17:59:23Z)
• On the Suboptimality of Negative Momentum for Minimax Optimization [9.400440302623839]
  負の運動量によってゲームダイナミクスの収束は局所的に加速するが、最適以下の速度で加速することを示す。 これは、この設定において明示的な収束率運動量を与える最初の研究である。
  論文  参考訳（メタデータ） (2020-08-17T16:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。