論文の概要: LEAD: Least-Action Dynamics for Min-Max Optimization

• arxiv url: http://arxiv.org/abs/2010.13846v2
• Date: Fri, 19 Feb 2021 18:45:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 20:28:37.448393
• Title: LEAD: Least-Action Dynamics for Min-Max Optimization
• Title（参考訳）: LEAD:Min-Max最適化のためのLast-Action Dynamics
• Authors: Reyhane Askari Hemmat, Amartya Mitra, Guillaume Lajoie, Ioannis Mitliagkas
• Abstract要約: 2人プレイヤ min-max ゲームの最適化における中心的な障害は、それらの収束を妨げる回転力学である。 我々は,min-max最適化を物理系としてキャストすることで,この問題に対処する新しいアプローチを採っている。 両線形ゲームに対する連続的および離散的設定におけるLEADの収束特性について検討し、ナッシュ平衡に対する線形収束を実証する。
• 参考スコア（独自算出の注目度）: 11.808346987640855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial formulations such as generative adversarial networks (GANs) have rekindled interest in two-player min-max games. A central obstacle in the optimization of such games is the rotational dynamics that hinder their convergence. Existing methods typically employ intuitive, carefully hand-designed mechanisms for controlling such rotations. In this paper, we take a novel approach to address this issue by casting min-max optimization as a physical system. We leverage tools from physics to introduce LEAD (Least-Action Dynamics), a second-order optimizer for min-max games. Next, using Lyapunov stability theory and spectral analysis, we study LEAD's convergence properties in continuous and discrete-time settings for bilinear games to demonstrate linear convergence to the Nash equilibrium. Finally, we empirically evaluate our method on synthetic setups and CIFAR-10 image generation to demonstrate improvements over baseline methods.
• Abstract（参考訳）: generative adversarial networks (gans) のような敵対的定式化は、2人プレイのmin-maxゲームへの関心を再び高めた。 このようなゲームの最適化における中心的な障害は、その収束を妨げる回転動力学である。 既存の方法は通常、直感的で慎重に設計された機構を使って回転を制御する。 本稿では,min-max最適化を物理系としてキャストすることで,この問題に対処する新しい手法を提案する。 ミニマックスゲームのための2階オプティマイザであるLEAD(Least-Action Dynamics)を導入した。 次に、リアプノフ安定理論とスペクトル解析を用いて、双線型ゲームにおけるリードの収束特性と離散時間設定について検討し、nash平衡への線形収束を示す。 最後に, 合成装置とCIFAR-10画像生成に関する提案手法を実証的に評価し, ベースライン法の改善を実証した。

関連論文リスト

• Track Everything Everywhere Fast and Robustly [46.362962852140015]
  ビデオ中の任意のピクセルを効率的に追跡するための新しいテスト時間最適化手法を提案する。 本稿では,関数表現を局所的な時空間特徴グリッドに分解する,新しい非可逆変形ネットワークCaDeX++を提案する。 本実験は,SoTA最適化手法であるOmniMotion上でのトレーニング速度( textbf10 倍の速度),堅牢性,精度を著しく向上したことを示す。
  論文  参考訳（メタデータ） (2024-03-26T17:58:22Z)
• SDEs for Minimax Optimization [11.290653315174382]
  本稿では,微分方程式(SDE)を用いてミニマックス収束の解析と比較を行う。 グラディエント・ディキセント、エクストラグラディエント、ハミルトニアン・ディキセントのSDEモデルはアルゴリズムの近似である。 この観点はまた、伊藤計算の原理に基づく統一的で単純化された分析戦略を可能にする。
  論文  参考訳（メタデータ） (2024-02-19T20:18:29Z)
• Energy-based Potential Games for Joint Motion Forecasting and Control [0.125828876338076]
  この研究は、モーション予測と制御における相互作用モデリングに対処するための数学的枠組みとしてゲーム理論を用いる。 差動ゲーム,最適制御,エネルギーベースモデル間の接続を確立し,提案したエネルギーベースポテンシャルゲーム定式化の下で既存のアプローチをどのように統合できるかを示す。 本稿では,ゲームパラメータ推論のためのニューラルネットワークと,帰納バイアスとして機能するゲーム理論最適化層を組み合わせた,新たなエンドツーエンド学習アプリケーションを提案する。
  論文  参考訳（メタデータ） (2023-12-04T11:30:26Z)
• On the Convergence of No-Regret Learning Dynamics in Time-Varying Games [89.96815099996132]
  時間変化ゲームにおける楽観的勾配降下(OGD)の収束を特徴付ける。 我々のフレームワークは、ゼロサムゲームにおけるOGDの平衡ギャップに対して鋭い収束境界をもたらす。 また,静的ゲームにおける動的後悔の保証に関する新たな洞察も提供する。
  論文  参考訳（メタデータ） (2023-01-26T17:25:45Z)
• Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
  本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。 我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。 アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
  論文  参考訳（メタデータ） (2022-10-31T17:59:29Z)
• Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
  データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。 ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。 ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
  論文  参考訳（メタデータ） (2022-04-09T22:07:34Z)
• Last-Iterate Convergence of Saddle-Point Optimizers via High-Resolution Differential Equations [83.3201889218775]
  広く使われている1次サドル点最適化法は、帰納的導出時に同一の連続時間常微分方程式(ODE)を導出する。 しかし、これらの方法の収束特性は、単純な双線型ゲームでさえ質的に異なる。 いくつかのサドル点最適化法のための微分方程式モデルの設計に流体力学の研究フレームワークを採用する。
  論文  参考訳（メタデータ） (2021-12-27T18:31:34Z)
• Constants of Motion: The Antidote to Chaos in Optimization and Game Dynamics [36.09131227448527]
  オンライン最適化とゲームダイナミクスに関する最近のいくつかの研究は、強い負の複雑さの結果を確立している。 これらの結果は次の質問を動機付けている: そのような力学の規則性を保証できる方法論ツールは? 運動の定数という不変函数の存在を証明することが、この方向の基本的な寄与であることを示す。
  論文  参考訳（メタデータ） (2021-09-08T23:37:13Z)
• PlasticineLab: A Soft-Body Manipulation Benchmark with Differentiable Physics [89.81550748680245]
  PasticineLabと呼ばれる新しい微分可能な物理ベンチマークを導入する。 各タスクにおいて、エージェントはマニピュレータを使用して、プラスチックを所望の構成に変形させる。 本稿では,既存の強化学習(RL)手法と勾配に基づく手法について評価する。
  論文  参考訳（メタデータ） (2021-04-07T17:59:23Z)
• On the Suboptimality of Negative Momentum for Minimax Optimization [9.400440302623839]
  負の運動量によってゲームダイナミクスの収束は局所的に加速するが、最適以下の速度で加速することを示す。 これは、この設定において明示的な収束率運動量を与える最初の研究である。
  論文  参考訳（メタデータ） (2020-08-17T16:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。