Fugu-MT 論文翻訳(概要): A Fisher-Rao gradient flow for entropic mean-field min-max games

論文の概要: A Fisher-Rao gradient flow for entropic mean-field min-max games

arxiv url: http://arxiv.org/abs/2405.15834v1
Date: Fri, 24 May 2024 09:15:29 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 02:29:48.155474
Title: A Fisher-Rao gradient flow for entropic mean-field min-max games
Title（参考訳）: エントロピー平均場 min-max ゲームに対するフィッシャー・ラオ勾配流
Authors: Razvan-Andrei Lascu, Mateusz B. Majka, Łukasz Szpruch,
Abstract要約: グラディエントフローは多くの機械学習問題に対処する上で重要な役割を果たす。エントロピー正則化を用いた凸凹型min-maxゲームにおいて,テキストフィッシャー・ラオ(Mean-Field Birth-Death)勾配流の連続時間収束について検討する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Gradient flows play a substantial role in addressing many machine learning problems. We examine the convergence in continuous-time of a \textit{Fisher-Rao} (Mean-Field Birth-Death) gradient flow in the context of solving convex-concave min-max games with entropy regularization. We propose appropriate Lyapunov functions to demonstrate convergence with explicit rates to the unique mixed Nash equilibrium.
Abstract（参考訳）: グラディエントフローは多くの機械学習問題に対処する上で重要な役割を果たす。エントロピー正則化を用いた凸凹型min-maxゲーム解法において,<textit{Fisher-Rao} (Mean-Field Birth-Death) 勾配流の連続時間収束について検討する。我々は、一意混合ナッシュ平衡に対する明示的な速度で収束を示すための適切なリャプノフ関数を提案する。

関連論文リスト

Training Dynamics of Multi-Head Softmax Attention for In-Context Learning: Emergence, Convergence, and Optimality [54.20763128054692]
マルチタスク線形回帰の文脈内学習のためのマルチヘッドソフトマックスアテンションモデルを訓練するための勾配流のダイナミクスについて検討する。我々は,勾配流のダイナミックス中に,興味深い「タスク割り当て」現象が現れることを証明した。
論文参考訳（メタデータ） (2024-02-29T18:43:52Z)
Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文参考訳（メタデータ） (2023-12-02T13:01:29Z)
PAPAL: A Provable PArticle-based Primal-Dual ALgorithm for Mixed Nash Equilibrium [62.51015395213579]
2プレイヤゼロサム連続ゲームにおける非AL平衡非漸近目的関数について考察する。提案アルゴリズムは粒子の動きを利用して$ilon$-mixed Nash平衡のランダム戦略の更新を表現する。
論文参考訳（メタデータ） (2023-03-02T05:08:15Z)
Convergence rates for momentum stochastic gradient descent with noise of machine learning type [1.4213973379473654]
我々は、降下スキーム(MSGD)の運動量と、その連続的インタイム(continuous-in-time)の運動量を考える。対象関数に対する目的関数値のほぼ指数収束性を示す。
論文参考訳（メタデータ） (2023-02-07T15:59:08Z)
Generalized Gradient Flows with Provable Fixed-Time Convergence and Fast Evasion of Non-Degenerate Saddle Points [8.452349885923507]
グラディエントベースの1次凸最適化アルゴリズムは、機械学習タスクを含むさまざまな領域で広く適用可能である。最適時間の固定時間理論の最近の進歩に触発されて,高速化最適化アルゴリズムを設計するための枠組みを導入する。非ド・サドル点を許容する関数に対しては、これらのサドル点を避けるのに必要な時間は初期条件すべてに一様有界であることを示す。
論文参考訳（メタデータ） (2022-12-07T16:36:23Z)
Stochastic Langevin Differential Inclusions with Applications to Machine Learning [5.274477003588407]
ランゲヴィン型微分包含物の流動と性質に関する基礎的な結果を示す。特に、解の存在が強く、また自由エネルギー関数の正準最小化が示される。
論文参考訳（メタデータ） (2022-06-23T08:29:17Z)
Regularized Gradient Descent Ascent for Two-Player Zero-Sum Markov Games [16.09467599829253]
本研究では,2プレーヤゼロサムゲームにおけるナッシュ平衡を求める問題について検討する。我々の主な貢献は、正規化パラメータの適切な選択の下で、勾配が元の非正規化問題のナッシュ平衡に傾くことを示すことである。
論文参考訳（メタデータ） (2022-05-27T03:24:12Z)
Provably convergent quasistatic dynamics for mean-field two-player zero-sum games [10.39511271647025]
我々は、ある確率分布がワッセルシュタイン勾配の流れに従うような準静的ワッセルシュタイン勾配流れのダイナミクスを考察し、他方の確率分布は常に平衡状態にある。確率分布の連続力学に着想を得て、内外反復を伴う擬静的なランゲヴィン勾配降下法を導出する。
論文参考訳（メタデータ） (2022-02-15T20:19:42Z)
Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文参考訳（メタデータ） (2022-01-25T17:13:56Z)
Stability and Generalization of Stochastic Gradient Methods for Minimax Problems [71.60601421935844]
多くの機械学習問題は、GAN(Generative Adversarial Networks)のようなミニマックス問題として定式化できる。ミニマックス問題に対するトレーニング勾配法から例を包括的に一般化解析する。
論文参考訳（メタデータ） (2021-05-08T22:38:00Z)
A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。