論文の概要: Local convergence of min-max algorithms to differentiable equilibrium on Riemannian manifold
- arxiv url: http://arxiv.org/abs/2405.13392v1
- Date: Wed, 22 May 2024 07:07:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-25 01:04:57.078575
- Title: Local convergence of min-max algorithms to differentiable equilibrium on Riemannian manifold
- Title（参考訳）: リーマン多様体上の微分可能な平衡へのmin-maxアルゴリズムの局所収束
- Authors: Sixin Zhang,
- Abstract要約: このような平衡付近での同時アルゴリズム $tau$-GDA と $tau$-SGA の局所収束条件を提供する。
GAN の判別器は、スティフェル多様体に基づくリプシッツ連続函数から構成される。
局所収束解析から得られた知見が,GANモデルの改善につながる可能性があることを示す。
- 参考スコア（独自算出の注目度）: 2.973331166114387
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study min-max algorithms to solve zero-sum differentiable games on Riemannian manifold. The notions of differentiable Stackelberg equilibrium and differentiable Nash equilibrium in Euclidean space are generalized to Riemannian manifold, through an intrinsic definition which does not depend on the choice of local coordinate chart of manifold. We then provide sufficient conditions for the local convergence of the deterministic simultaneous algorithms $\tau$-GDA and $\tau$-SGA near such equilibrium, using a general methodology based on spectral analysis. These algorithms are extended with stochastic gradients and applied to the training of Wasserstein GAN. The discriminator of GAN is constructed from Lipschitz-continuous functions based on Stiefel manifold. We show numerically how the insights obtained from the local convergence analysis may lead to an improvement of GAN models.
- Abstract（参考訳）: 我々は、リーマン多様体上のゼロサム微分可能なゲームを解決するために、min-maxアルゴリズムを研究する。
ユークリッド空間における微分可能なスタックルバーグ均衡と微分可能なナッシュ均衡の概念は、多様体の局所座標チャートの選択に依存しない内在的定義を通じてリーマン多様体に一般化される。
次に、スペクトル分析に基づく一般的な手法を用いて、決定論的同時アルゴリズム $\tau$-GDA と $\tau$-SGA の局所収束に十分な条件を与える。
これらのアルゴリズムは確率勾配で拡張され、ワッサーシュタイン GAN の訓練に適用される。
GAN の判別器は、スティフェル多様体に基づくリプシッツ連続函数から構成される。
局所収束解析から得られた知見がGANモデルの改善にどのように寄与するかを数値的に示す。
関連論文リスト
- Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳（メタデータ） (2023-08-28T23:51:33Z) - Decentralized Riemannian Conjugate Gradient Method on the Stiefel
Manifold [59.73080197971106]
本稿では,最急降下法よりも高速に収束する一階共役最適化法を提案する。
これはスティーフェル多様体上の大域収束を達成することを目的としている。
論文 参考訳（メタデータ） (2023-08-21T08:02:16Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Gradient Flows for Sampling: Mean-Field Models, Gaussian Approximations
and Affine Invariance [10.892894776497165]
確率密度空間とガウス空間の両方における勾配流について検討する。
ガウス空間のフローは、フローのガウス近似として理解することができる。
論文 参考訳（メタデータ） (2023-02-21T21:44:08Z) - Stationary Behavior of Constant Stepsize SGD Type Algorithms: An
Asymptotic Characterization [4.932130498861987]
一定段差がゼロとなる極限において, 適切にスケールされた定常分布の挙動について検討する。
極限スケールの定常分布は積分方程式の解であることを示す。
論文 参考訳（メタデータ） (2021-11-11T17:39:50Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - Decentralized Riemannian Gradient Descent on the Stiefel Manifold [39.750623187256735]
エージェントのネットワークがStiefel多様体上のグローバル関数を最小化することを目的としている分散非センシアン最適化を考える。
一定の使用条件を満たすために、Stiefel多様体のための分散勾配(DRA)も提案する。
論文 参考訳（メタデータ） (2021-02-14T07:30:23Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - Local optimization on pure Gaussian state manifolds [63.76263875368856]
ボソニックおよびフェルミオンガウス状態の幾何学に関する洞察を利用して、効率的な局所最適化アルゴリズムを開発する。
この手法は局所幾何学に適応した降下勾配の概念に基づいている。
提案手法を用いて、任意の混合ガウス状態の精製の絡み合いを計算するのにガウス浄化が十分であるという予想の数値的および解析的証拠を収集する。
論文 参考訳（メタデータ） (2020-09-24T18:00:36Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳（メタデータ） (2020-04-09T17:54:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。