論文の概要: Averaging on the Bures-Wasserstein manifold: dimension-free convergence
of gradient descent
- arxiv url: http://arxiv.org/abs/2106.08502v2
- Date: Fri, 21 Apr 2023 16:21:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-24 18:47:51.035314
- Title: Averaging on the Bures-Wasserstein manifold: dimension-free convergence
of gradient descent
- Title（参考訳）: Bures-Wasserstein多様体上の平均化:勾配勾配の次元自由収束
- Authors: Jason M. Altschuler, Sinho Chewi, Patrik Gerber, Austin J. Stromme
- Abstract要約: 我々は,新たな測地的凸性の結果を証明し,イテレートのより強力な制御,自由収束を実現した。
また, この手法により, 平均化の概念, エントロピック規則化バリセンタ, 幾何中央値の2つの解析が可能となった。
- 参考スコア（独自算出の注目度）: 4.951247283741297
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study first-order optimization algorithms for computing the barycenter of
Gaussian distributions with respect to the optimal transport metric. Although
the objective is geodesically non-convex, Riemannian GD empirically converges
rapidly, in fact faster than off-the-shelf methods such as Euclidean GD and SDP
solvers. This stands in stark contrast to the best-known theoretical results
for Riemannian GD, which depend exponentially on the dimension. In this work,
we prove new geodesic convexity results which provide stronger control of the
iterates, yielding a dimension-free convergence rate. Our techniques also
enable the analysis of two related notions of averaging, the
entropically-regularized barycenter and the geometric median, providing the
first convergence guarantees for Riemannian GD for these problems.
- Abstract（参考訳）: 最適輸送計量に関してガウス分布のバリ中心を計算するための一階最適化アルゴリズムについて検討する。
目的は測地的に非凸であるが、リーマン GD は経験的に急速に収束し、実際はユークリッド GD や SDP ソルバのような既製の方法よりも速い。
これは、次元に指数関数的に依存するリーマン gd の最もよく知られた理論結果とは対照的である。
本研究では,新たな測地的凸性を証明し,イテレートをより強く制御し,次元自由収束率を導出する。
また本手法は, 2つの関連する平均化概念, エントロピー正規化バリセンタと幾何学的中央値の解析を可能にし, リーマン gd に対する最初の収束保証を提供する。
関連論文リスト
- On Barycenter Computation: Semi-Unbalanced Optimal Transport-based Method on Gaussians [24.473522267391072]
本研究では,実測地線勾配Descent とHybrid Gradient Descent と名づけられたBures-Wasserstein多様体上のアルゴリズムを開発した。
両手法の理論的収束保証を確立し、エクサクソン測地勾配Descentアルゴリズムが非次元収束率を得ることを示す。
論文 参考訳（メタデータ） (2024-10-10T17:01:57Z) - Decentralized Riemannian Conjugate Gradient Method on the Stiefel
Manifold [59.73080197971106]
本稿では,最急降下法よりも高速に収束する一階共役最適化法を提案する。
これはスティーフェル多様体上の大域収束を達成することを目的としている。
論文 参考訳（メタデータ） (2023-08-21T08:02:16Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Decentralized Riemannian natural gradient methods with Kronecker-product
approximations [11.263837420265594]
本稿では,分散化多様体最適化問題の解法として,効率的な分散化自然勾配降下法(DRNGD)を提案する。
クロネッカー因子を介して通信を行うことにより、RFIMの高品質な近似を低コストで得ることができる。
論文 参考訳（メタデータ） (2023-03-16T19:36:31Z) - First-Order Algorithms for Min-Max Optimization in Geodesic Metric
Spaces [93.35384756718868]
min-maxアルゴリズムはユークリッド設定で解析されている。
指数関数法 (RCEG) が線形速度で最終収束を補正したことを証明した。
論文 参考訳（メタデータ） (2022-06-04T18:53:44Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - On the Local Linear Rate of Consensus on the Stiefel Manifold [39.750623187256735]
我々は(連結でない問題に対して)シュティーフェル問題上のシュティーフェル勾配の性質の収束を制限する。
主な課題は、(i)分析のための技術を開発すること、(ii)常にローカルに留まっている状況(例えば、適切なステップサイズと、その下に常にローカルに留まっている状態)を特定することである。
論文 参考訳（メタデータ） (2021-01-22T21:52:38Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳（メタデータ） (2020-02-16T09:01:18Z) - GradientDICE: Rethinking Generalized Offline Estimation of Stationary
Values [75.17074235764757]
対象ポリシーの状態分布とサンプリング分布の密度比を推定するグラディエントDICEを提案する。
GenDICEはそのような密度比を推定するための最先端技術である。
論文 参考訳（メタデータ） (2020-01-29T22:10:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。