論文の概要: Linear convergence of proximal descent schemes on the Wasserstein space
- arxiv url: http://arxiv.org/abs/2411.15067v1
- Date: Fri, 22 Nov 2024 16:56:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-25 15:02:27.035647
- Title: Linear convergence of proximal descent schemes on the Wasserstein space
- Title（参考訳）: ワッサーシュタイン空間上の近位降下スキームの線型収束
- Authors: Razvan-Andrei Lascu, Mateusz B. Majka, David Šiška, Łukasz Szpruch,
- Abstract要約: 相対エントロピー $operatornameKL(cdot|pi)$ が独自のワッサーシュタイン部分次数を持ち、相対フィッシャー情報が実際に有限であることを証明する。
我々は、一様対数ソボレフ不等式(LSI)とエントロピーの「サンドウィッチ」補題を用いて、arXiv:2201.10469とarXiv:2202.01009から解析を拡張した。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: We investigate proximal descent methods, inspired by the minimizing movement scheme introduced by Jordan, Kinderlehrer and Otto, for optimizing entropy-regularized functionals on the Wasserstein space. We establish linear convergence under flat convexity assumptions, thereby relaxing the common reliance on geodesic convexity. Our analysis circumvents the need for discrete-time adaptations of the Evolution Variational Inequality (EVI). Instead, we leverage a uniform logarithmic Sobolev inequality (LSI) and the entropy "sandwich" lemma, extending the analysis from arXiv:2201.10469 and arXiv:2202.01009. The major challenge in the proof via LSI is to show that the relative Fisher information $I(\cdot|\pi)$ is well-defined at every step of the scheme. Since the relative entropy is not Wasserstein differentiable, we prove that along the scheme the iterates belong to a certain class of Sobolev regularity, and hence the relative entropy $\operatorname{KL}(\cdot|\pi)$ has a unique Wasserstein sub-gradient, and that the relative Fisher information is indeed finite.
- Abstract（参考訳）: 我々は、ワッサーシュタイン空間上のエントロピー正規化函数を最適化するために、ヨルダン、キンドルラー、オットーによって導入された最小化運動スキームから着想を得た近位降下法について検討する。
平坦な凸性仮定の下で線形収束を確立することにより、測地的凸性への共通依存を緩和する。
我々の分析は、進化変分不等式(EVI)の離散時間適応の必要性を回避している。
代わりに、一様対数ソボレフ不等式(LSI)とエントロピーの「サンドウィッチ」補題を活用し、arXiv:2201.10469とarXiv:2202.01009から解析を拡張した。
LSIによる証明における大きな課題は、相対的なフィッシャー情報$I(\cdot|\pi)$がスキームのすべてのステップで十分に定義されることを示すことである。
相対エントロピーはワッサーシュタイン微分可能でないので、イテレートがソボレフ正則のある種のクラスに属するスキームに沿って、相対エントロピー $\operatorname{KL}(\cdot|\pi)$ は独自のワッサーシュタイン部分次数を持ち、相対フィッシャー情報は確かに有限であることを示す。
関連論文リスト
- Continuous-time Riemannian SGD and SVRG Flows on Wasserstein Probabilistic Space [17.13355049019388]
我々はワッサーシュタイン空間上の勾配流を勾配降下流(SGD)と分散還元流(SVRG)に拡張する。
ワッサーシュタイン空間の性質を利用して、ユークリッド空間における対応する離散力学を近似するために微分方程式を構築する。
この結果はユークリッド空間における結果と一致することが証明されている。
論文 参考訳（メタデータ） (2024-01-24T15:35:44Z) - Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。
また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文 参考訳（メタデータ） (2023-04-27T06:27:37Z) - Randomized Coordinate Subgradient Method for Nonsmooth Composite
Optimization [11.017632675093628]
非滑らかな問題に対処するコーディネート型劣階法は、リプシッツ型仮定の性質のセットのため、比較的過小評価されている。
論文 参考訳（メタデータ） (2022-06-30T02:17:11Z) - Global Convergence of Over-parameterized Deep Equilibrium Models [52.65330015267245]
ディープ均衡モデル(Deep equilibrium model, DEQ)は、入射を伴う無限深度重み付きモデルの平衡点を通して暗黙的に定義される。
無限の計算の代わりに、ルートフィンディングで直接平衡点を解き、暗黙の微分で勾配を計算する。
本稿では,無限深度重み付きモデルの非漸近解析における技術的困難を克服する新しい確率的枠組みを提案する。
論文 参考訳（メタデータ） (2022-05-27T08:00:13Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳（メタデータ） (2021-12-29T18:46:52Z) - Non-asymptotic convergence bounds for Wasserstein approximation using
point clouds [0.0]
モデル確率分布からサンプルしたような離散データを生成する方法を示す。
収束型アルゴリズムに対して明示的な上限を与える。
論文 参考訳（メタデータ） (2021-06-15T06:53:08Z) - Last iterate convergence of SGD for Least-Squares in the Interpolation
regime [19.05750582096579]
基本最小二乗構成におけるノイズレスモデルについて検討する。
最適予測器が完全に入力に適合すると仮定し、$langletheta_*, phi(X) rangle = Y$, ここで$phi(X)$は無限次元の非線型特徴写像を表す。
論文 参考訳（メタデータ） (2021-02-05T14:02:20Z) - Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
分散最適化問題は機械学習や統計学で広く発生する。
本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。
目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
論文 参考訳（メタデータ） (2020-12-21T18:33:13Z) - Debiased Sinkhorn barycenters [110.79706180350507]
最適輸送(OT)におけるエントロピー正則化(Entropy regularization)は、機械学習におけるWassersteinメトリクスやバリセンタに対する近年の関心の原動力となっている。
このバイアスがエントロピー正則化器を定義する基準測度とどのように密接に関連しているかを示す。
両世界の長所を保ち、エントロピーを滑らかにしないシンクホーン様の高速な反復をデバイアスド・ワッサースタインのバリセンタとして提案する。
論文 参考訳（メタデータ） (2020-06-03T23:06:02Z) - The Wasserstein Proximal Gradient Algorithm [23.143814848127295]
ワッサーシュタイン勾配流は、確率測度の空間上の目的関数を最小化するために最も急勾配の曲線を定義する連続時間力学である。
目的関数が滑らかで非滑らかな空間的凸項の和である場合に対処できるフォワードバックワード(FB)離散化スキームを提案する。
論文 参考訳（メタデータ） (2020-02-07T22:19:32Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。