論文の概要: Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization
- arxiv url: http://arxiv.org/abs/2012.11554v2
- Date: Mon, 1 Apr 2024 03:56:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 00:13:17.415315
- Title: Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization
- Title（参考訳）: 変分輸送:分布最適化のための収束粒子に基づくアルゴリズム
- Authors: Zhuoran Yang, Yufeng Zhang, Yongxin Chen, Zhaoran Wang,
- Abstract要約: 分散最適化問題は機械学習や統計学で広く発生する。
本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。
目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
- 参考スコア（独自算出の注目度）: 106.70006655990176
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the optimization problem of minimizing a functional defined over a family of probability distributions, where the objective functional is assumed to possess a variational form. Such a distributional optimization problem arises widely in machine learning and statistics, with Monte-Carlo sampling, variational inference, policy optimization, and generative adversarial network as examples. For this problem, we propose a novel particle-based algorithm, dubbed as variational transport, which approximately performs Wasserstein gradient descent over the manifold of probability distributions via iteratively pushing a set of particles. Specifically, we prove that moving along the geodesic in the direction of functional gradient with respect to the second-order Wasserstein distance is equivalent to applying a pushforward mapping to a probability distribution, which can be approximated accurately by pushing a set of particles. Specifically, in each iteration of variational transport, we first solve the variational problem associated with the objective functional using the particles, whose solution yields the Wasserstein gradient direction. Then we update the current distribution by pushing each particle along the direction specified by such a solution. By characterizing both the statistical error incurred in estimating the Wasserstein gradient and the progress of the optimization algorithm, we prove that when the objective function satisfies a functional version of the Polyak-\L{}ojasiewicz (PL) (Polyak, 1963) and smoothness conditions, variational transport converges linearly to the global minimum of the objective functional up to a certain statistical error, which decays to zero sublinearly as the number of particles goes to infinity.
- Abstract（参考訳）: 確率分布の族上で定義された関数を最小化する最適化問題を考える。
このような分布最適化問題は、モンテカルロサンプリング、変分推論、ポリシー最適化、生成的敵ネットワークを例に、機械学習や統計学において広く発生する。
そこで本研究では,一組の粒子を反復的に押すことによって,確率分布の多様体上のワッサーシュタイン勾配降下を近似的に行う,変分輸送と呼ばれる新しい粒子ベースアルゴリズムを提案する。
具体的には、2階のワッサーシュタイン距離に対する関数勾配方向の測地線に沿って移動することは、粒子の集合を押して正確に近似できる確率分布へのプッシュフォワードマッピングと等価であることを示す。
具体的には、変分輸送の各イテレーションにおいて、まず、粒子を用いて目的関数に関連する変分問題を解き、その解はワッサーシュタイン勾配方向を導出する。
次に,各粒子をそのような溶液で指定された方向に沿って押し付けて電流分布を更新する。
ワッサーシュタイン勾配の推定における統計的誤差と最適化アルゴリズムの進歩の両方を特徴付けることにより、目的関数がポリアック-\L{}ojasiewicz (PL) (ポリアック, 1963) の関数バージョンを満たすとき、変動輸送は、ある統計誤差まで線形に収束し、粒子の数が無限大になるにつれて、下位に崩壊する。
関連論文リスト
- Semi-Implicit Functional Gradient Flow [30.32233517392456]
近似系として摂動粒子を用いる関数勾配ParVI法を提案する。
対応する関数勾配流は、スコアマッチングによって推定できるが、強い理論的収束を保証する。
論文 参考訳（メタデータ） (2024-10-23T15:00:30Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Flow-based Distributionally Robust Optimization [23.232731771848883]
We present a framework, called $textttFlowDRO$, for solve flow-based distributionally robust optimization (DRO) problem with Wasserstein uncertainty set。
我々は、連続した最悪のケース分布(Last Favorable Distribution, LFD)とそれからのサンプルを見つけることを目指している。
本稿では、逆学習、分布論的に堅牢な仮説テスト、およびデータ駆動型分布摂動差分プライバシーの新しいメカニズムを実証する。
論文 参考訳（メタデータ） (2023-10-30T03:53:31Z) - Moreau-Yoshida Variational Transport: A General Framework For Solving Regularized Distributional Optimization Problems [3.038642416291856]
クラス確率分布上に定義された複合目的関数を最小化する一般的な最適化問題を考える。
本稿では,正規分布最適化問題の解法として,モロー・吉田変分輸送(MYVT)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-07-31T01:14:42Z) - Gradient Flows for Sampling: Mean-Field Models, Gaussian Approximations and Affine Invariance [10.153270126742369]
確率密度空間とガウス空間の両方における勾配流について検討する。
ガウス空間のフローは、フローのガウス近似として理解することができる。
論文 参考訳（メタデータ） (2023-02-21T21:44:08Z) - Efficient displacement convex optimization with particle gradient
descent [57.88860627977882]
粒子勾配降下は確率測度の関数の最適化に広く用いられている。
本稿では, 有限個の粒子による粒子勾配降下について考察し, その理論的保証を定式化して, 測度に置換凸となる関数を最適化する。
論文 参考訳（メタデータ） (2023-02-09T16:35:59Z) - A Particle-Based Algorithm for Distributional Optimization on
\textit{Constrained Domains} via Variational Transport and Mirror Descent [4.835289158553091]
本稿では,制約領域上の確率分布に対して,変分形式を認めて定義する目的関数を最小化する問題を考察する。
制約付き最適化のためのミラー降下アルゴリズムに着想を得て、ミラー変動輸送(mirrorVT)と呼ばれる反復的な粒子ベースアルゴリズムを提案する。
単純およびユークリッド球制約領域上の確率分布上の関数を最小化するための mirrorVT の有効性を実証する。
論文 参考訳（メタデータ） (2022-08-01T03:25:01Z) - Near-optimal estimation of smooth transport maps with kernel
sums-of-squares [81.02564078640275]
滑らかな条件下では、2つの分布の間の正方形ワッサーシュタイン距離は、魅力的な統計的誤差上界で効率的に計算できる。
生成的モデリングのような応用への関心の対象は、基礎となる最適輸送写像である。
そこで本研究では,地図上の統計的誤差であるL2$が,既存のミニマックス下限値とほぼ一致し,スムーズな地図推定が可能となる最初のトラクタブルアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-12-03T13:45:36Z) - Large-Scale Wasserstein Gradient Flows [84.73670288608025]
ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。
我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。
その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
論文 参考訳（メタデータ） (2021-06-01T19:21:48Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。