論文の概要: Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization

• arxiv url: http://arxiv.org/abs/2012.11554v1
• Date: Mon, 21 Dec 2020 18:33:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 06:39:50.043210
• Title: Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization
• Title（参考訳）: 変分輸送:分布最適化のための収束粒子に基づくアルゴリズム
• Authors: Zhuoran Yang, Yufeng Zhang, Yongxin Chen, Zhaoran Wang
• Abstract要約: 分散最適化問題は機械学習や統計学で広く発生する。 本研究では,ワッサースタイン勾配降下を概ね行う,変分輸送と呼ばれる新しい粒子ベースアルゴリズムを提案する。 目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
• 参考スコア（独自算出の注目度）: 95.67541186704399
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the optimization problem of minimizing a functional defined over a family of probability distributions, where the objective functional is assumed to possess a variational form. Such a distributional optimization problem arises widely in machine learning and statistics, with Monte-Carlo sampling, variational inference, policy optimization, and generative adversarial network as examples. For this problem, we propose a novel particle-based algorithm, dubbed as variational transport, which approximately performs Wasserstein gradient descent over the manifold of probability distributions via iteratively pushing a set of particles. Specifically, we prove that moving along the geodesic in the direction of functional gradient with respect to the second-order Wasserstein distance is equivalent to applying a pushforward mapping to a probability distribution, which can be approximated accurately by pushing a set of particles. Specifically, in each iteration of variational transport, we first solve the variational problem associated with the objective functional using the particles, whose solution yields the Wasserstein gradient direction. Then we update the current distribution by pushing each particle along the direction specified by such a solution. By characterizing both the statistical error incurred in estimating the Wasserstein gradient and the progress of the optimization algorithm, we prove that when the objective function satisfies a functional version of the Polyak-\L{}ojasiewicz (PL) (Polyak, 1963) and smoothness conditions, variational transport converges linearly to the global minimum of the objective functional up to a certain statistical error, which decays to zero sublinearly as the number of particles goes to infinity.
• Abstract（参考訳）: 確率分布の族上で定義された関数を最小化する最適化問題を考える。 このような分布最適化問題は、モンテカルロサンプリング、変分推論、ポリシー最適化、生成的敵ネットワークを例に、機械学習や統計学において広く発生する。 本研究では,粒子群を反復的に押すことにより,確率分布の多様体上でワッサースタイン勾配降下を近似的に行う,変分移動と呼ばれる新しい粒子ベースアルゴリズムを提案する。 具体的には、二階ワッサースタイン距離に対する機能勾配の方向への測地線に沿っての移動は、確率分布にプッシュフォワードマッピングを適用することと同値であり、粒子の集合を押して正確に近似できることを証明する。 具体的には, 変分輸送の各反復において, まず, 粒子を用いて目的関数に関連する変分問題を解き, その解がワッサーシュタイン勾配方向を導く。 次に,各粒子をそのような溶液で指定された方向に沿って押し付けて電流分布を更新する。 ワッサーシュタイン勾配の推定における統計的誤差と最適化アルゴリズムの進歩の両方を特徴付けることにより、目的関数がポリアック-\L{}ojasiewicz (PL) (ポリアック, 1963) の関数バージョンを満たすとき、変動輸送は、ある統計誤差まで線形に収束し、粒子の数が無限大になるにつれて、下位に崩壊する。

関連論文リスト

• Probability flow solution of the Fokker-Planck equation [10.484851004093919]
  確率の流れを記述した常微分方程式の統合に基づく代替スキームを導入する。 力学とは異なり、この方程式は決定論的に初期密度からのサンプルを後から溶液のサンプルにプッシュする。 我々のアプローチは、生成モデルのためのスコアベース拡散の最近の進歩に基づいている。
  論文  参考訳（メタデータ） (2022-06-09T17:37:09Z)
• A blob method method for inhomogeneous diffusion with applications to multi-agent control and sampling [0.6562256987706128]
  重み付き多孔質媒質方程式(WPME)に対する決定論的粒子法を開発し,その収束性を時間間隔で証明する。 提案手法は,マルチエージェントカバレッジアルゴリズムや確率測定のサンプリングに自然に応用できる。
  論文  参考訳（メタデータ） (2022-02-25T19:49:05Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Variational Wasserstein gradient flow [9.901677207027806]
  本稿では、ワッサーシュタイン勾配流に対するスケーラブルな近位勾配型アルゴリズムを提案する。 この枠組みは熱方程式や多孔質媒質方程式を含む古典的なワッサーシュタイン勾配流を網羅する。
  論文  参考訳（メタデータ） (2021-12-04T20:27:31Z)
• Near-optimal estimation of smooth transport maps with kernel sums-of-squares [81.02564078640275]
  滑らかな条件下では、2つの分布の間の正方形ワッサーシュタイン距離は、魅力的な統計的誤差上界で効率的に計算できる。 生成的モデリングのような応用への関心の対象は、基礎となる最適輸送写像である。 そこで本研究では,地図上の統計的誤差であるL2$が,既存のミニマックス下限値とほぼ一致し,スムーズな地図推定が可能となる最初のトラクタブルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-03T13:45:36Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Large-Scale Wasserstein Gradient Flows [84.73670288608025]
  ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。 我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。 その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
  論文  参考訳（メタデータ） (2021-06-01T19:21:48Z)
• Semi-Discrete Optimal Transport: Hardness, Regularization and Numerical Solution [8.465228064780748]
  2つの点でサポートされる離散確率測度の間のWasserstein距離の計算が既に#P-hardであることを証明します。 目的関数が最も悪質な外乱分布で滑らかになる分布的に頑健な双対最適輸送問題を導入する。 双対目的関数の平滑化は主目的関数の正則化と等価であることを示す。
  論文  参考訳（メタデータ） (2021-03-10T18:53:59Z)
• Annealed Stein Variational Gradient Descent [4.020523898765405]
  スタイン変動勾配降下は、その柔軟性と精度の近似文献推論において注目されている。 本手法は,マルチモーダル分布から試料を採取する能力を実験的に検討し, (i) 粒子が局所モードから脱出できないこと, (ii) 異なる領域の密度を再現できないこと, という2つの重要な問題に注目する。
  論文  参考訳（メタデータ） (2021-01-24T22:18:30Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。