論文の概要: Learning heavy-tailed distributions with Wasserstein-proximal-regularized $α$-divergences
- arxiv url: http://arxiv.org/abs/2405.13962v1
- Date: Wed, 22 May 2024 19:58:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 20:23:46.648695
- Title: Learning heavy-tailed distributions with Wasserstein-proximal-regularized $α$-divergences
- Title（参考訳）: Wasserstein-proximal-regularized $α$-divergences を用いた重み付き分布の学習
- Authors: Ziyu Chen, Hyemin Gu, Markos A. Katsoulakis, Luc Rey-Bellet, Wei Zhu,
- Abstract要約: 本稿では、重み付き分布の学習に適した目的関数として、$alpha$-divergencesのワッサーシュタイン近似を提案する。
ヒューリスティックに、$alpha$-divergences は重い尾を扱い、ワッサーシュタイン近似は分布間の絶対連続性を許容する。
- 参考スコア（独自算出の注目度）: 12.19634962193403
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose Wasserstein proximals of $\alpha$-divergences as suitable objective functionals for learning heavy-tailed distributions in a stable manner. First, we provide sufficient, and in some cases necessary, relations among data dimension, $\alpha$, and the decay rate of data distributions for the Wasserstein-proximal-regularized divergence to be finite. Finite-sample convergence rates for the estimation in the case of the Wasserstein-1 proximal divergences are then provided under certain tail conditions. Numerical experiments demonstrate stable learning of heavy-tailed distributions -- even those without first or second moment -- without any explicit knowledge of the tail behavior, using suitable generative models such as GANs and flow-based models related to our proposed Wasserstein-proximal-regularized $\alpha$-divergences. Heuristically, $\alpha$-divergences handle the heavy tails and Wasserstein proximals allow non-absolute continuity between distributions and control the velocities of flow-based algorithms as they learn the target distribution deep into the tails.
- Abstract（参考訳）: 本稿では、重み付き分布を安定に学習するための目的関数として、$\alpha$-divergencesのワッサーシュタイン近似を提案する。
まず,データ次元,$\alpha$,Wasserstein-proximal-regularized divergence におけるデータ分布の減衰速度の関係は有限である。
ワッサーシュタイン-1近位発散の場合、推定のための有限サンプル収束速度は、特定の尾の条件下で提供される。
数値実験により、重み付き分布(第1モーメントや第2モーメントのないものでさえも)の安定な学習を、GANのような適切な生成モデルや、提案したWasserstein-proximal-regularized $\alpha$-divergencesに関連するフローベースモデルを用いて、テール挙動の明示的な知識を欠いている。
ヒューリスティックに言えば、$\alpha$-divergencesは重い尾を扱い、ワッサーシュタイン近似は分布間の絶対的連続性を許容し、流れに基づくアルゴリズムの速度を制御し、ターゲット分布をテールの奥深くまで学習する。
関連論文リスト
- Convergence of Continuous Normalizing Flows for Learning Probability Distributions [10.381321024264484]
連続正規化フロー (Continuous normalizing flow, CNFs) は確率分布を学習するための生成法である。
有限ランダムサンプルからの学習確率分布における線形正則性を持つCNFの理論的性質について検討する。
本稿では,速度推定,離散化誤差,早期停止誤差による誤差を包含する収束解析フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-31T03:39:04Z) - Deep conditional distribution learning via conditional Föllmer flow [3.227277661633986]
本研究では,条件F"ollmer Flow"という条件分布を学習するための常微分方程式(ODE)に基づく深部生成手法を提案する。
効率的な実装のために、我々は、深層ニューラルネットワークを用いて非パラメトリックに速度場を推定するオイラー法を用いて流れを判別する。
論文 参考訳（メタデータ） (2024-02-02T14:52:10Z) - Convergence of flow-based generative models via proximal gradient descent in Wasserstein space [20.771897445580723]
フローベースの生成モデルは、データ生成と可能性の計算において一定の利点がある。
本研究では,進行流モデルによるデータ分布の生成を理論的に保証する。
論文 参考訳（メタデータ） (2023-10-26T17:06:23Z) - Sobolev Space Regularised Pre Density Models [51.558848491038916]
本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。
この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
論文 参考訳（メタデータ） (2023-07-25T18:47:53Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳（メタデータ） (2023-06-15T16:30:08Z) - Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
論文 参考訳（メタデータ） (2022-10-03T06:09:01Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳（メタデータ） (2022-02-02T20:11:33Z) - Wasserstein distance estimates for the distributions of numerical
approximations to ergodic stochastic differential equations [0.3553493344868413]
エルゴード微分方程式のイン分布と強い対数凸の場合の分布との間のワッサースタイン距離について検討した。
これにより、過減衰および過減衰ランジュバン力学の文献で提案されている多くの異なる近似を統一的に研究することができる。
論文 参考訳（メタデータ） (2021-04-26T07:50:04Z) - Continuous Wasserstein-2 Barycenter Estimation without Minimax
Optimization [94.18714844247766]
ワッサーシュタイン・バリセンターは、最適輸送に基づく確率測度の重み付き平均の幾何学的概念を提供する。
本稿では,Wasserstein-2 バリセンタのサンプルアクセスを演算するスケーラブルなアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-02T21:01:13Z) - $(f,\Gamma)$-Divergences: Interpolating between $f$-Divergences and
Integral Probability Metrics [6.221019624345409]
我々は、$f$-divergences と積分確率メトリクス(IPMs)の両方を仮定する情報理論の分岐を構築するためのフレームワークを開発する。
2段階の質量再分配/物質輸送プロセスとして表現できることが示される。
統計的学習を例として,重み付き,絶対連続的なサンプル分布に対するGAN(generative adversarial network)の訓練において,その優位性を示す。
論文 参考訳（メタデータ） (2020-11-11T18:17:09Z) - Continuous Regularized Wasserstein Barycenters [51.620781112674024]
正規化ワッサーシュタイン・バリセンタ問題に対する新しい双対定式化を導入する。
我々は、強い双対性を確立し、対応する主対関係を用いて、正規化された輸送問題の双対ポテンシャルを用いて暗黙的にバリセンターをパラメトリゼーションする。
論文 参考訳（メタデータ） (2020-08-28T08:28:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。