論文の概要: Learning heavy-tailed distributions with Wasserstein-proximal-regularized $α$-divergences
- arxiv url: http://arxiv.org/abs/2405.13962v1
- Date: Wed, 22 May 2024 19:58:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 20:23:46.648695
- Title: Learning heavy-tailed distributions with Wasserstein-proximal-regularized $α$-divergences
- Title（参考訳）: Wasserstein-proximal-regularized $α$-divergences を用いた重み付き分布の学習
- Authors: Ziyu Chen, Hyemin Gu, Markos A. Katsoulakis, Luc Rey-Bellet, Wei Zhu,
- Abstract要約: 本稿では、重み付き分布の学習に適した目的関数として、$alpha$-divergencesのワッサーシュタイン近似を提案する。
ヒューリスティックに、$alpha$-divergences は重い尾を扱い、ワッサーシュタイン近似は分布間の絶対連続性を許容する。
- 参考スコア（独自算出の注目度）: 12.19634962193403
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose Wasserstein proximals of $\alpha$-divergences as suitable objective functionals for learning heavy-tailed distributions in a stable manner. First, we provide sufficient, and in some cases necessary, relations among data dimension, $\alpha$, and the decay rate of data distributions for the Wasserstein-proximal-regularized divergence to be finite. Finite-sample convergence rates for the estimation in the case of the Wasserstein-1 proximal divergences are then provided under certain tail conditions. Numerical experiments demonstrate stable learning of heavy-tailed distributions -- even those without first or second moment -- without any explicit knowledge of the tail behavior, using suitable generative models such as GANs and flow-based models related to our proposed Wasserstein-proximal-regularized $\alpha$-divergences. Heuristically, $\alpha$-divergences handle the heavy tails and Wasserstein proximals allow non-absolute continuity between distributions and control the velocities of flow-based algorithms as they learn the target distribution deep into the tails.
- Abstract（参考訳）: 本稿では、重み付き分布を安定に学習するための目的関数として、$\alpha$-divergencesのワッサーシュタイン近似を提案する。
まず,データ次元,$\alpha$,Wasserstein-proximal-regularized divergence におけるデータ分布の減衰速度の関係は有限である。
ワッサーシュタイン-1近位発散の場合、推定のための有限サンプル収束速度は、特定の尾の条件下で提供される。
数値実験により、重み付き分布(第1モーメントや第2モーメントのないものでさえも)の安定な学習を、GANのような適切な生成モデルや、提案したWasserstein-proximal-regularized $\alpha$-divergencesに関連するフローベースモデルを用いて、テール挙動の明示的な知識を欠いている。
ヒューリスティックに言えば、$\alpha$-divergencesは重い尾を扱い、ワッサーシュタイン近似は分布間の絶対的連続性を許容し、流れに基づくアルゴリズムの速度を制御し、ターゲット分布をテールの奥深くまで学習する。
関連論文リスト
- Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳（メタデータ） (2024-10-17T16:42:12Z) - Controllable Generation via Locally Constrained Resampling [77.48624621592523]
本研究では, ベイズ条件付けを行い, 制約条件下でサンプルを描画する, トラクタブルな確率的手法を提案する。
提案手法はシーケンス全体を考慮し,現行のグリード法よりも大域的に最適に制約された生成を導出する。
提案手法は, 有害な世代からモデル出力を分離し, 脱毒化に対する同様のアプローチより優れていることを示す。
論文 参考訳（メタデータ） (2024-10-17T00:49:53Z) - Tamed Langevin sampling under weaker conditions [27.872857402255775]
ログコンケーブではなく,弱い散逸性しか持たない分布から抽出する問題について検討する。
そこで本研究では,対象分布の成長と崩壊特性に合わせたテイミング手法を提案する。
提案したサンプルに対して,Kulback-Leiblerの発散,全変動,ワッサーシュタイン距離といった条件で明確な非漸近保証を与える。
論文 参考訳（メタデータ） (2024-05-27T23:00:40Z) - Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。
この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
論文 参考訳（メタデータ） (2024-02-21T16:11:47Z) - Statistically Optimal Generative Modeling with Maximum Deviation from the Empirical Distribution [2.1146241717926664]
本稿では, 左非可逆なプッシュフォワード写像に制約されたワッサーシュタインGANが, 複製を回避し, 経験的分布から著しく逸脱する分布を生成することを示す。
我々の最も重要な寄与は、生成分布と経験的分布の間のワッサーシュタイン-1距離の有限サンプル下界を与える。
また、生成分布と真のデータ生成との距離に有限サンプル上限を確立する。
論文 参考訳（メタデータ） (2023-07-31T06:11:57Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳（メタデータ） (2022-02-02T20:11:33Z) - Achieving Efficiency in Black Box Simulation of Distribution Tails with
Self-structuring Importance Samplers [1.6114012813668934]
本稿では,線形プログラムや整数線形プログラム,ピースワイド線形・二次目的,ディープニューラルネットワークで指定された特徴マップなど,多種多様なツールでモデル化されたパフォーマンス指標の分布を推定する,新しいImportance Smpling(IS)方式を提案する。
論文 参考訳（メタデータ） (2021-02-14T03:37:22Z) - $(f,\Gamma)$-Divergences: Interpolating between $f$-Divergences and
Integral Probability Metrics [6.221019624345409]
我々は、$f$-divergences と積分確率メトリクス(IPMs)の両方を仮定する情報理論の分岐を構築するためのフレームワークを開発する。
2段階の質量再分配/物質輸送プロセスとして表現できることが示される。
統計的学習を例として,重み付き,絶対連続的なサンプル分布に対するGAN(generative adversarial network)の訓練において,その優位性を示す。
論文 参考訳（メタデータ） (2020-11-11T18:17:09Z) - Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable
Neural Distribution Alignment [52.02794488304448]
そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。
入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
論文 参考訳（メタデータ） (2020-03-26T22:10:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。