論文の概要: Efficient Multimodal Sampling via Tempered Distribution Flow
- arxiv url: http://arxiv.org/abs/2304.03933v1
- Date: Sat, 8 Apr 2023 06:40:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 18:52:38.492474
- Title: Efficient Multimodal Sampling via Tempered Distribution Flow
- Title(参考訳): 温度分布流による効率的なマルチモーダルサンプリング
- Authors: Yixuan Qiu, Xiao Wang
- Abstract要約: 我々はTemperFlowと呼ばれる新しいタイプのトランスポートベースサンプリング手法を開発した。
種々の実験により, 従来の手法と比較して, 新規サンプリング器の優れた性能が示された。
画像生成などの最新のディープラーニングタスクに応用例を示す。
- 参考スコア(独自算出の注目度): 11.36635610546803
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sampling from high-dimensional distributions is a fundamental problem in
statistical research and practice. However, great challenges emerge when the
target density function is unnormalized and contains isolated modes. We tackle
this difficulty by fitting an invertible transformation mapping, called a
transport map, between a reference probability measure and the target
distribution, so that sampling from the target distribution can be achieved by
pushing forward a reference sample through the transport map. We theoretically
analyze the limitations of existing transport-based sampling methods using the
Wasserstein gradient flow theory, and propose a new method called TemperFlow
that addresses the multimodality issue. TemperFlow adaptively learns a sequence
of tempered distributions to progressively approach the target distribution,
and we prove that it overcomes the limitations of existing methods. Various
experiments demonstrate the superior performance of this novel sampler compared
to traditional methods, and we show its applications in modern deep learning
tasks such as image generation. The programming code for the numerical
experiments is available at https://github.com/yixuan/temperflow.
- Abstract(参考訳): 高次元分布からのサンプリングは統計学研究と実践の基本的な問題である。
しかし、ターゲット密度関数が非正規化され、孤立モードを含む場合、大きな課題が生じる。
対象分布と基準確率測度の間にトランスポートマップと呼ばれる可逆変換写像をフィッティングすることにより,対象分布からのサンプリングはトランスポートマップを介して参照サンプルを前進させることで達成できる。
本稿では,ワッサーシュタイン勾配流理論を用いて既存の輸送型サンプリング手法の限界を理論的に解析し,マルチモーダリティ問題に対処するTemperFlowと呼ばれる新しい手法を提案する。
temperflowはテンパー分布の列を適応的に学習し、目標分布に漸進的に接近し、既存の方法の限界を克服できることを証明する。
本手法は従来の手法に比べて優れた性能を示す様々な実験を行い,画像生成などの現代的深層学習への応用を示す。
数値実験のプログラミングコードはhttps://github.com/yixuan/temperflow.com/で入手できる。
関連論文リスト
- On diffusion models for amortized inference: Benchmarking and improving
stochastic control and sampling [96.7808454149545]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳(メタデータ) (2024-02-07T18:51:49Z) - Deep Conditional Generative Learning: Model and Error Analysis [3.4623717820849476]
本稿では,Folmer Flowという条件分布を学習するための正規微分方程式に基づく深層生成手法を提案する。
実効的な実装のために、我々は、ディープニューラルネットワークを用いて非パラメトリックに速度場を推定する条件付き手法を用いて流れを識別する。
本研究では,学習したサンプルの分布と対象分布との間のワッサーシュタイン距離における非漸近収束率を導出し,ODEフローによる条件分布学習のための第1の総合的エンドツーエンド誤差解析を行う。
論文 参考訳(メタデータ) (2024-02-02T14:52:10Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Diffusion Generative Flow Samplers: Improving learning signals through
partial trajectory optimization [87.21285093582446]
Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。
生成フローネットワーク(GFlowNets)のための理論から着想を得た。
論文 参考訳(メタデータ) (2023-10-04T09:39:05Z) - Sampling with flows, diffusion and autoregressive neural networks: A
spin-glass perspective [18.278073129757466]
障害系の統計物理学において広く研究されている確率分布のクラスに焦点をあてる。
我々は,フローベース,拡散ベース,自己回帰的ネットワーク手法によるサンプリングをベイズ最適分解法の解析に等価にマッピングできるという事実を活用する。
これらの手法が効率的にサンプリングできないパラメータの領域を同定し、標準モンテカルロ法やランゲヴィン法を用いてそれを可能にする。
論文 参考訳(メタデータ) (2023-08-27T12:16:33Z) - Detecting and Mitigating Mode-Collapse for Flow-based Sampling of
Lattice Field Theories [6.222204646855336]
格子場理論の文脈における正規化流れのモード崩壊の結果について検討する。
本稿では,モード崩壊の度合いを定量化し,その結果の偏りを導出する指標を提案する。
論文 参考訳(メタデータ) (2023-02-27T19:00:22Z) - Unsupervised Learning of Sampling Distributions for Particle Filters [80.6716888175925]
観測結果からサンプリング分布を学習する4つの方法を提案する。
実験により、学習されたサンプリング分布は、設計された最小縮退サンプリング分布よりも優れた性能を示すことが示された。
論文 参考訳(メタデータ) (2023-02-02T15:50:21Z) - Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。
シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。
本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
論文 参考訳(メタデータ) (2022-11-24T07:30:27Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳(メタデータ) (2021-02-04T02:21:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。