論文の概要: Annealing Flow Generative Model Towards Sampling High-Dimensional and Multi-Modal Distributions
- arxiv url: http://arxiv.org/abs/2409.20547v1
- Date: Mon, 30 Sep 2024 17:48:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-02 01:35:17.327470
- Title: Annealing Flow Generative Model Towards Sampling High-Dimensional and Multi-Modal Distributions
- Title(参考訳): 高次元および多モード分布のサンプリングに向けたアニーリングフロー生成モデル
- Authors: Dongze Wu, Yao Xie,
- Abstract要約: Annealing Flow (AF) は、高次元および多モード分布のサンプルとして設計された連続正規化フローベースのアプローチである。
最先端手法と比較して, AF の優れた性能を示す。
- 参考スコア(独自算出の注目度): 6.992239210938067
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sampling from high-dimensional, multi-modal distributions remains a fundamental challenge across domains such as statistical Bayesian inference and physics-based machine learning. In this paper, we propose Annealing Flow (AF), a continuous normalizing flow-based approach designed to sample from high-dimensional and multi-modal distributions. The key idea is to learn a continuous normalizing flow-based transport map, guided by annealing, to transition samples from an easy-to-sample distribution to the target distribution, facilitating effective exploration of modes in high-dimensional spaces. Unlike many existing methods, AF training does not rely on samples from the target distribution. AF ensures effective and balanced mode exploration, achieves linear complexity in sample size and dimensions, and circumvents inefficient mixing times. We demonstrate the superior performance of AF compared to state-of-the-art methods through extensive experiments on various challenging distributions and real-world datasets, particularly in high-dimensional and multi-modal settings. We also highlight the potential of AF for sampling the least favorable distributions.
- Abstract(参考訳): 高次元のマルチモーダル分布からのサンプリングは、統計ベイズ推定や物理に基づく機械学習といった領域における根本的な課題である。
本稿では,高次元および多モード分布のサンプル化を目的とした,連続正規化フローベースアプローチであるAnnealing Flow (AF)を提案する。
キーとなる考え方は、アニールで導かれる流れに基づく連続正規化輸送マップを学習し、サンプルをサンプル分布からターゲット分布へ移行させ、高次元空間におけるモードの効率的な探索を容易にすることである。
多くの既存の方法とは異なり、AFトレーニングはターゲット分布からのサンプルに依存しない。
AFは有効かつバランスの取れたモード探索を保証し、サンプルサイズと寸法の線形複雑さを達成し、非効率な混合時間を回避している。
様々な挑戦的分布や実世界のデータセット、特に高次元・マルチモーダルな設定において、最先端の手法と比較して、AFの優れた性能を実証する。
また、最も好ましくない分布をサンプリングするAFの可能性も強調する。
関連論文リスト
- Deep Generative Sampling in the Dual Divergence Space: A Data-efficient & Interpretative Approach for Generative AI [29.13807697733638]
自然画像の生成的サンプリングにおける顕著な成果の上に構築する。
我々は、画像に似たサンプルを生成するという、画期的な挑戦を、潜在的に過度に野心的に提案する。
統計上の課題は、小さなサンプルサイズであり、時には数百人の被験者で構成されている。
論文 参考訳(メタデータ) (2024-04-10T22:35:06Z) - Boosting Diffusion Models with Moving Average Sampling in Frequency Domain [101.43824674873508]
拡散モデルは、現在のサンプルに頼って次のサンプルをノイズ化し、おそらく不安定化を引き起こす。
本稿では,反復的復調過程をモデル最適化として再解釈し,移動平均機構を利用して全ての先行サンプルをアンサンブルする。
周波数領域における平均サンプリング(MASF)の動作」という完全なアプローチを命名する。
論文 参考訳(メタデータ) (2024-03-26T16:57:55Z) - MG-TSD: Multi-Granularity Time Series Diffusion Models with Guided Learning Process [26.661721555671626]
本稿では,最先端の予測性能を実現する新しい多粒度時系列(MG-TSD)モデルを提案する。
われわれのアプローチは外部データに頼らず、様々な領域にまたがって汎用的で適用可能である。
論文 参考訳(メタデータ) (2024-03-09T01:15:03Z) - Space-Time Diffusion Bridge [0.4527270266697462]
実確率分布から独立かつ同一に分布する新しい合成サンプルを生成する方法を提案する。
時空間次元にまたがる時空間混合戦略を用いる。
数値実験による時空拡散法の有効性を検証した。
論文 参考訳(メタデータ) (2024-02-13T23:26:11Z) - Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2~5倍の速さでトレーニングを行う。
論文 参考訳(メタデータ) (2024-02-09T01:11:23Z) - Improved off-policy training of diffusion samplers [93.66433483772055]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳(メタデータ) (2024-02-07T18:51:49Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Diffusion Generative Flow Samplers: Improving learning signals through
partial trajectory optimization [87.21285093582446]
Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。
生成フローネットワーク(GFlowNets)のための理論から着想を得た。
論文 参考訳(メタデータ) (2023-10-04T09:39:05Z) - Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。
暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。
提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2023-06-21T18:49:22Z) - Efficient Multimodal Sampling via Tempered Distribution Flow [11.36635610546803]
我々はTemperFlowと呼ばれる新しいタイプのトランスポートベースサンプリング手法を開発した。
種々の実験により, 従来の手法と比較して, 新規サンプリング器の優れた性能が示された。
画像生成などの最新のディープラーニングタスクに応用例を示す。
論文 参考訳(メタデータ) (2023-04-08T06:40:06Z) - Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
拡散モデルの高速サンプリング法であるMDD-DDMを提案する。
我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。
提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
論文 参考訳(メタデータ) (2023-01-19T09:48:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。