論文の概要: Annealing Flow Generative Models Towards Sampling High-Dimensional and Multi-Modal Distributions
- arxiv url: http://arxiv.org/abs/2409.20547v4
- Date: Tue, 27 May 2025 17:47:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-28 17:05:58.02927
- Title: Annealing Flow Generative Models Towards Sampling High-Dimensional and Multi-Modal Distributions
- Title（参考訳）: 高次元・多モード分布のサンプリングに向けてのアニーリングフロー生成モデル
- Authors: Dongze Wu, Yao Xie,
- Abstract要約: Annealing Flow (AF) は、高次元および多モード分布からサンプリングするための連続正規化フロー (CNF) 上に構築された手法である。
- 参考スコア（独自算出の注目度）: 6.992239210938067
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sampling from high-dimensional, multi-modal distributions remains a fundamental challenge across domains such as statistical Bayesian inference and physics-based machine learning. In this paper, we propose Annealing Flow (AF), a method built on Continuous Normalizing Flow (CNF) for sampling from high-dimensional and multi-modal distributions. AF is trained with a dynamic Optimal Transport (OT) objective incorporating Wasserstein regularization, and guided by annealing procedures, facilitating effective exploration of modes in high-dimensional spaces. Compared to recent NF methods, AF greatly improves training efficiency and stability, with minimal reliance on MC assistance. We demonstrate the superior performance of AF compared to state-of-the-art methods through experiments on various challenging distributions and real-world datasets, particularly in high-dimensional and multi-modal settings. We also highlight AF potential for sampling the least favorable distributions.
- Abstract（参考訳）: 高次元のマルチモーダル分布からのサンプリングは、統計ベイズ推定や物理に基づく機械学習といった領域における根本的な課題である。
本稿では,高次元および多モード分布から抽出する連続正規化フロー(CNF)に基づくAnealing Flow (AF)を提案する。
AFは、ワッサーシュタイン正則化を取り入れた動的最適輸送(OT)の目標を用いて訓練され、アニーリング手順によって誘導され、高次元空間におけるモードの効率的な探索を容易にする。
最近のNF法と比較して、AFはMCアシストへの依存を最小限に抑え、訓練効率と安定性を大幅に改善する。
各種の挑戦的分布や実世界のデータセット、特に高次元およびマルチモーダルな設定における実験を通じて、最先端の手法と比較して、AFの優れた性能を示す。
また、最も好ましくない分布をサンプリングするAFの可能性も強調する。
関連論文リスト
- Single-Step Consistent Diffusion Samplers [8.758218443992467]
既存のサンプリングアルゴリズムは通常、高品質なサンプルを作成するために多くの反復的なステップを必要とする。
単一ステップで高忠実度サンプルを生成するために設計された新しいサンプルクラスである,一貫した拡散サンプリングを導入している。
提案手法は,従来の拡散サンプリング装置で要求されるネットワーク評価の1%以下を用いて,高忠実度サンプルが得られることを示す。
論文 参考訳（メタデータ） (2025-02-11T14:25:52Z) - Enhanced Importance Sampling through Latent Space Exploration in Normalizing Flows [69.8873421870522]
重要サンプリングはモンテカルロシミュレーションで使われる稀な事象シミュレーション手法である。
正規化フローの潜在空間における提案分布を更新し,より効率的なサンプリング法を提案する。
論文 参考訳（メタデータ） (2025-01-06T21:18:02Z) - Learned Reference-based Diffusion Sampling for multi-modal distributions [2.1383136715042417]
本稿では,学習参照に基づく拡散サンプリング(LRDS)について紹介する。
LRDSは、高密度空間領域にあるサンプルの参照拡散モデルを学ぶことによって、2段階で進行する。
LRDSは、様々な難解な分布上の競合するアルゴリズムと比較して、目標分布に関する事前知識を最大限に活用することが実験的に実証された。
論文 参考訳（メタデータ） (2024-10-25T10:23:34Z) - Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳（メタデータ） (2024-10-17T16:42:12Z) - Adaptive teachers for amortized samplers [76.88721198565861]
償却推論(英: Amortized inference)とは、ニューラルネットワークなどのパラメトリックモデルをトレーニングし、正確なサンプリングが可能な所定の非正規化密度で分布を近似するタスクである。
オフ・ポリティクスのRLトレーニングは多様でハイ・リワードな候補の発見を促進するが、既存の手法は依然として効率的な探索の課題に直面している。
そこで本研究では,高次領域の優先順位付けにより,初等補正標本作成者(学生)の指導を指導する適応学習分布(教師)を提案する。
論文 参考訳（メタデータ） (2024-10-02T11:33:13Z) - Deep Generative Sampling in the Dual Divergence Space: A Data-efficient & Interpretative Approach for Generative AI [29.13807697733638]
自然画像の生成的サンプリングにおける顕著な成果の上に構築する。
我々は、画像に似たサンプルを生成するという、画期的な挑戦を、潜在的に過度に野心的に提案する。
統計上の課題は、小さなサンプルサイズであり、時には数百人の被験者で構成されている。
論文 参考訳（メタデータ） (2024-04-10T22:35:06Z) - Boosting Diffusion Models with Moving Average Sampling in Frequency Domain [101.43824674873508]
拡散モデルは、現在のサンプルに頼って次のサンプルをノイズ化し、おそらく不安定化を引き起こす。
本稿では,反復的復調過程をモデル最適化として再解釈し,移動平均機構を利用して全ての先行サンプルをアンサンブルする。
周波数領域における平均サンプリング(MASF)の動作」という完全なアプローチを命名する。
論文 参考訳（メタデータ） (2024-03-26T16:57:55Z) - Space-Time Diffusion Bridge [0.4527270266697462]
実確率分布から独立かつ同一に分布する新しい合成サンプルを生成する方法を提案する。
時空間次元にまたがる時空間混合戦略を用いる。
数値実験による時空拡散法の有効性を検証した。
論文 参考訳（メタデータ） (2024-02-13T23:26:11Z) - Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
論文 参考訳（メタデータ） (2024-02-09T01:11:23Z) - Improved off-policy training of diffusion samplers [93.66433483772055]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳（メタデータ） (2024-02-07T18:51:49Z) - Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。
暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。
提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2023-06-21T18:49:22Z) - Efficient Multimodal Sampling via Tempered Distribution Flow [11.36635610546803]
我々はTemperFlowと呼ばれる新しいタイプのトランスポートベースサンプリング手法を開発した。
種々の実験により, 従来の手法と比較して, 新規サンプリング器の優れた性能が示された。
画像生成などの最新のディープラーニングタスクに応用例を示す。
論文 参考訳（メタデータ） (2023-04-08T06:40:06Z) - Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
拡散モデルの高速サンプリング法であるMDD-DDMを提案する。
我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。
提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
論文 参考訳（メタデータ） (2023-01-19T09:48:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。