論文の概要: Annealing Flow Generative Model Towards Sampling High-Dimensional and Multi-Modal Distributions

• arxiv url: http://arxiv.org/abs/2409.20547v2
• Date: Mon, 25 Nov 2024 23:05:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:32:15.755011
• Title: Annealing Flow Generative Model Towards Sampling High-Dimensional and Multi-Modal Distributions
• Title（参考訳）: 高次元および多モード分布のサンプリングに向けたアニーリングフロー生成モデル
• Authors: Dongze Wu, Yao Xie,
• Abstract要約: Annealing Flowは、高次元およびマルチモーダル分布からサンプリングするために設計された、連続正規化フローベースのアプローチである。 AFは有効かつバランスの取れたモード探索を保証し、サンプルサイズと寸法の線形複雑さを達成し、非効率な混合時間を回避している。
• 参考スコア（独自算出の注目度）: 6.992239210938067
• License:
• Abstract: Sampling from high dimensional, multimodal distributions remains a fundamental challenge across domains such as statistical Bayesian inference and physics based machine learning. In this paper, we propose Annealing Flow, a continuous normalizing flow based approach designed to sample from high dimensional and multimodal distributions. The key idea is to learn a continuous normalizing flow based transport map, guided by annealing, to transition samples from an easy to sample distribution to the target distribution, facilitating effective exploration of modes in high dimensional spaces. Unlike many existing methods, AF training does not rely on samples from the target distribution. AF ensures effective and balanced mode exploration, achieves linear complexity in sample size and dimensions, and circumvents inefficient mixing times. We demonstrate the superior performance of AF compared to state of the art methods through extensive experiments on various challenging distributions and real world datasets, particularly in high-dimensional and multimodal settings. We also highlight the potential of AF for sampling the least favorable distributions.
• Abstract（参考訳）: 高次元のマルチモーダル分布からサンプリングすることは、統計ベイズ推定や物理に基づく機械学習といった領域における根本的な課題である。 本稿では,高次元およびマルチモーダル分布のサンプル化を目的とした連続正規化フローベースアプローチであるAnnealing Flowを提案する。 キーとなる考え方は、アニールで導かれる連続正規化フローベース輸送マップを学習し、サンプル分布からターゲット分布へ遷移し、高次元空間におけるモードの効率的な探索を容易にすることである。 多くの既存の方法とは異なり、AFトレーニングはターゲット分布からのサンプルに依存しない。 AFは有効かつバランスの取れたモード探索を保証し、サンプルサイズと寸法の線形複雑さを達成し、非効率な混合時間を回避している。 様々な挑戦的分布や実世界のデータセット,特に高次元・マルチモーダルな設定において,最先端の手法と比較して,AFの優れた性能を示す。 また、最も好ましくない分布をサンプリングするAFの可能性も強調する。

関連論文リスト

• Learned Reference-based Diffusion Sampling for multi-modal distributions [2.1383136715042417]
  本稿では,学習参照に基づく拡散サンプリング(LRDS)について紹介する。 LRDSは、高密度空間領域にあるサンプルの参照拡散モデルを学ぶことによって、2段階で進行する。 LRDSは、様々な難解な分布上の競合するアルゴリズムと比較して、目標分布に関する事前知識を最大限に活用することが実験的に実証された。
  論文  参考訳（メタデータ） (2024-10-25T10:23:34Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Adaptive teachers for amortized samplers [76.88721198565861]
  償却推論(英: Amortized inference)とは、ニューラルネットワークなどのパラメトリックモデルをトレーニングし、正確なサンプリングが可能な所定の非正規化密度で分布を近似するタスクである。 オフ・ポリティクスのRLトレーニングは多様でハイ・リワードな候補の発見を促進するが、既存の手法は依然として効率的な探索の課題に直面している。 そこで本研究では,高次領域の優先順位付けにより,初等補正標本作成者(学生)の指導を指導する適応学習分布(教師)を提案する。
  論文  参考訳（メタデータ） (2024-10-02T11:33:13Z)
• Deep Generative Sampling in the Dual Divergence Space: A Data-efficient & Interpretative Approach for Generative AI [29.13807697733638]
  自然画像の生成的サンプリングにおける顕著な成果の上に構築する。 我々は、画像に似たサンプルを生成するという、画期的な挑戦を、潜在的に過度に野心的に提案する。 統計上の課題は、小さなサンプルサイズであり、時には数百人の被験者で構成されている。
  論文  参考訳（メタデータ） (2024-04-10T22:35:06Z)
• Boosting Diffusion Models with Moving Average Sampling in Frequency Domain [101.43824674873508]
  拡散モデルは、現在のサンプルに頼って次のサンプルをノイズ化し、おそらく不安定化を引き起こす。 本稿では,反復的復調過程をモデル最適化として再解釈し,移動平均機構を利用して全ての先行サンプルをアンサンブルする。 周波数領域における平均サンプリング(MASF)の動作」という完全なアプローチを命名する。
  論文  参考訳（メタデータ） (2024-03-26T16:57:55Z)
• Space-Time Diffusion Bridge [0.4527270266697462]
  実確率分布から独立かつ同一に分布する新しい合成サンプルを生成する方法を提案する。 時空間次元にまたがる時空間混合戦略を用いる。 数値実験による時空拡散法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-02-13T23:26:11Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Efficient Multimodal Sampling via Tempered Distribution Flow [11.36635610546803]
  我々はTemperFlowと呼ばれる新しいタイプのトランスポートベースサンプリング手法を開発した。 種々の実験により, 従来の手法と比較して, 新規サンプリング器の優れた性能が示された。 画像生成などの最新のディープラーニングタスクに応用例を示す。
  論文  参考訳（メタデータ） (2023-04-08T06:40:06Z)
• Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
  拡散モデルの高速サンプリング法であるMDD-DDMを提案する。 我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。 提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
  論文  参考訳（メタデータ） (2023-01-19T09:48:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。