論文の概要: Variations and Relaxations of Normalizing Flows
- arxiv url: http://arxiv.org/abs/2309.04433v1
- Date: Fri, 8 Sep 2023 16:55:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 12:54:09.524566
- Title: Variations and Relaxations of Normalizing Flows
- Title（参考訳）: 正規化流れの変動と緩和
- Authors: Keegan Kelly, Lorena Piedras, Sukrit Rao, David Roth
- Abstract要約: 正規化フロー(NF)は、より単純な基底分布上の一連の変換の構成として、複雑なターゲット分布を表現する。
本調査では,VAEやスコアベース拡散など,他の生成モデルクラスの側面を組み合わせた最近の研究について紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Normalizing Flows (NFs) describe a class of models that express a complex
target distribution as the composition of a series of bijective transformations
over a simpler base distribution. By limiting the space of candidate
transformations to diffeomorphisms, NFs enjoy efficient, exact sampling and
density evaluation, enabling NFs to flexibly behave as both discriminative and
generative models. Their restriction to diffeomorphisms, however, enforces that
input, output and all intermediary spaces share the same dimension, limiting
their ability to effectively represent target distributions with complex
topologies. Additionally, in cases where the prior and target distributions are
not homeomorphic, Normalizing Flows can leak mass outside of the support of the
target. This survey covers a selection of recent works that combine aspects of
other generative model classes, such as VAEs and score-based diffusion, and in
doing so loosen the strict bijectivity constraints of NFs to achieve a balance
of expressivity, training speed, sample efficiency and likelihood tractability.
- Abstract（参考訳）: 正規化フロー(NFs)は、複雑な対象分布を表すモデルのクラスを、より単純な基底分布上の一連の単射変換の合成として記述する。
微分同型への候補変換の空間を制限することにより、NFは効率的で正確なサンプリングと密度評価を享受し、NFは判別モデルと生成モデルの両方として柔軟に振る舞うことができる。
しかし、微分同相写像に対する制限は、入力、出力およびすべての中間空間が同じ次元を共有し、複雑な位相を持つ対象分布を効果的に表現する能力を制限することを強制する。
さらに、事前分布と目標分布が同型でない場合、正規化フローはターゲットの支持外にある質量を漏れさせることがある。
この調査では,VAEやスコアベース拡散といった他の生成モデルクラスの側面を組み合わせた最近の研究を取り上げ,NFの厳密な客観性制約を緩めることで,表現性,トレーニング速度,サンプル効率,可能性トラクタビリティのバランスを達成している。
関連論文リスト
- Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳（メタデータ） (2024-10-17T16:42:12Z) - Constrained Diffusion Models via Dual Training [80.03953599062365]
拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。
所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。
本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
論文 参考訳（メタデータ） (2024-08-27T14:25:42Z) - Generative Assignment Flows for Representing and Learning Joint Distributions of Discrete Data [2.6499018693213316]
本稿では,多数の離散確率変数の結合確率分布を表現するための新しい生成モデルを提案する。
全ての離散な関節分布のメタ・プレプレックスにおけるセグレ写像による流れの埋め込みは、任意の対象分布を原理的に表すことができることを保証している。
我々のアプローチは、結合された離散変数のモデリングの第一原理から強い動機を持っている。
論文 参考訳（メタデータ） (2024-06-06T21:58:33Z) - ManiFlow: Implicitly Representing Manifolds with Normalizing Flows [145.9820993054072]
正規化フロー(NF)は、複雑な実世界のデータ分布を正確にモデル化することが示されているフレキシブルな明示的な生成モデルである。
摂動分布から標本を与えられた多様体上の最も可能性の高い点を復元する最適化目的を提案する。
最後に、NFsの明示的な性質、すなわち、ログのような勾配とログのような勾配から抽出された表面正規化を利用する3次元点雲に焦点を当てる。
論文 参考訳（メタデータ） (2022-08-18T16:07:59Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Resampling Base Distributions of Normalizing Flows [0.0]
学習された拒絶サンプリングに基づいて,フローを正規化するためのベース分布を導入する。
ログライクリフの最大化と逆Kulback-Leibler分散の最適化の両方を用いて、適切な学習アルゴリズムを開発する。
論文 参考訳（メタデータ） (2021-10-29T14:44:44Z) - Moser Flow: Divergence-based Generative Modeling on Manifolds [49.04974733536027]
Moser Flow (MF) は連続正規化フロー(CNF)ファミリーにおける新しい生成モデルのクラスである
MFは、訓練中にODEソルバを介して呼び出しやバックプロパゲートを必要としない。
一般曲面からのサンプリングにおけるフローモデルの利用を初めて実演する。
論文 参考訳（メタデータ） (2021-08-18T09:00:24Z) - RBM-Flow and D-Flow: Invertible Flows with Discrete Energy Base Spaces [2.686876090354586]
訓練された逆流を用いて複雑なデータ分布の効率的なサンプリングを実現する(if)
連続スムージングを適用したRBM(Restricted Boltzmann Machine)をベースとするIFモデルであるRBM-Flowを実装します。
D-Flow はガウス基底変数を持つ典型的な IF と同様の確率と FID/IS スコアを得るが、グローバルな特徴が潜在空間における離散ラベルとして有意に符号化されているという利点がある。
論文 参考訳（メタデータ） (2020-12-24T11:05:27Z) - Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。
出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文 参考訳（メタデータ） (2019-11-29T19:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。