論文の概要: PaddingFlow: Improving Normalizing Flows with Padding-Dimensional Noise
- arxiv url: http://arxiv.org/abs/2403.08216v1
- Date: Wed, 13 Mar 2024 03:28:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 15:50:00.929844
- Title: PaddingFlow: Improving Normalizing Flows with Padding-Dimensional Noise
- Title(参考訳): パディングフロー:パディング次元雑音による正規化フローの改善
- Authors: Qinglong Meng, Chongkun Xia, Xueqian Wang
- Abstract要約: パディングフロー(PaddingFlow)は,パディング次元雑音による正規化フローを改善する新しいデクエント化法である。
PaddingFlowは簡単に実装でき、計算的に安価で、様々なタスクに広く適合し、データのバイアスのない推定サンプルを生成する。
- 参考スコア(独自算出の注目度): 5.352677991834813
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Normalizing flow is a generative modeling approach with efficient sampling.
However, Flow-based models suffer two issues, which are manifold and discrete
data. If the target distribution is a manifold, which means the dimension of
the latent target distribution and the dimension of the data distribution are
unmatched, flow-based models might perform badly. Discrete data makes
flow-based models collapse into a degenerate mixture of point masses. In this
paper, to sidestep such two issues we propose PaddingFlow, a novel
dequantization method, which improves normalizing flows with
padding-dimensional noise. PaddingFlow is easy to implement, computationally
cheap, widely suitable for various tasks, and generates samples that are
unbiased estimations of the data. Especially, our method can overcome the
limitation of existing dequantization methods that have to change the data
distribution, which might degrade performance. We validate our method on the
main benchmarks of unconditional density estimation, including five tabular
datasets and four image datasets for VAE models, and the IK experiments which
are conditional density estimation. The results show that PaddingFlow can
provide improvement on all tasks in this paper.
- Abstract(参考訳): フローの正規化は効率的なサンプリングを伴う生成的モデリング手法である。
しかし、フローベースモデルは、多様体と離散データという2つの問題に悩まされる。
対象分布が多様体である場合、すなわち潜在対象分布の次元とデータ分布の次元が一致しない場合、フローベースモデルは非常に良く機能する。
離散データは、フローベースのモデルを点質量の縮退混合に分解する。
本稿では,この2つの問題を補うために,パッド次元雑音による正規化フローを改善する新しいデクエント化法であるPaddingFlowを提案する。
PaddingFlowは簡単に実装でき、計算的に安価で、様々なタスクに広く適合し、データのバイアスのない推定サンプルを生成する。
特に,本手法は,データ分散を変化させなければならない既存の復号化手法の限界を克服し,性能を低下させる可能性がある。
VAEモデルのための5つの表付きデータセットと4つの画像データセットと条件付き密度推定であるIK実験を含む、条件付き密度推定の主要なベンチマークで本手法を検証した。
この結果から,PaddingFlowはすべてのタスクを改善することができることがわかった。
関連論文リスト
- Denoising Diffusion Bridge Models [54.87947768074036]
拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。
画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。
本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
論文 参考訳(メタデータ) (2023-09-29T03:24:24Z) - ManiFlow: Implicitly Representing Manifolds with Normalizing Flows [145.9820993054072]
正規化フロー(NF)は、複雑な実世界のデータ分布を正確にモデル化することが示されているフレキシブルな明示的な生成モデルである。
摂動分布から標本を与えられた多様体上の最も可能性の高い点を復元する最適化目的を提案する。
最後に、NFsの明示的な性質、すなわち、ログのような勾配とログのような勾配から抽出された表面正規化を利用する3次元点雲に焦点を当てる。
論文 参考訳(メタデータ) (2022-08-18T16:07:59Z) - VQ-Flows: Vector Quantized Local Normalizing Flows [2.7998963147546148]
データ多様体上の「チャートマップ」として局所正規化フローの混合を学習するための新しい統計フレームワークを導入する。
本フレームワークは, 正規化フローのシグネチャ特性を保ちながら, 最近の手法の表現性を向上し, 正確な密度評価を行う。
論文 参考訳(メタデータ) (2022-03-22T09:22:18Z) - Nonlinear Isometric Manifold Learning for Injective Normalizing Flows [58.720142291102135]
アイソメトリーを用いて、多様体学習と密度推定を分離する。
また、確率分布を歪ませない明示的な逆数を持つ埋め込みを設計するためにオートエンコーダを用いる。
論文 参考訳(メタデータ) (2022-03-08T08:57:43Z) - Discrete Denoising Flows [87.44537620217673]
分類的確率変数に対する離散的フローベースモデル(DDF)を提案する。
他の離散フローベースモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。
そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
論文 参考訳(メタデータ) (2021-07-24T14:47:22Z) - DeFlow: Learning Complex Image Degradations from Unpaired Data with
Conditional Flows [145.83812019515818]
本論文では,不対データから画像劣化を学習するDeFlowを提案する。
共有フローデコーダネットワークの潜在空間における劣化過程をモデル化する。
共同画像復元と超解像におけるDeFlowの定式化を検証した。
論文 参考訳(メタデータ) (2021-01-14T18:58:01Z) - Variational Mixture of Normalizing Flows [0.0]
生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。
正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。
本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
論文 参考訳(メタデータ) (2020-09-01T17:20:08Z) - SoftFlow: Probabilistic Framework for Normalizing Flow on Manifolds [15.476426879806134]
フローベース生成モデルは、同じ次元の2つのランダム変数間の可逆変換からなる。
本論文では,多様体上の正規化フローを学習するための確率的フレームワークであるSoftFlowを提案する。
実験により,SoftFlowは多様体データの固有構造を捕捉し,高品質なサンプルを生成することができることを示した。
提案手法を3次元点雲に適用することにより,フローベースモデルにおける細い構造形成の難しさを軽減する。
論文 参考訳(メタデータ) (2020-06-08T13:56:07Z) - Flows for simultaneous manifold learning and density estimation [12.451050883955071]
多様体学習フロー(M-flow)は、多様体構造を持つデータセットをより忠実に表現する。
M-フローはデータ多様体を学習し、周囲のデータ空間の標準フローよりも優れた推論を可能にする。
論文 参考訳(メタデータ) (2020-03-31T02:07:48Z) - Closing the Dequantization Gap: PixelCNN as a Single-Layer Flow [16.41460104376002]
有限体積を変換し、離散データに対する確率の正確な計算を可能にするサブセットフローを導入する。
我々は、WaveNets、PixelCNNs、Transformersを含む通常の離散自己回帰モデルを単層フローとして識別する。
我々は, CIFAR-10 を用いて, 脱量子化を訓練した流れモデルについて, 実測結果を示す。
論文 参考訳(メタデータ) (2020-02-06T22:58:51Z) - Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。
我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
論文 参考訳(メタデータ) (2019-12-30T17:36:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。