論文の概要: Variational Mixture of Normalizing Flows
- arxiv url: http://arxiv.org/abs/2009.00585v1
- Date: Tue, 1 Sep 2020 17:20:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-23 00:43:19.262634
- Title: Variational Mixture of Normalizing Flows
- Title（参考訳）: 正規化流れの変分混合
- Authors: Guilherme G. P. Freitas Pires, M\'ario A. T. Figueiredo
- Abstract要約: 生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。
正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。
本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the past few years, deep generative models, such as generative adversarial
networks \autocite{GAN}, variational autoencoders \autocite{vaepaper}, and
their variants, have seen wide adoption for the task of modelling complex data
distributions. In spite of the outstanding sample quality achieved by those
early methods, they model the target distributions \emph{implicitly}, in the
sense that the probability density functions induced by them are not explicitly
accessible. This fact renders those methods unfit for tasks that require, for
example, scoring new instances of data with the learned distributions.
Normalizing flows have overcome this limitation by leveraging the
change-of-variables formula for probability density functions, and by using
transformations designed to have tractable and cheaply computable Jacobians.
Although flexible, this framework lacked (until recently
\autocites{semisuplearning_nflows, RAD}) a way to introduce discrete structure
(such as the one found in mixtures) in the models it allows to construct, in an
unsupervised scenario. The present work overcomes this by using normalizing
flows as components in a mixture model and devising an end-to-end training
procedure for such a model. This procedure is based on variational inference,
and uses a variational posterior parameterized by a neural network. As will
become clear, this model naturally lends itself to (multimodal) density
estimation, semi-supervised learning, and clustering. The proposed model is
illustrated on two synthetic datasets, as well as on a real-world dataset.
Keywords: Deep generative models, normalizing flows, variational inference,
probabilistic modelling, mixture models.
- Abstract（参考訳）: 過去数年間、生成型adversarial networks \autocite{gan}、変分オートエンコーダ \autocite{vaepaper}などの深層生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されてきた。
これらの初期手法によって達成された顕著なサンプル品質にもかかわらず、それらによって誘導される確率密度関数が明示的にアクセスできないという意味で、ターゲット分布 \emph{implicitly} をモデル化する。
この事実により、これらのメソッドは、例えば、学習した分布で新しいデータインスタンスをスコアリングする必要のあるタスクには不適している。
正規化フローはこの制限を克服し、確率密度関数に変数の変化公式を利用し、トラクタブルで安価に計算可能なヤコビアンを持つように設計された変換を用いている。
柔軟性はあったが、このフレームワークには(最近になって \autocites{semisuplearning_nflows, RAD} まで)非教師なしのシナリオで構築できるモデルに独立した構造(ミックスに見られるものなど)を導入する方法が欠けていた。
本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
この手順は変分推論に基づいており、ニューラルネットワークによってパラメータ化された変分後段を使用する。
明らかになるが、このモデルは自然に(マルチモーダルな)密度推定、半教師付き学習、クラスタリングに寄与する。
提案したモデルは、2つの合成データセットと、実世界のデータセットで示される。
キーワード: 深層生成モデル、正規化フロー、変分推論、確率的モデリング、混合モデル。
関連論文リスト
- Constrained Diffusion Models via Dual Training [80.03953599062365]
拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。
所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。
本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
論文 参考訳（メタデータ） (2024-08-27T14:25:42Z) - Fusion of Gaussian Processes Predictions with Monte Carlo Sampling [61.31380086717422]
科学と工学において、私たちはしばしば興味のある変数の正確な予測のために設計されたモデルで作業します。
これらのモデルが現実の近似であることを認識し、複数のモデルを同じデータに適用し、結果を統合することが望ましい。
論文 参考訳（メタデータ） (2024-03-03T04:21:21Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳（メタデータ） (2024-02-19T02:08:09Z) - Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である
DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文 参考訳（メタデータ） (2023-11-01T12:17:05Z) - Uncertainty quantification and out-of-distribution detection using
surjective normalizing flows [46.51077762143714]
本稿では,深層ニューラルネットワークモデルにおける分布外データセットの探索的正規化フローを用いた簡単なアプローチを提案する。
本手法は, 流通外データと流通内データとを確実に識別できることを示す。
論文 参考訳（メタデータ） (2023-11-01T09:08:35Z) - Variational autoencoder with weighted samples for high-dimensional
non-parametric adaptive importance sampling [0.0]
既存のフレームワークを、新しい目的関数を導入することで、重み付けされたサンプルの場合に拡張する。
モデルに柔軟性を加え、マルチモーダル分布を学習できるようにするため、学習可能な事前分布を考える。
提案手法は,既存の適応的重要度サンプリングアルゴリズムを用いて,目標分布から点を抽出し,高次元で稀な事象確率を推定する。
論文 参考訳（メタデータ） (2023-10-13T15:40:55Z) - Learning Multivariate CDFs and Copulas using Tensor Factorization [39.24470798045442]
データの多変量分布を学習することは、統計学と機械学習における中核的な課題である。
本研究では,多変量累積分布関数(CDF)を学習し,混合確率変数を扱えるようにすることを目的とする。
混合確率変数の合同CDFの任意のグリッドサンプリング版は、単純ベイズモデルとして普遍表現を許容することを示す。
提案モデルの性能を,回帰,サンプリング,データ計算を含むいくつかの合成および実データおよびアプリケーションで実証する。
論文 参考訳（メタデータ） (2022-10-13T16:18:46Z) - Can Push-forward Generative Models Fit Multimodal Distributions? [3.8615905456206256]
生成ネットワークのリプシッツ定数はマルチモーダル分布に適合するために大きくなければならないことを示す。
本研究では,1次元および画像のデータセットを用いて,各ステップで入力されたスタックネットワークからなる生成モデルがそのような制約を負わないことを実証的に検証した。
論文 参考訳（メタデータ） (2022-06-29T09:03:30Z) - Modelling nonlinear dependencies in the latent space of inverse
scattering [1.5990720051907859]
アングルとマラートによって提案された逆散乱では、ディープニューラルネットワークが画像に適用された散乱変換を反転するように訓練される。
このようなネットワークをトレーニングした後、散乱係数の主成分分布から標本化できることから、生成モデルとして利用することができる。
本稿では,2つのモデル,すなわち変分オートエンコーダと生成逆数ネットワークについて検討する。
論文 参考訳（メタデータ） (2022-03-19T12:07:43Z) - Discrete Denoising Flows [87.44537620217673]
分類的確率変数に対する離散的フローベースモデル(DDF)を提案する。
他の離散フローベースモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。
そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
論文 参考訳（メタデータ） (2021-07-24T14:47:22Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳（メタデータ） (2021-02-02T06:15:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。