論文の概要: Neural Inverse Transform Sampler
- arxiv url: http://arxiv.org/abs/2206.11172v1
- Date: Wed, 22 Jun 2022 15:28:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-23 18:16:25.868218
- Title: Neural Inverse Transform Sampler
- Title(参考訳): ニューラルインバース変換サンプリング装置
- Authors: Henry Li, Yuval Kluger
- Abstract要約: ニューラルネットワークを用いて条件密度をモデル化する場合、$Z$を正確に効率的に計算できることが示される。
textbfNeural Inverse Transform Sampler (NITS)は,汎用的,多次元,コンパクトに支持された確率密度のモデリングとサンプリングのための新しいディープラーニングフレームワークである。
- 参考スコア(独自算出の注目度): 4.061135251278187
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Any explicit functional representation $f$ of a density is hampered by two
main obstacles when we wish to use it as a generative model: designing $f$ so
that sampling is fast, and estimating $Z = \int f$ so that $Z^{-1}f$ integrates
to 1. This becomes increasingly complicated as $f$ itself becomes complicated.
In this paper, we show that when modeling one-dimensional conditional densities
with a neural network, $Z$ can be exactly and efficiently computed by letting
the network represent the cumulative distribution function of a target density,
and applying a generalized fundamental theorem of calculus. We also derive a
fast algorithm for sampling from the resulting representation by the inverse
transform method. By extending these principles to higher dimensions, we
introduce the \textbf{Neural Inverse Transform Sampler (NITS)}, a novel deep
learning framework for modeling and sampling from general, multidimensional,
compactly-supported probability densities. NITS is a highly expressive density
estimator that boasts end-to-end differentiability, fast sampling, and exact
and cheap likelihood evaluation. We demonstrate the applicability of NITS by
applying it to realistic, high-dimensional density estimation tasks:
likelihood-based generative modeling on the CIFAR-10 dataset, and density
estimation on the UCI suite of benchmark datasets, where NITS produces
compelling results rivaling or surpassing the state of the art.
- Abstract(参考訳): 密度の明示的な関数表現$f$は、生成モデルとして使用したいときに2つの主要な障害によって妨げられる: サンプリングが高速になるように$f$を設計し、$Z = \int f$を推定すると、$Z^{-1}f$は 1 に統合される。
これは$f$自体が複雑になるにつれてますます複雑になる。
本稿では, 1次元条件密度をニューラルネットワークでモデル化する場合, 対象密度の累積分布関数をネットワークに表現させ, 一般化基本定理を適用することにより, 正確に効率的にZ$を計算することができることを示す。
また, 逆変換法による結果表現からサンプリングする高速アルゴリズムを導出する。
これらの原理を高次元に拡張することにより、一般化された多次元のコンパクトな確率密度からモデリングおよびサンプリングを行うための新しいディープラーニングフレームワークである \textbf{Neural Inverse Transform Sampler (NITS) を導入する。
NITSは高度に表現力のある密度推定器であり、エンドツーエンドの微分可能性、高速サンプリング、正確で安価な確率評価を備えている。
そこで本研究では,高次元密度推定タスクであるcifar-10データセットの確率ベース生成モデル,uciベンチマークデータセットの密度推定にnitsを適用することで,nitsの適用性を示す。
関連論文リスト
- Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳(メタデータ) (2024-03-08T18:50:19Z) - The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳(メタデータ) (2023-12-19T23:04:56Z) - Distribution learning via neural differential equations: a nonparametric
statistical perspective [1.4436965372953483]
この研究は、確率変換によって訓練されたODEモデルによる分布学習のための最初の一般統計収束解析を確立する。
後者はクラス $mathcal F$ の$C1$-metric entropy で定量化できることを示す。
次に、この一般フレームワークを$Ck$-smoothターゲット密度の設定に適用し、関連する2つの速度場クラスに対する最小最適収束率を$mathcal F$:$Ck$関数とニューラルネットワークに設定する。
論文 参考訳(メタデータ) (2023-09-03T00:21:37Z) - Adversarial Likelihood Estimation With One-Way Flows [44.684952377918904]
GAN(Generative Adversarial Networks)は、高品質なサンプルを生成することができるが、サンプル周辺の確率密度を見積もることはできない。
提案手法は, より高速に収束し, 類似したアーキテクチャでGANに匹敵するサンプル品質を生成し, 一般的に使用されるデータセットの過度な適合を回避し, トレーニングデータのスムーズな低次元潜在表現を生成する。
論文 参考訳(メタデータ) (2023-07-19T10:26:29Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳(メタデータ) (2023-06-13T01:18:16Z) - Using Intermediate Forward Iterates for Intermediate Generator
Optimization [14.987013151525368]
中間ジェネレータ最適化は、生成タスクのための任意の標準オートエンコーダパイプラインに組み込むことができる。
IGOの2つの密集予測タスク(viz.)、画像外挿、点雲デノイング(denoising)に対する応用を示す。
論文 参考訳(メタデータ) (2023-02-05T08:46:15Z) - Convergence for score-based generative modeling with polynomial
complexity [9.953088581242845]
我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。
以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。
予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
論文 参考訳(メタデータ) (2022-06-13T14:57:35Z) - Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。
本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文 参考訳(メタデータ) (2021-01-15T11:39:09Z) - Your GAN is Secretly an Energy-based Model and You Should use
Discriminator Driven Latent Sampling [106.68533003806276]
本研究では,潜時空間におけるサンプリングは,潜時空間の前対数密度と判別器出力スコアの和によって誘導されるエネルギーベースモデルに従って,潜時空間におけるサンプリングを行うことによって達成できることを示す。
判別器駆動潜時サンプリング(DDLS)は,高次元画素空間で動作する従来の手法と比較して,高効率であることを示す。
論文 参考訳(メタデータ) (2020-03-12T23:33:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。