論文の概要: A likelihood approach to nonparametric estimation of a singular
distribution using deep generative models
- arxiv url: http://arxiv.org/abs/2105.04046v1
- Date: Sun, 9 May 2021 23:13:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 15:15:40.376029
- Title: A likelihood approach to nonparametric estimation of a singular
distribution using deep generative models
- Title(参考訳): 深部生成モデルを用いた特異分布の非パラメトリック推定への可能性
- Authors: Minwoo Chae, Dongha Kim, Yongdai Kim, Lizhen Lin
- Abstract要約: 深部生成モデルを用いた特異分布の非パラメトリック推定の可能性について検討する。
インスタンスノイズでデータを摂動させることにより,新しい有効な解が存在することを証明した。
また,深層生成モデルを用いて効率的に推定できる分布のクラスを特徴付ける。
- 参考スコア(独自算出の注目度): 3.460138063155115
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We investigate statistical properties of a likelihood approach to
nonparametric estimation of a singular distribution using deep generative
models. More specifically, a deep generative model is used to model
high-dimensional data that are assumed to concentrate around some
low-dimensional structure. Estimating the distribution supported on this
low-dimensional structure such as a low-dimensional manifold is challenging due
to its singularity with respect to the Lebesgue measure in the ambient space.
In the considered model, a usual likelihood approach can fail to estimate the
target distribution consistently due to the singularity. We prove that a novel
and effective solution exists by perturbing the data with an instance noise
which leads to consistent estimation of the underlying distribution with
desirable convergence rates. We also characterize the class of distributions
that can be efficiently estimated via deep generative models. This class is
sufficiently general to contain various structured distributions such as
product distributions, classically smooth distributions and distributions
supported on a low-dimensional manifold. Our analysis provides some insights on
how deep generative models can avoid the curse of dimensionality for
nonparametric distribution estimation. We conduct thorough simulation study and
real data analysis to empirically demonstrate that the proposed data
perturbation technique improves the estimation performance significantly.
- Abstract(参考訳): 深部生成モデルを用いた特異分布の非パラメトリック推定に対する確率的アプローチの統計的特性について検討する。
より具体的には、ある低次元構造の周りに集中すると仮定される高次元データをモデル化するために、深い生成モデルが用いられる。
低次元多様体のようなこの低次元構造に支持される分布を推定することは、その特異性から周囲空間のルベーグ測度に関して難しい。
検討されたモデルでは、通常の確率的アプローチは特異性のために目標分布を常に推定できない。
そこで,本論文では,データに最適な収束率で基礎となる分布を一貫した推定をもたらすインスタンスノイズを摂動することで,新しい効率的な解が存在することを示す。
また,深層生成モデルを用いて効率的に推定できる分布のクラスを特徴付ける。
このクラスは、積分布、古典的に滑らかな分布、低次元多様体上で支持される分布といった様々な構造化分布を含むのに十分一般的である。
本解析は,非パラメトリック分布推定における次元の呪いを避けるための深い生成モデルに関する知見を与える。
提案手法が推定性能を大幅に向上することを示すために,詳細なシミュレーション研究と実データ解析を行い,実データ解析を行った。
関連論文リスト
- Empirical Density Estimation based on Spline Quasi-Interpolation with
applications to Copulas clustering modeling [0.0]
密度推定は、様々な分野において、基礎となるデータの分布をモデル化し理解するための基礎的な手法である。
本稿では,擬似補間による密度の単変量近似を提案する。
提案アルゴリズムは人工データセットと実データセットで検証される。
論文 参考訳(メタデータ) (2024-02-18T11:49:38Z) - PQMass: Probabilistic Assessment of the Quality of Generative Models
using Probability Mass Estimation [8.527898482146103]
生成モデルの品質を評価するための包括的サンプルベース手法を提案する。
提案手法により,同じ分布から2組のサンプルが引き出される確率を推定できる。
論文 参考訳(メタデータ) (2024-02-06T19:39:26Z) - Guaranteed Optimal Generative Modeling with Maximum Deviation from the
Empirical Distribution [0.0]
ジェネレーティブ・モデリング(Generative Modeling)は、科学および産業分野で様々な用途に応用された機械学習手法である。
その主な目的は、トレーニングデータから得られた未知の分布から引き出された新しいサンプルをシミュレートし、多様性を確保し、トレーニングデータからのサンプルの複製を避けることである。
本稿では, 実データ生成分布を学習データ生成分布に置き換える誤差は, サンプルサイズが無限大に近づくにつれて, 最適に0に収束する必要があり, トレーニングデータ中の任意の分布複製例から, 学習データ生成分布が十分遠く離れるべきである,という2つの特性を持つ生成モデルのトレーニングに関する理論的知見を示す。
論文 参考訳(メタデータ) (2023-07-31T06:11:57Z) - Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。
実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
論文 参考訳(メタデータ) (2023-03-03T11:31:55Z) - Score Approximation, Estimation and Distribution Recovery of Diffusion
Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。
適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。
推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文 参考訳(メタデータ) (2023-02-14T17:02:35Z) - ManiFlow: Implicitly Representing Manifolds with Normalizing Flows [145.9820993054072]
正規化フロー(NF)は、複雑な実世界のデータ分布を正確にモデル化することが示されているフレキシブルな明示的な生成モデルである。
摂動分布から標本を与えられた多様体上の最も可能性の高い点を復元する最適化目的を提案する。
最後に、NFsの明示的な性質、すなわち、ログのような勾配とログのような勾配から抽出された表面正規化を利用する3次元点雲に焦点を当てる。
論文 参考訳(メタデータ) (2022-08-18T16:07:59Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳(メタデータ) (2021-10-20T12:25:22Z) - Achieving Efficiency in Black Box Simulation of Distribution Tails with
Self-structuring Importance Samplers [1.6114012813668934]
本稿では,線形プログラムや整数線形プログラム,ピースワイド線形・二次目的,ディープニューラルネットワークで指定された特徴マップなど,多種多様なツールでモデル化されたパフォーマンス指標の分布を推定する,新しいImportance Smpling(IS)方式を提案する。
論文 参考訳(メタデータ) (2021-02-14T03:37:22Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。