論文の概要: Statistical Efficiency of Score Matching: The View from Isoperimetry
- arxiv url: http://arxiv.org/abs/2210.00726v1
- Date: Mon, 3 Oct 2022 06:09:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 14:42:23.690411
- Title: Statistical Efficiency of Score Matching: The View from Isoperimetry
- Title（参考訳）: スコアマッチングの統計的効率:イソペリメトリの観点から
- Authors: Frederic Koehler, Alexander Heckett, Andrej Risteski
- Abstract要約: 本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
- 参考スコア（独自算出の注目度）: 96.65637602827942
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep generative models parametrized up to a normalizing constant (e.g.
energy-based models) are difficult to train by maximizing the likelihood of the
data because the likelihood and/or gradients thereof cannot be explicitly or
efficiently written down. Score matching is a training method, whereby instead
of fitting the likelihood $\log p(x)$ for the training data, we instead fit the
score function $\nabla_x \log p(x)$ -- obviating the need to evaluate the
partition function. Though this estimator is known to be consistent, its
unclear whether (and when) its statistical efficiency is comparable to that of
maximum likelihood -- which is known to be (asymptotically) optimal. We
initiate this line of inquiry in this paper, and show a tight connection
between statistical efficiency of score matching and the isoperimetric
properties of the distribution being estimated -- i.e. the Poincar\'e,
log-Sobolev and isoperimetric constant -- quantities which govern the mixing
time of Markov processes like Langevin dynamics. Roughly, we show that the
score matching estimator is statistically comparable to the maximum likelihood
when the distribution has a small isoperimetric constant. Conversely, if the
distribution has a large isoperimetric constant -- even for simple families of
distributions like exponential families with rich enough sufficient statistics
-- score matching will be substantially less efficient than maximum likelihood.
We suitably formalize these results both in the finite sample regime, and in
the asymptotic regime. Finally, we identify a direct parallel in the discrete
setting, where we connect the statistical properties of pseudolikelihood
estimation with approximate tensorization of entropy and the Glauber dynamics.
- Abstract（参考訳）: 正規化定数(例えばエネルギーベースモデル)までパラメータ化された深層生成モデルは、その可能性や勾配を明示的にあるいは効率的に記述できないため、データの可能性を最大化することで訓練が困難である。
スコアマッチングはトレーニング方法であり、トレーニングデータに$\log p(x)$を適合させる代わりに、スコア関数$\nabla_x \log p(x)$ -- 分割関数を評価する必要がなくなる。この推定器が一貫性があることは知られているが、その統計的効率が最大確率の値に匹敵するかどうか(そしていつ)は、(漸近的に)最適であることが知られている。
We initiate this line of inquiry in this paper, and show a tight connection between statistical efficiency of score matching and the isoperimetric properties of the distribution being estimated -- i.e. the Poincar\'e, log-Sobolev and isoperimetric constant -- quantities which govern the mixing time of Markov processes like Langevin dynamics. Roughly, we show that the score matching estimator is statistically comparable to the maximum likelihood when the distribution has a small isoperimetric constant. Conversely, if the distribution has a large isoperimetric constant -- even for simple families of distributions like exponential families with rich enough sufficient statistics -- score matching will be substantially less efficient than maximum likelihood.
これらの結果を有限サンプルレジームと漸近レジームの両方で適切に定式化する。
最後に、離散的な設定における直接平行性を同定し、擬似同型推定の統計的性質をエントロピーの近似テンソル化とグラウバー力学とを結びつける。
関連論文リスト
- Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Optimal regularizations for data generation with probabilistic graphical
models [0.0]
経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。
生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
論文 参考訳（メタデータ） (2021-12-02T14:45:16Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Denoising Score Matching with Random Fourier Features [11.60130641443281]
Kernel Exponential Family を用いたDenoising Score matching の解析式をモデル分布として導出する。
得られた式はノイズのばらつきに明示的に依存するため、バリデーション損失はノイズレベルを調整するために簡単に使用できる。
論文 参考訳（メタデータ） (2021-01-13T18:02:39Z) - Efficient Data-Dependent Learnability [8.766022970635898]
予測正規化最大可能性(pNML)アプローチは、最近、バッチ学習問題に対する min-max 最適解として提案されている。
ニューラルネットワークに適用すると、この近似が分散外例を効果的に検出できることが示される。
論文 参考訳（メタデータ） (2020-11-20T10:44:55Z) - Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。
我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
論文 参考訳（メタデータ） (2020-10-11T19:05:49Z) - Optimal Distributed Subsampling for Maximum Quasi-Likelihood Estimators
with Massive Data [20.79270369203348]
既存の手法は主に高い計算効率のために置換されたサブサンプリングに焦点を当てている。
まず,準類似度推定の文脈で最適なサブサンプリング確率を導出する。
我々は,分散サブサンプリングフレームワークを開発し,全データの小さなパーティションで統計を同時に計算する。
論文 参考訳（メタデータ） (2020-05-21T02:46:56Z) - Nonparametric Score Estimators [49.42469547970041]
未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。
正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。
カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
論文 参考訳（メタデータ） (2020-05-20T15:01:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。