論文の概要: Provable benefits of score matching
- arxiv url: http://arxiv.org/abs/2306.01993v1
- Date: Sat, 3 Jun 2023 03:42:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 20:53:47.043056
- Title: Provable benefits of score matching
- Title（参考訳）: スコアマッチングの確率的利点
- Authors: Chirag Pabbaraju, Dhruv Rohatgi, Anish Sevekari, Holden Lee, Ankur
Moitra, Andrej Risteski
- Abstract要約: スコアマッチング損失が計算効率良く最適化できるような分布の自然指数族の最初の例を示す。
確率損失を最適化するためのゼロ階または1階のオラクルの設計はNPハードであることを示す。
スコアマッチング損失の最小化は、計算的かつ統計的に効率的であり、周囲の次元は複雑である。
- 参考スコア（独自算出の注目度）: 30.317535687908755
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Score matching is an alternative to maximum likelihood (ML) for estimating a
probability distribution parametrized up to a constant of proportionality. By
fitting the ''score'' of the distribution, it sidesteps the need to compute
this constant of proportionality (which is often intractable). While score
matching and variants thereof are popular in practice, precise theoretical
understanding of the benefits and tradeoffs with maximum likelihood -- both
computational and statistical -- are not well understood. In this work, we give
the first example of a natural exponential family of distributions such that
the score matching loss is computationally efficient to optimize, and has a
comparable statistical efficiency to ML, while the ML loss is intractable to
optimize using a gradient-based method. The family consists of exponentials of
polynomials of fixed degree, and our result can be viewed as a continuous
analogue of recent developments in the discrete setting. Precisely, we show:
(1) Designing a zeroth-order or first-order oracle for optimizing the maximum
likelihood loss is NP-hard. (2) Maximum likelihood has a statistical efficiency
polynomial in the ambient dimension and the radius of the parameters of the
family. (3) Minimizing the score matching loss is both computationally and
statistically efficient, with complexity polynomial in the ambient dimension.
- Abstract（参考訳）: スコアマッチングは、比例定数までパラメータ化された確率分布を推定するための最大可能性(ML)の代替である。
分布の'score'をフィッティングすることで、この比例性の定数(しばしば難解である)を計算する必要性を回避できる。
スコアマッチングやその変種は実際に人気があるが、最大確率の利点とトレードオフの正確な理論的理解(計算量と統計量の両方)はよく分かっていない。
本研究では,スコアマッチング損失が計算効率が高く,mlに匹敵する統計効率を持つような分布の自然な指数関数群の最初の例を示すが,ml損失は勾配に基づく手法で最適化するには難解である。
この族は固定次数の多項式の指数関数から成り、その結果は離散集合における最近の発展の連続的な類似物と見なすことができる。
正確には、(1) 最大可能性損失を最適化するためのゼロ次または1次オラクルの設計はnpハードである。
2)最大確率は、周辺次元と家族のパラメータの半径における統計的効率多項式を持つ。
(3) スコアマッチング損失の最小化は計算的かつ統計的に効率的であり, 周辺次元の複雑性多項式は複雑である。
関連論文リスト
- Optimal convex $M$-estimation via score matching [6.115859302936817]
実験的リスク最小化が回帰係数の下流推定における最適分散をもたらすデータ駆動凸損失関数を構築した。
半パラメトリック手法は、雑音分布の対数密度の導関数の導関数の最も少ない近似を目標とする。
論文 参考訳（メタデータ） (2024-03-25T12:23:19Z) - Stochastic Optimization for Non-convex Problem with Inexact Hessian
Matrix, Gradient, and Function [99.31457740916815]
信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。
TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
論文 参考訳（メタデータ） (2023-10-18T10:29:58Z) - On Computationally Efficient Learning of Exponential Family
Distributions [33.229944519289795]
我々は、サポートと自然なパラメータが適切にバウンドされている設定に焦点を当てる。
本手法は,ノードワイズ・スパースランダムフィールドに適した場合,$O(sf log(k)/alpha2)$のオーダー最適サンプル複雑性を実現する。
論文 参考訳（メタデータ） (2023-09-12T17:25:32Z) - Fit Like You Sample: Sample-Efficient Generalized Score Matching from
Fast Mixing Diffusions [29.488555741982015]
幅広いマルコフ過程の混合時間と生成元 $mathcalL$ との密接な関係を示す。
我々はマルコフ連鎖を高速化し、より良いスコアマッチング損失を構築する技術に適応する。
特に、拡散のプレコンディショニング'をスコア損失の適切なプレコンディショニング'に変換することができる。
論文 参考訳（メタデータ） (2023-06-15T17:58:42Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。
本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
論文 参考訳（メタデータ） (2023-01-30T15:46:39Z) - Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
論文 参考訳（メタデータ） (2022-10-03T06:09:01Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - Efficient semidefinite-programming-based inference for binary and
multi-class MRFs [83.09715052229782]
分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。
一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
論文 参考訳（メタデータ） (2020-12-04T15:36:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。