論文の概要: Beyond Smoothness: Incorporating Low-Rank Analysis into Nonparametric
Density Estimation
- arxiv url: http://arxiv.org/abs/2204.00930v1
- Date: Sat, 2 Apr 2022 19:45:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-05 16:26:48.911903
- Title: Beyond Smoothness: Incorporating Low-Rank Analysis into Nonparametric
Density Estimation
- Title（参考訳）: 滑らか性を超えて:非パラメトリック密度推定に低ランク解析を組み込む
- Authors: Robert A. Vandermeulen and Antoine Ledent
- Abstract要約: タッカー分解に基づく新しい非パラメトリック潜在変数モデルを提案する。
提案手法の初歩的な実装により,標準ヒストグラム推定器よりもかなりの性能向上が実証された。
- 参考スコア（独自算出の注目度）: 20.38883021295225
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The construction and theoretical analysis of the most popular universally
consistent nonparametric density estimators hinge on one functional property:
smoothness. In this paper we investigate the theoretical implications of
incorporating a multi-view latent variable model, a type of low-rank model,
into nonparametric density estimation. To do this we perform extensive analysis
on histogram-style estimators that integrate a multi-view model. Our analysis
culminates in showing that there exists a universally consistent
histogram-style estimator that converges to any multi-view model with a finite
number of Lipschitz continuous components at a rate of
$\widetilde{O}(1/\sqrt[3]{n})$ in $L^1$ error. In contrast, the standard
histogram estimator can converge at a rate slower than $1/\sqrt[d]{n}$ on the
same class of densities. We also introduce a new nonparametric latent variable
model based on the Tucker decomposition. A rudimentary implementation of our
estimators experimentally demonstrates a considerable performance improvement
over the standard histogram estimator. We also provide a thorough analysis of
the sample complexity of our Tucker decomposition-based model and a variety of
other results. Thus, our paper provides solid theoretical foundations for
extending low-rank techniques to the nonparametric setting
- Abstract（参考訳）: 最も一般的な普遍的一貫した非パラメトリック密度推定器の構成と理論的解析は、1つの機能的性質(滑らかさ)にヒンジする。
本稿では,低ランクモデルの一種である多視点潜在変数モデルを非パラメトリック密度推定に組み込む理論的意義について検討する。
これを実現するために,マルチビューモデルを統合するヒストグラム型推定器の詳細な解析を行う。
我々の分析は、有限個のリプシッツ連続成分を持つ任意のマルチビューモデルに、$L^1$エラーで$\widetilde{O}(1/\sqrt[3]{n})$の速度で収束する普遍的に一貫したヒストグラム型推定器が存在することを示す。
対照的に、標準的なヒストグラム推定器は、1/\sqrt[d]{n}$よりも同じ密度のクラスで遅い速度で収束することができる。
また,タッカー分解に基づく新しい非パラメトリック潜在変数モデルを提案する。
提案手法の初歩的な実装により,標準ヒストグラム推定器よりもかなりの性能向上が実証された。
また,タッカー分解に基づくモデルのサンプル複雑性と,他の様々な結果の詳細な分析を行った。
そこで本論文は,低ランク手法を非パラメトリック設定に拡張するための理論基盤を提供する。
関連論文リスト
- A Unified Analysis for Finite Weight Averaging [50.75116992029417]
Gradient Descent(SGD)の平均イテレーションは、SWA(Weight Averaging)、EMA(Exponential moving Average)、LAWA(Latest Weight Averaging)といったディープラーニングモデルのトレーニングにおいて、経験的な成功を収めている。
本稿では、LAWAを有限重み平均化(FWA)として一般化し、最適化と一般化の観点からSGDと比較して、それらの利点を説明する。
論文 参考訳（メタデータ） (2024-11-20T10:08:22Z) - Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - Mean-Square Analysis of Discretized It\^o Diffusions for Heavy-tailed
Sampling [17.415391025051434]
重み付きポインカーの不等式に関連する伊藤拡散の自然クラスを離散化することにより、重み付き分布のクラスからのサンプリングの複雑さを分析する。
平均二乗解析に基づいて、ワッサーシュタイン2計量のターゲット分布に近い分布が$epsilon$のサンプルを得るための反復複雑性を確立する。
論文 参考訳（メタデータ） (2023-03-01T15:16:03Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Estimating Higher-Order Mixed Memberships via the $\ell_{2,\infty}$
Tensor Perturbation Bound [8.521132000449766]
テンソルブロックモデルの一般化であるテンソル混合メンバーシップブロックモデルを提案する。
我々は,モデルの同定可能性を確立し,計算効率の良い推定手法を提案する。
本手法を実データおよびシミュレーションデータに適用し,個別のコミュニティメンバーシップを持つモデルから特定できない効果を示す。
論文 参考訳（メタデータ） (2022-12-16T18:32:20Z) - KL-Entropy-Regularized RL with a Generative Model is Minimax Optimal [70.15267479220691]
モデル強化学習のサンプル複雑性を,生成的分散自由モデルを用いて検討・解析する。
我々の分析は、$varepsilon$が十分小さい場合、$varepsilon$-optimal Policyを見つけるのが、ほぼ最小の最適化であることを示している。
論文 参考訳（メタデータ） (2022-05-27T19:39:24Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - The Heavy-Tail Phenomenon in SGD [7.366405857677226]
最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。
深層学習におけるSGDの行動に関する知見に分析結果を変換する。
論文 参考訳（メタデータ） (2020-06-08T16:43:56Z) - Nonparametric Score Estimators [49.42469547970041]
未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。
正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。
カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
論文 参考訳（メタデータ） (2020-05-20T15:01:03Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。