論文の概要: Nonparametric Density Estimation via Variance-Reduced Sketching
- arxiv url: http://arxiv.org/abs/2401.11646v2
- Date: Mon, 8 Jul 2024 00:27:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-10 02:58:36.775848
- Title: Nonparametric Density Estimation via Variance-Reduced Sketching
- Title（参考訳）: 可変再生スケッチによる非パラメトリック密度推定
- Authors: Yifan Peng, Yuehaw Khoo, Daren Wang,
- Abstract要約: 可変再現型スケッチ(VRS)は、次元の呪いを減らした多変数密度関数を推定するように設計されている。
VRSは、多数の密度モデルにおいて、既存のニューラルネットワーク推定器や古典的なカーネルメソッドよりも顕著に改善されている。
- 参考スコア（独自算出の注目度）: 17.364866568979412
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nonparametric density models are of great interest in various scientific and engineering disciplines. Classical density kernel methods, while numerically robust and statistically sound in low-dimensional settings, become inadequate even in moderate higher-dimensional settings due to the curse of dimensionality. In this paper, we introduce a new framework called Variance-Reduced Sketching (VRS), specifically designed to estimate multivariable density functions with a reduced curse of dimensionality. Our framework conceptualizes multivariable functions as infinite-size matrices, and facilitates a new sketching technique motivated by numerical linear algebra literature to reduce the variance in density estimation problems. We demonstrate the robust numerical performance of VRS through a series of simulated experiments and real-world data applications. Notably, VRS shows remarkable improvement over existing neural network estimators and classical kernel methods in numerous density models. Additionally, we offer theoretical justifications for VRS to support its ability to deliver nonparametric density estimation with a reduced curse of dimensionality.
- Abstract（参考訳）: 非パラメトリック密度モデルは、様々な科学や工学の分野において大きな関心を集めている。
古典密度カーネル法は、低次元設定では数値的に堅牢で統計的に健全であるが、次元性の呪いによって中程度の高次元設定でも不十分となる。
本稿では,多変量密度関数を次元の呪いを減らして推定することを目的とした,Variance-Reduced Sketching (VRS) という新しいフレームワークを提案する。
本フレームワークは,無限大行列として多変数関数を概念化し,数値線形代数文学に動機づけられた新しいスケッチ手法を導入し,密度推定問題の分散を低減する。
シミュレーション実験と実世界のデータアプリケーションによるVRSの堅牢な数値性能を実証する。
特に、VRSは、多数の密度モデルにおいて、既存のニューラルネットワーク推定器や古典的なカーネルメソッドよりも顕著に改善されている。
さらに,VRSが非パラメトリック密度推定を実現するための理論的正当性も提供し,次元の呪いを減らした。
関連論文リスト
- Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - Density Estimation via Binless Multidimensional Integration [45.21975243399607]
非パラメトリック、ロバスト、およびデータ効率の高い密度推定のためのBinless Multidimensional Thermodynamic Integration (BMTI)法を提案する。
BMTIは、近隣のデータポイント間の対数密度差を計算し、その密度の対数を推定する。
この方法は様々な複雑な合成高次元データセットでテストされ、化学物理学の文献から現実的なデータセットでベンチマークされる。
論文 参考訳（メタデータ） (2024-07-10T23:45:20Z) - VENI, VINDy, VICI: a variational reduced-order modeling framework with uncertainty quantification [4.804365706049767]
我々は、低次モデル(ROM)を構築するためのデータ駆動型非侵入型フレームワークを提案する。
詳細は、縮小座標の分布を特定するための変分SINIで構成されている。
トレーニングされたオフラインで、特定されたモデルは、新しいパラメータインスタンスと、対応するフルタイムソリューションを計算するための新しい初期条件のためにクエリすることができる。
論文 参考訳（メタデータ） (2024-05-31T15:16:48Z) - Data-freeWeight Compress and Denoise for Large Language Models [101.53420111286952]
パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。
キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
論文 参考訳（メタデータ） (2024-02-26T05:51:47Z) - Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。
MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。
乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
論文 参考訳（メタデータ） (2023-09-29T20:18:52Z) - Adaptive learning of density ratios in RKHS [3.047411947074805]
有限個の観測から2つの確率密度の比を推定することは、機械学習と統計学における中心的な問題である。
我々は、再生カーネルヒルベルト空間における真の密度比とモデルの間の正規化ブレグマン偏差を最小化する大規模な密度比推定法を分析する。
論文 参考訳（メタデータ） (2023-07-30T08:18:39Z) - Neural network analysis of neutron and X-ray reflectivity data:
Incorporating prior knowledge for tackling the phase problem [141.5628276096321]
本稿では,事前知識を利用して,より大規模なパラメータ空間上でのトレーニングプロセスを標準化する手法を提案する。
ボックスモデルパラメータ化を用いた多層構造を含む様々なシナリオにおいて,本手法の有効性を示す。
従来の手法とは対照的に,逆問題の複雑性を増大させると,我々の手法は好適にスケールする。
論文 参考訳（メタデータ） (2023-06-28T11:15:53Z) - Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。
DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
論文 参考訳（メタデータ） (2023-02-07T10:51:53Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳（メタデータ） (2021-10-26T14:26:25Z) - Low-rank Characteristic Tensor Density Estimation Part II: Compression
and Latent Density Estimation [31.631861197477185]
生成確率モデルを学習することは、機械学習における中核的な問題である。
本稿では,共同次元化と非パラメトリック密度推定の枠組みを提案する。
提案手法は, 回帰処理, サンプリング, 異常検出において, 極めて有望な結果が得られることを示す。
論文 参考訳（メタデータ） (2021-06-20T00:38:56Z) - High-Dimensional Non-Parametric Density Estimation in Mixed Smooth
Sobolev Spaces [31.663702435594825]
密度推定は、機械学習、統計的推測、可視化において多くのタスクにおいて重要な役割を果たす。
高次元密度推定の主なボトルネックは計算コストの禁止と収束速度の低下である。
適応型双曲交叉密度推定器(Adaptive hyperbolic cross density estimator)と呼ばれる高次元非パラメトリック密度推定のための新しい推定器を提案する。
論文 参考訳（メタデータ） (2020-06-05T21:27:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。