論文の概要: Nonparametric Estimation via Variance-Reduced Sketching
- arxiv url: http://arxiv.org/abs/2401.11646v1
- Date: Mon, 22 Jan 2024 01:45:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 15:35:15.984882
- Title: Nonparametric Estimation via Variance-Reduced Sketching
- Title(参考訳): 可変再生スケッチによる非パラメトリック推定
- Authors: Yuehaw Khoo, Yifan Peng, and Daren Wang
- Abstract要約: 高次元における密度関数と非パラメトリック回帰関数を推定するために,VRS (Variance-Reduced Sketching) が設計された。
VRSは、多数の密度推定と非パラメトリック回帰モデルにおいて、既存のニューラルネットワーク推定器や古典的なカーネル手法よりも顕著に改善されている。
- 参考スコア(独自算出の注目度): 17.364866568979412
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nonparametric models are of great interest in various scientific and
engineering disciplines. Classical kernel methods, while numerically robust and
statistically sound in low-dimensional settings, become inadequate in
higher-dimensional settings due to the curse of dimensionality. In this paper,
we introduce a new framework called Variance-Reduced Sketching (VRS),
specifically designed to estimate density functions and nonparametric
regression functions in higher dimensions with a reduced curse of
dimensionality. Our framework conceptualizes multivariable functions as
infinite-size matrices, and facilitates a new sketching technique motivated by
numerical linear algebra literature to reduce the variance in estimation
problems. We demonstrate the robust numerical performance of VRS through a
series of simulated experiments and real-world data applications. Notably, VRS
shows remarkable improvement over existing neural network estimators and
classical kernel methods in numerous density estimation and nonparametric
regression models. Additionally, we offer theoretical justifications for VRS to
support its ability to deliver nonparametric estimation with a reduced curse of
dimensionality.
- Abstract(参考訳): 非パラメトリックモデルは、様々な科学と工学の分野に大きな関心を持っている。
古典的なカーネル法は、低次元設定では数値的に堅牢で統計的に健全であるが、次元性の呪いにより高次元設定では不十分となる。
本稿では,高次元における密度関数と非パラメトリック回帰関数を,次元の呪いを減らして推定することを目的として,VRS(Variance-Reduced Sketching)と呼ばれる新しいフレームワークを提案する。
本フレームワークは,無限大行列として多変数関数を概念化し,数値線形代数文を動機とした新しいスケッチ手法により,推定問題の分散を低減する。
シミュレーション実験と実世界のデータアプリケーションによるVRSの堅牢な数値性能を実証する。
特に、VRSは、多数の密度推定と非パラメトリック回帰モデルにおいて、既存のニューラルネットワーク推定器や古典的なカーネル手法よりも顕著に改善されている。
さらに,vrに対して,次元の呪いを低減した非パラメトリック推定能力をサポートする理論的正当性を提供する。
関連論文リスト
- Data-freeWeight Compress and Denoise for Large Language Models [101.53420111286952]
パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。
キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
論文 参考訳(メタデータ) (2024-02-26T05:51:47Z) - Contrastive inverse regression for dimension reduction [0.0]
コントラッシブ・リバース・レグレッション (CIR) と呼ばれる, コントラッシブ・セッティングに特化して設計されたディメンション・リダクション法を提案する。
CIRは、非標準損失関数を持つスティーフェル多様体上で定義される最適化問題を導入する。
勾配勾配勾配に基づくアルゴリズムを用いて,CIRの局所最適収束を証明し,高次元データに対する競合手法よりも優れた性能を実証的に示す。
論文 参考訳(メタデータ) (2023-05-20T21:44:11Z) - Multilevel CNNs for Parametric PDEs [0.0]
偏微分方程式に対する多段階解法の概念とニューラルネットワークに基づくディープラーニングを組み合わせる。
より詳細な理論的解析により,提案アーキテクチャは乗算Vサイクルを任意の精度で近似できることを示した。
最先端のディープラーニングベースの解法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2023-04-01T21:11:05Z) - On the Implicit Geometry of Cross-Entropy Parameterizations for
Label-Imbalanced Data [26.310275682709776]
ラベインバランスデータの重み付きCE大モデルに代わるものとして,クロスエントロピー(CE)損失のロジット調整パラメータ化が提案されている。
マイノリティ不均衡比に関係なく,ロジット調整パラメータ化を適切に調整して学習することができることを示す。
論文 参考訳(メタデータ) (2023-03-14T03:04:37Z) - Direct Estimation of Parameters in ODE Models Using WENDy: Weak-form
Estimation of Nonlinear Dynamics [0.0]
ODE の非線形システムに対するモデルパラメータを推定する Weak-form Estimation of Dynamics (WENDy) 手法を提案する。
WENDyは正確な推定値を計算し、大きな(生物学的に関係のある)測定ノイズに対して堅牢である。
個体群生物学,神経科学,生化学の共通モデルにおいて,WENDyを用いてパラメータを推定することにより,高いロバスト性と計算効率を示す。
論文 参考訳(メタデータ) (2023-02-26T08:49:34Z) - Numerical Optimizations for Weighted Low-rank Estimation on Language
Model [73.12941276331316]
Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。
標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。
本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-11-02T00:58:02Z) - An Experimental Study of Dimension Reduction Methods on Machine Learning
Algorithms with Applications to Psychometrics [77.34726150561087]
次元の減少は、変数の減少を伴わないのと同じ精度で減少、増大、あるいは達成できることを示す。
我々の暫定的な結果は、次元の減少が分類タスクに使用する場合、より良い性能をもたらす傾向があることを見出した。
論文 参考訳(メタデータ) (2022-10-19T22:07:13Z) - RMFGP: Rotated Multi-fidelity Gaussian process with Dimension Reduction
for High-dimensional Uncertainty Quantification [12.826754199680474]
マルチフィデリティモデリングは、少量の正確なデータしか入手できない場合でも、正確な推測を可能にする。
高忠実度モデルと1つ以上の低忠実度モデルを組み合わせることで、多忠実度法は興味のある量の正確な予測を行うことができる。
本稿では,回転多要素ガウス過程の回帰に基づく新しい次元削減フレームワークとベイズ能動学習手法を提案する。
論文 参考訳(メタデータ) (2022-04-11T01:20:35Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳(メタデータ) (2021-10-26T14:26:25Z) - Intrinsic Dimensionality Explains the Effectiveness of Language Model
Fine-Tuning [52.624194343095304]
我々は、内在次元のレンズを通して微調整を分析することは、経験的および理論的直観をもたらすと論じる。
実験により、一般的な事前学習モデルは本質的な次元が極めて低いことを示す。
論文 参考訳(メタデータ) (2020-12-22T07:42:30Z) - Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。
提案手法は, 十分次元還元法の非パラメトリック一般化である。
推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
論文 参考訳(メタデータ) (2020-06-10T14:47:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。