論文の概要: Fast Statistical Leverage Score Approximation in Kernel Ridge Regression

• arxiv url: http://arxiv.org/abs/2103.05238v1
• Date: Tue, 9 Mar 2021 05:57:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-10 15:05:20.721823
• Title: Fast Statistical Leverage Score Approximation in Kernel Ridge Regression
• Title（参考訳）: カーネルリッジ回帰における高速統計レバレッジスコア近似
• Authors: Yifan Chen, Yun Yang
• Abstract要約: Nystr"om approximationは、カーネルリッジ回帰(KRR)問題を迅速に解決する高速ランダム化方法です。 本稿では,静止Kernel-based KRRの統計的レバレッジスコアを正確に推定する線形時間アルゴリズム(モジュロポリログ項)を提案する。
• 参考スコア（独自算出の注目度）: 12.258887270632869
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nystr\"om approximation is a fast randomized method that rapidly solves kernel ridge regression (KRR) problems through sub-sampling the n-by-n empirical kernel matrix appearing in the objective function. However, the performance of such a sub-sampling method heavily relies on correctly estimating the statistical leverage scores for forming the sampling distribution, which can be as costly as solving the original KRR. In this work, we propose a linear time (modulo poly-log terms) algorithm to accurately approximate the statistical leverage scores in the stationary-kernel-based KRR with theoretical guarantees. Particularly, by analyzing the first-order condition of the KRR objective, we derive an analytic formula, which depends on both the input distribution and the spectral density of stationary kernels, for capturing the non-uniformity of the statistical leverage scores. Numerical experiments demonstrate that with the same prediction accuracy our method is orders of magnitude more efficient than existing methods in selecting the representative sub-samples in the Nystr\"om approximation.
• Abstract（参考訳）: Nystr\"om approximationは、ターゲット関数に現れるn-by-n経験的カーネル行列をサブサンプリングすることで、カーネルリッジ回帰(KRR)問題を迅速に解決する高速ランダム化手法である。 しかし,このようなサブサンプリング手法の性能は,サンプリング分布を形成するための統計的レバレッジスコアを正しく推定することに大きく依存する。 本研究では,ステーショナリーカーネルに基づくKRRにおける統計的レバレッジスコアを理論的保証で正確に近似する線形時間(モジュロポリログ項)アルゴリズムを提案する。 特に、KRR目標の第一次状態を解析することにより、統計的レバレッジスコアの不均一性を捕捉するために、静止核の入力分布とスペクトル密度の両方に依存する解析式を導出する。 数値実験により,nystr\"om近似における代表サブサンプルの選択において,同じ予測精度で既存の手法よりも桁違いに効率的であることが証明された。

関連論文リスト

• Statistical Inference in Tensor Completion: Optimal Uncertainty Quantification and Statistical-to-Computational Gaps [7.174572371800217]
  本稿では,不完全かつノイズの多い観測を用いて,テンソル線形形式を統計的に推定する簡易かつ効率的な手法を提案する。 これは、信頼区間の構築、ヘテロスケダティックおよびサブ指数雑音下での推論、同時テストなど、様々な統計的推論タスクに適している。
  論文  参考訳（メタデータ） (2024-10-15T03:09:52Z)
• Inference in Randomized Least Squares and PCA via Normality of Quadratic Forms [19.616162116973637]
  ランダムなスケッチや投影による統計的推測のための統一手法を開発した。 この手法は固定データセット(すなわちデータ条件)に適用され、ランダム性だけがランダム化アルゴリズムによるものである。
  論文  参考訳（メタデータ） (2024-04-01T04:35:44Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Coefficient-based Regularized Distribution Regression [4.21768682940933]
  我々は、確率測度から実数値応答への回帰を目的とした係数に基づく正規化分布回帰を、Hilbert空間(RKHS)上で考える。 回帰関数の正則範囲が異なるアルゴリズムの漸近挙動を包括的に研究した。 最適速度は、いくつかの穏やかな条件下で得られるが、これは1段のサンプル化された最小値の最適速度と一致する。
  論文  参考訳（メタデータ） (2022-08-26T03:46:14Z)
• Probabilistic Estimation of Chirp Instantaneous Frequency Using Gaussian Processes [4.150253997298207]
  本稿では、チャープと瞬時周波数の真の形状が不明な場合に、信号とその瞬時周波数関数を推定するための確率論的アプローチを提案する。 実験により, この手法は合成モデル上で多くのベースライン法より優れており, 重力波データの解析にも適用できることがわかった。
  論文  参考訳（メタデータ） (2022-05-12T18:47:13Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
  均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。 提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:51:10Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
  Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。 単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
  論文  参考訳（メタデータ） (2020-02-26T16:37:37Z)
• Diversity sampling is an implicit regularization for kernel methods [13.136143245702915]
  多様なランドマークを持つNystrのカーネルレグレッションにより,データセットのスペーサー領域におけるレグレッションの精度が向上することを示す。 正確な DPP サンプリングが現実的に実現不可能な場合, 大規模なデータセット内で大きなサイズのサンプルを選択するために, グリーディも提案されている。
  論文  参考訳（メタデータ） (2020-02-20T08:24:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。