論文の概要: The Theory and Practice of Highly Scalable Gaussian Process Regression with Nearest Neighbours
- arxiv url: http://arxiv.org/abs/2604.07267v1
- Date: Wed, 08 Apr 2026 16:30:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-09 17:30:51.636605
- Title: The Theory and Practice of Highly Scalable Gaussian Process Regression with Nearest Neighbours
- Title（参考訳）: 近縁系における高スケーラブルガウス過程回帰の理論と実践
- Authors: Robert Allison, Tomasz Maciazek, Anthony Stephenson,
- Abstract要約: 我々は、$NNGP$と$GPnn$レグレッションの理論的フレームワークを開発する。
3つの重要な予測基準について、ほぼ確実にポイントワイドな制限を導出します。
これらの結果は、完全な$GP$モデルに代わる、高度にスケーラブルで原則化された代替品として、$NNGP/GPnn$の厳密な統計基盤を提供する。
- 参考スコア（独自算出の注目度）: 1.529342790344802
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gaussian process ($GP$) regression is a widely used non-parametric modeling tool, but its cubic complexity in the training size limits its use on massive data sets. A practical remedy is to predict using only the nearest neighbours of each test point, as in Nearest Neighbour Gaussian Process ($NNGP$) regression for geospatial problems and the related scalable $GPnn$ method for more general machine-learning applications. Despite their strong empirical performance, the large-$n$ theory of $NNGP/GPnn$ remains incomplete. We develop a theoretical framework for $NNGP$ and $GPnn$ regression. Under mild regularity assumptions, we derive almost sure pointwise limits for three key predictive criteria: mean squared error ($MSE$), calibration coefficient ($CAL$), and negative log-likelihood ($NLL$). We then study the $L_2$-risk, prove universal consistency, and show that the risk attains Stone's minimax rate $n^{-2α/(2p+d)}$, where $α$ and $p$ capture regularity of the regression problem. We also prove uniform convergence of $MSE$ over compact hyper-parameter sets and show that its derivatives with respect to lengthscale, kernel scale, and noise variance vanish asymptotically, with explicit rates. This explains the observed robustness of $GPnn$ to hyper-parameter tuning. These results provide a rigorous statistical foundation for $NNGP/GPnn$ as a highly scalable and principled alternative to full $GP$ models.
- Abstract（参考訳）: ガウス過程(GP$)回帰は、広く使われている非パラメトリックモデリングツールであるが、トレーニングサイズにおける3次複雑さは、大量のデータセットでの使用を制限する。
実際の治療法は、地理空間問題に対するNearest Neighbour Gaussian Process(NNGP$)回帰や、より一般的な機械学習アプリケーションのための拡張可能な$GPnn$メソッドのように、各テストポイントの最も近い隣人のみを用いて予測することである。
その強い経験的性能にもかかわらず、$NNGP/GPnn$の大規模$n$理論はいまだ不完全である。
我々は、$NNGP$と$GPnn$レグレッションの理論的フレームワークを開発する。
軽度正規性の仮定の下では、平均二乗誤差(MSE$)、校正係数(CAL$)、負の対数類似度(NLL$)の3つの主要な予測基準に対してほぼ確実に点方向の制限を導出する。
次に、$L_2$-riskを調べ、普遍整合性を証明し、リスクがストーンのミニマックスレート$n^{-2α/(2p+d)}$に達することを示し、そこでは、$α$と$p$が回帰問題の正則性を捉える。
また、コンパクトなハイパーパラメータ集合に対する$MSE$の均一収束を証明し、その長さスケール、カーネルスケール、ノイズ分散に関する微分が、明示的な速度で漸近的に消えることを示す。
これは、超パラメータチューニングに対する$GPnn$の観測ロバスト性を説明する。
これらの結果は、完全な$GP$モデルに代わる、高度にスケーラブルで原則化された代替品として、$NNGP/GPnn$の厳密な統計基盤を提供する。
関連論文リスト
- Anchor-MoE: A Mean-Anchored Mixture of Experts For Probabilistic Regression [0.0]
本稿では,確率的および点回帰の両方を扱うAnchored Mixture of Experts (Anchor-MoE)モデルを提案する。
Anchor-MoE がminimax-optimal $L2$ risk rate を達成することを示す。
RMSEとNLLの強いNGベースラインと一貫して一致または超える。
論文 参考訳（メタデータ） (2025-08-22T21:12:41Z) - Nearly Optimal Differentially Private ReLU Regression [18.599299269974498]
微分プライバシ(DP)モデルにおいて、最も基本的な非学習問題の1つ、ReLU回帰について検討する。
我々は,1パスのミニバッチ一般化モデルパーセプトロンアルゴリズムを提案し,解析することで,$epsilon$と公開データの要求を緩和する。
論文 参考訳（メタデータ） (2025-03-08T02:09:47Z) - New Bounds for Sparse Variational Gaussian Processes [8.122270502556374]
スパース変分ガウス過程 (GPs) は、GPモデルに対する抽出可能な後部近似を構成する。
これらの手法の中核は、訓練関数の値に対する真の後続分布が$bf f$であり、変数を誘導する$bf u$は、条件付きGP前の$p(bf f | bf u)$をその分解に組み込んだ変分分布によって近似されるという仮定である。
モデルトレーニングでは、より一般的な変分分布$q(bf f | bf u)$を使用することで、それを緩和できることを示す。
論文 参考訳（メタデータ） (2025-02-12T19:04:26Z) - Beyond likelihood ratio bias: Nested multi-time-scale stochastic approximation for likelihood-free parameter estimation [49.78792404811239]
確率分析形式が不明なシミュレーションベースモデルにおける推論について検討する。
我々は、スコアを同時に追跡し、パラメータ更新を駆動する比率のないネスト型マルチタイムスケール近似(SA)手法を用いる。
我々のアルゴリズムは、オリジナルのバイアス$Obig(sqrtfrac1Nbig)$を排除し、収束率を$Obig(beta_k+sqrtfracalpha_kNbig)$から加速できることを示す。
論文 参考訳（メタデータ） (2024-11-20T02:46:15Z) - Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。
テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。
我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文 参考訳（メタデータ） (2024-06-12T17:53:29Z) - Further Understanding of a Local Gaussian Process Approximation: Characterising Convergence in the Finite Regime [1.3518297878940662]
非常に正確かつ大規模に拡張可能なGPnn回帰モデルに対するカーネル関数の一般的な選択は、データセットサイズ$n$の増加に伴って徐々に振る舞いに収束することを示す。
同様の境界はモデルの不特定の下で見出され、MSEと重要な校正計量の総合的な収束率を与えるために組み合わせられる。
論文 参考訳（メタデータ） (2024-04-09T10:47:01Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。