論文の概要: Scalable Derivative Gaussian Processes via Exact Gradient Reduction

• arxiv url: http://arxiv.org/abs/2606.02909v1
• Date: Mon, 01 Jun 2026 21:29:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.616166
• Title: Scalable Derivative Gaussian Processes via Exact Gradient Reduction
• Title（参考訳）: 厳密なグラディエント還元によるスケーラブルな微分ガウス過程
• Authors: Hyunseok Seung, Matthias Katzfuss,
• Abstract要約: 本稿では,ターゲット比の厳密な勾配減少に基づく高度にスケーラブルな微分GP法であるTERAを紹介する。 TERAは、標準的な派生GPよりも桁違いに高速に動作しながら、最先端の予測精度を達成する。
• 参考スコア（独自算出の注目度）: 1.683019116094311
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient observations can substantially improve Gaussian process (GP) surrogates, particularly in high-dimensional settings where function evaluations are expensive. However, exact inference with $n$ function values and $n$ full gradients in $d$ dimensions scales cubically in the joint state size, imposing an intractable $\mathcal{O}(n^3 d^3)$ computational bottleneck. We introduce TERA, a highly scalable derivative GP method based on target-specific exact gradient reduction. We prove that for stationary kernels, the gradient components orthogonal to the directions connecting the target and conditioning points are conditionally independent of the target function value; consequently, the exact conditional density is fully characterized by at most $m^2$ directional derivatives once a conditioning set of size $m$ is specified. By using these reduced, dimension-free conditionals as local factors in a Vecchia approximation, TERA effectively decouples $n$ and $d$ from the dense matrix inversion. This reduces the per-target evaluation cost to $\mathcal{O}(dm^2 + m^6)$ time and $\mathcal{O}(dm^2 + m^4)$ memory, leaving the underlying derivative GP model mathematically unchanged. Empirical evaluations demonstrate that TERA achieves state-of-the-art predictive accuracy while operating orders of magnitude faster than standard derivative GPs. Crucially, both computation time and peak GPU memory remain essentially flat with respect to $d$, enabling highly scalable inference in high-dimensional spaces.
• Abstract（参考訳）: グラディエント観測は、特に関数評価が高価である高次元環境では、ガウス過程(GP)サロゲートを大幅に改善することができる。 しかし、$d$次元の$n$関数値と$n$完全勾配の正確な推論は、結合状態の大きさで立方的にスケールし、難解な$\mathcal{O}(n^3 d^3)$計算ボトルネックを与える。 本稿では,ターゲット比の厳密な勾配減少に基づく高度にスケーラブルな微分GP法であるTERAを紹介する。 定常カーネルでは、目標点と条件点を接続する方向と直交する勾配成分が目標関数値とは条件的に独立していることが証明され、従って、m^2$方向微分が指定されると、正確な条件密度は少なくとも$m^2$方向微分によって完全に特徴づけられる。 これらの還元された次元自由条件をヴェッキア近似の局所因子として使用することにより、TERAは密度行列の反転から$n$と$d$を効果的に分離する。 これにより、ターゲット毎の評価コストは$\mathcal{O}(dm^2 + m^6)$ timeと$\mathcal{O}(dm^2 + m^4)$ memoryに削減され、基礎となる派生GPモデルは数学的に変化しない。 経験的評価は、TERAが標準派生GPより桁違いに高速に動作しながら最先端の予測精度を達成することを示した。 重要なことは、計算時間とピークGPUメモリの両方が$d$に関して本質的に平坦であり、高次元空間での高度にスケーラブルな推論を可能にする。

関連論文リスト

• Learning manifold diffusion semigroups from graph transition matrices [18.784763748323513]
  多様体熱半群 $Q_t = et$ がグラフ遷移行列 $P$ を反復することによって直接近似できることを示す。 シミュレーションデータ上で提案した推定器の性能を数値的に示す。
  論文  参考訳（メタデータ） (2026-05-25T03:20:11Z)
• Intrinsic Wasserstein Rates for Score-Based Generative Models on Smooth Manifolds [61.14405512940818]
  Scoreベースの生成モデルは高次元空間で訓練されていることを示す。 有限固有アンカーとガウス・ニュートンによる最も近い射影座標のReLU実装を用いる。
  論文  参考訳（メタデータ） (2026-05-15T10:20:05Z)
• Fast and Large-Scale Unbalanced Optimal Transport via its Semi-Dual and Adaptive Gradient Methods [35.76482964927589]
  エントロピーUOTの半二重定式化を解析し、適応勾配法に適合することを示す。 SGD法はこの局所曲率に適応し、$mathcalO(n/varepsilon T)$となる。 完全バッチ離散設定に対しては、勾配ステップサイズのみに依存する局所的滑らか度にほぼ密な上限を導出する。
  論文  参考訳（メタデータ） (2026-02-11T09:57:30Z)
• Theoretical Framework for Tempered Fractional Gradient Descent: Application to Breast Cancer Classification [0.0]
  本稿では,分数計算と指数的テンパリングを併用し,勾配に基づく学習を向上する新しい最適化フレームワークTFGDを紹介する。 TFGD は、履歴勾配を分数係数 $|w_j| = binomalphaj$ で重み付けし、テンパリングパラメータ $lambda$ で指数関数的に減衰するテンパリングメモリ機構を組み込むことで制限に対処する。 乳がんデータセットにおける実証的検証は、TFGDの優位性を示し、98.25%のテスト精度(vs.92.11%のSGD)と2$times$高速収束を達成した。
  論文  参考訳（メタデータ） (2025-04-26T08:26:34Z)
• Provable Complexity Improvement of AdaGrad over SGD: Upper and Lower Bounds in Stochastic Non-Convex Optimization [18.47705532817026]
  適応勾配法は、最も成功したニューラルネットワークトレーニングアルゴリズムの一つである。 これらの手法は凸SGD-ノルマリティよりも次元依存性が優れていることが知られている。 本稿では,構造物の滑らかさと勾配雑音の分散に関する新しい仮定を紹介する。
  論文  参考訳（メタデータ） (2024-06-07T02:55:57Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Efficient displacement convex optimization with particle gradient descent [57.88860627977882]
  粒子勾配降下は確率測度の関数の最適化に広く用いられている。 本稿では, 有限個の粒子による粒子勾配降下について考察し, その理論的保証を定式化して, 測度に置換凸となる関数を最適化する。
  論文  参考訳（メタデータ） (2023-02-09T16:35:59Z)
• High-Dimensional Gaussian Process Inference with Derivatives [90.8033626920884]
  低データ状態の$ND$では、Gram行列は$mathcalO(N2D + (N2)3)$に推論のコストを下げる方法で分解できることを示す。 最適化や予測勾配を持つハミルトニアンモンテカルロなど、機械学習に関連する様々なタスクでこの可能性を実証する。
  論文  参考訳（メタデータ） (2021-02-15T13:24:41Z)
• Finding Global Minima via Kernel Approximations [90.42048080064849]
  関数評価のみに基づく滑らかな関数のグローバル最小化を考える。 本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
  論文  参考訳（メタデータ） (2020-12-22T12:59:30Z)
• Spectral density estimation with the Gaussian Integral Transform [91.3755431537592]
  スペクトル密度作用素 $hatrho(omega)=delta(omega-hatH)$ は線形応答論において中心的な役割を果たす。 スペクトル密度を近似する近似量子アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2020-04-10T03:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。