論文の概要: Unbiased Stochastic Optimization for Gaussian Processes on Finite Dimensional RKHS

• arxiv url: http://arxiv.org/abs/2508.20588v1
• Date: Thu, 28 Aug 2025 09:27:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:02.286676
• Title: Unbiased Stochastic Optimization for Gaussian Processes on Finite Dimensional RKHS
• Title（参考訳）: 有限次元RKHSにおけるガウス過程の非バイアス確率最適化
• Authors: Neta Shoham, Haim Avron,
• Abstract要約: 中間有限次元の再現ヒルベルト空間(RKHS)を誘導するカーネルを用いたGPの正確な推定アルゴリズムを提案する。 我々の手法は、精度を保ちながら無限次元のRKHSにも拡張することができる。
• 参考スコア（独自算出の注目度）: 7.841948280267278
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current methods for stochastic hyperparameter learning in Gaussian Processes (GPs) rely on approximations, such as computing biased stochastic gradients or using inducing points in stochastic variational inference. However, when using such methods we are not guaranteed to converge to a stationary point of the true marginal likelihood. In this work, we propose algorithms for exact stochastic inference of GPs with kernels that induce a Reproducing Kernel Hilbert Space (RKHS) of moderate finite dimension. Our approach can also be extended to infinite dimensional RKHSs at the cost of forgoing exactness. Both for finite and infinite dimensional RKHSs, our method achieves better experimental results than existing methods when memory resources limit the feasible batch size and the possible number of inducing points.
• Abstract（参考訳）: ガウス過程(GP)における確率的ハイパーパラメータ学習の現在の手法は、偏微分確率勾配の計算や確率的変分推論における点の誘導など、近似に依存する。 しかし、そのような方法を使用する場合、我々は真の限界確率の定常点に収束することが保証されない。 本研究では、中間有限次元の再生ケルネルヒルベルト空間(RKHS)を誘導するカーネルを持つGPの正確な確率的推論アルゴリズムを提案する。 我々の手法は、精度を保ちながら無限次元のRKHSにも拡張できる。 有限次元 RKHS と無限次元 RKHS は,メモリ資源がバッチサイズと誘導点数を制限した場合に,既存の手法よりも優れた実験結果が得られる。

関連論文リスト

• Gradient-Based Non-Linear Inverse Learning [2.6149030745627644]
  ランダム設計下での非線形逆問題の文脈における統計的逆学習について検討する。 勾配勾配勾配 (GD) と降下勾配 (SGD) を, それぞれ一定のステップサイズを用いて小バッチで適用した。 我々の分析は、対象関数の滑らかさに関する古典的な前提条件の下で、両方のアルゴリズムの収束率を導出する。
  論文  参考訳（メタデータ） (2024-12-21T22:38:17Z)
• Compactly-supported nonstationary kernels for computing exact Gaussian processes on big data [2.8377382540923004]
  ガウス過程(英: Gaussian process, GP)は、暗黙的な不確実性特徴を持つ機械学習手法である。 従来のGPの実装には、その柔軟性を制限する固定化されたカーネルが含まれる。 スパーシリティと非定常性の両方を発見およびエンコードできる代替カーネルを導出する。
  論文  参考訳（メタデータ） (2024-11-07T20:07:21Z)
• Almost-sure convergence of iterates and multipliers in stochastic sequential quadratic optimization [21.022322975077653]
  等式制約付き連続最適化問題の解法が近年注目されている。 収束保証は、ゼロを測定するための勾配の期待値に制限されている。 また,SQPアルゴリズムにより生成した予備値,ラグランジュ測度,ステーション測度に対する新たなほぼ収束保証を証明した。
  論文  参考訳（メタデータ） (2023-08-07T16:03:40Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Compressed Empirical Measures (in finite dimensions) [4.73194777046253]
  有限次元再生核ヒルベルト空間(RKHS)の文脈における経験的尺度の圧縮手法について検討する。 そのようなコアセットがどれほど大きいかを制御する重要な量は、経験的凸集合に含まれる経験的測度の周りにある最大の球の大きさである。
  論文  参考訳（メタデータ） (2022-04-19T12:25:41Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。