論文の概要: Posterior and Computational Uncertainty in Gaussian Processes

• arxiv url: http://arxiv.org/abs/2205.15449v5
• Date: Mon, 9 Oct 2023 20:14:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 16:52:26.780925
• Title: Posterior and Computational Uncertainty in Gaussian Processes
• Title（参考訳）: ガウス過程における後処理と計算の不確かさ
• Authors: Jonathan Wenger, Geoff Pleiss, Marvin Pf\"ortner, Philipp Hennig, John P. Cunningham
• Abstract要約: ガウスのプロセスはデータセットのサイズとともに違法にスケールする。 多くの近似法が開発されており、必然的に近似誤差を導入している。 この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。 本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
• 参考スコア（独自算出の注目度）: 52.26904059556759
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian processes scale prohibitively with the size of the dataset. In response, many approximation methods have been developed, which inevitably introduce approximation error. This additional source of uncertainty, due to limited computation, is entirely ignored when using the approximate posterior. Therefore in practice, GP models are often as much about the approximation method as they are about the data. Here, we develop a new class of methods that provides consistent estimation of the combined uncertainty arising from both the finite number of data observed and the finite amount of computation expended. The most common GP approximations map to an instance in this class, such as methods based on the Cholesky factorization, conjugate gradients, and inducing points. For any method in this class, we prove (i) convergence of its posterior mean in the associated RKHS, (ii) decomposability of its combined posterior covariance into mathematical and computational covariances, and (iii) that the combined variance is a tight worst-case bound for the squared error between the method's posterior mean and the latent function. Finally, we empirically demonstrate the consequences of ignoring computational uncertainty and show how implicitly modeling it improves generalization performance on benchmark datasets.
• Abstract（参考訳）: gaussianプロセスはデータセットのサイズによって制限的にスケールする。 これに応答して、近似誤差を必然的に導入する多くの近似法が開発されている。 この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。 したがって、実際にはgpモデルはデータに関するものと同様に近似法に関するものが多い。 そこで本研究では,観測される有限個のデータと有限個の計算量の両方から生じる組合せ不確かさを一貫した評価を行う手法を開発した。 このクラスで最も一般的なGP近似は、例えば、コレスキー分解に基づく方法、共役勾配、点の誘導などである。 このクラスの任意のメソッドに対して、我々は証明する。 i) 関連するRKHSにおける後方平均値の収束 (ii)その後続共分散を数学的・計算的共分散に分解すること、及び 三 結合分散は、メソッドの後方平均と潜在関数の間の二乗誤差に対して、厳密な最悪のケースである。 最後に、計算の不確実性を無視した結果が実証的に示され、ベンチマークデータセットの一般化性能をいかに暗黙的にモデル化するかを示す。

関連論文リスト

• Iterative Methods for Full-Scale Gaussian Process Approximations for Large Spatial Data [9.913418444556486]
  本稿では, FSAを用いた確率, 勾配, 予測分布の計算コストの削減に, 反復法をどのように利用できるかを示す。 また,推定法や反復法に依存する予測分散を計算する新しい,正確かつ高速な手法を提案する。 すべてのメソッドは、ハイレベルなPythonとRパッケージを備えたフリーのC++ソフトウェアライブラリで実装されている。
  論文  参考訳（メタデータ） (2024-05-23T12:25:22Z)
• Iterative Methods for Vecchia-Laplace Approximations for Latent Gaussian Process Models [11.141688859736805]
  本稿では,いくつかのプレコンディショナーを導入,解析し,新しい収束結果の導出を行い,予測分散を正確に近似する新しい手法を提案する。 特に、Coleskyベースの計算と比較すると、桁違いの高速化が得られる。 すべてのメソッドは、ハイレベルなPythonとRパッケージを備えたフリーのC++ソフトウェアライブラリで実装されている。
  論文  参考訳（メタデータ） (2023-10-18T14:31:16Z)
• Improved Convergence Rates for Sparse Approximation Methods in Kernel-Based Learning [48.08663378234329]
  カーネル・リッジ・レグレッションやガウシアン・プロセスのようなカーネル・ベース・モデルは機械学習の応用においてユビキタスである。 既存のスパース近似法は計算コストを大幅に削減することができる。 我々は,Nystr"om法と疎変動ガウス過程近似法に対して,新しい信頼区間を提供する。
  論文  参考訳（メタデータ） (2022-02-08T17:22:09Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• The Shooting Regressor; Randomized Gradient-Based Ensembles [0.0]
  ランダム化と損失関数勾配を利用して予測を計算するアンサンブル法を提案する。 複数の弱相関推定器は、誤差面上のランダムにサンプリングされた点の勾配を近似し、最終解に集約する。
  論文  参考訳（メタデータ） (2020-09-14T03:20:59Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)
• Consistent Online Gaussian Process Regression Without the Sample Complexity Bottleneck [14.309243378538012]
  本稿では,現在の後方中心のHellingerメトリックに対して,エラー近傍を修正可能なオンライン圧縮方式を提案する。 一定の誤差半径の場合、POG は集団後部の近傍 (Theorem 1(ii)) に収束するが、特徴空間の計量エントロピーによって決定される有限メモリのオン・ウォーストに収束する。
  論文  参考訳（メタデータ） (2020-04-23T11:52:06Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。