論文の概要: Posterior and Computational Uncertainty in Gaussian Processes

• arxiv url: http://arxiv.org/abs/2205.15449v4
• Date: Tue, 23 May 2023 11:36:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 01:49:45.211189
• Title: Posterior and Computational Uncertainty in Gaussian Processes
• Title（参考訳）: ガウス過程における後処理と計算の不確かさ
• Authors: Jonathan Wenger, Geoff Pleiss, Marvin Pf\"ortner, Philipp Hennig, John P. Cunningham
• Abstract要約: ガウスのプロセスはデータセットのサイズとともに違法にスケールする。 多くの近似法が開発されており、必然的に近似誤差を導入している。 この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。 本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
• 参考スコア（独自算出の注目度）: 41.503521872740535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian processes scale prohibitively with the size of the dataset. In response, many approximation methods have been developed, which inevitably introduce approximation error. This additional source of uncertainty, due to limited computation, is entirely ignored when using the approximate posterior. Therefore in practice, GP models are often as much about the approximation method as they are about the data. Here, we develop a new class of methods that provides consistent estimation of the combined uncertainty arising from both the finite number of data observed and the finite amount of computation expended. The most common GP approximations map to an instance in this class, such as methods based on the Cholesky factorization, conjugate gradients, and inducing points. For any method in this class, we prove (i) convergence of its posterior mean in the associated RKHS, (ii) decomposability of its combined posterior covariance into mathematical and computational covariances, and (iii) that the combined variance is a tight worst-case bound for the squared error between the method's posterior mean and the latent function. Finally, we empirically demonstrate the consequences of ignoring computational uncertainty and show how implicitly modeling it improves generalization performance on benchmark datasets.
• Abstract（参考訳）: gaussianプロセスはデータセットのサイズによって制限的にスケールする。 これに応答して、近似誤差を必然的に導入する多くの近似法が開発されている。 この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。 したがって、実際にはgpモデルはデータに関するものと同様に近似法に関するものが多い。 そこで本研究では,観測される有限個のデータと有限個の計算量の両方から生じる組合せ不確かさを一貫した評価を行う手法を開発した。 このクラスで最も一般的なGP近似は、例えば、コレスキー分解に基づく方法、共役勾配、点の誘導などである。 このクラスの任意のメソッドに対して、我々は証明する。 i) 関連するRKHSにおける後方平均値の収束 (ii)その後続共分散を数学的・計算的共分散に分解すること、及び 三 結合分散は、メソッドの後方平均と潜在関数の間の二乗誤差に対して、厳密な最悪のケースである。 最後に、計算の不確実性を無視した結果が実証的に示され、ベンチマークデータセットの一般化性能をいかに暗黙的にモデル化するかを示す。

関連論文リスト

• Quantitative Error Bounds for Scaling Limits of Stochastic Iterative Algorithms [10.022615790746466]
  アルゴリズムのサンプルパスとOrnstein-Uhlenbeck近似の非漸近関数近似誤差を導出する。 我々は、L'evy-Prokhorov と有界ワッサーシュタイン距離という2つの一般的な測度で誤差境界を構築するために、主要な結果を使用する。
  論文  参考訳（メタデータ） (2025-01-21T15:29:11Z)
• Iterative Methods for Full-Scale Gaussian Process Approximations for Large Spatial Data [9.913418444556486]
  本稿では, FSAを用いた確率, 勾配, 予測分布の計算コストの削減に, 反復法をどのように利用できるかを示す。 また,推定法や反復法に依存する予測分散を計算する新しい,正確かつ高速な手法を提案する。 すべてのメソッドは、ハイレベルなPythonとRパッケージを備えたフリーのC++ソフトウェアライブラリで実装されている。
  論文  参考訳（メタデータ） (2024-05-23T12:25:22Z)
• Partially factorized variational inference for high-dimensional mixed models [0.0]
  変分推論は、特にベイズ的文脈において、そのような計算を行う一般的な方法である。 標準平均場変動推論は,高次元の後方不確かさを劇的に過小評価することを示した。 次に、平均場仮定を適切に緩和すると、不確実な定量化が高次元で悪化しない手法が導かれることを示す。
  論文  参考訳（メタデータ） (2023-12-20T16:12:37Z)
• PDE-constrained Gaussian process surrogate modeling with uncertain data locations [1.943678022072958]
  本稿では,入力データの可変性を関数と偏微分方程式近似のガウス過程回帰に組み込むベイズ的手法を提案する。 一般化の連続的な良好な性能が観察され、予測の不確実性の実質的な低減が達成される。
  論文  参考訳（メタデータ） (2023-05-19T10:53:08Z)
• Improved Convergence Rates for Sparse Approximation Methods in Kernel-Based Learning [48.08663378234329]
  カーネル・リッジ・レグレッションやガウシアン・プロセスのようなカーネル・ベース・モデルは機械学習の応用においてユビキタスである。 既存のスパース近似法は計算コストを大幅に削減することができる。 我々は,Nystr"om法と疎変動ガウス過程近似法に対して,新しい信頼区間を提供する。
  論文  参考訳（メタデータ） (2022-02-08T17:22:09Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• The Shooting Regressor; Randomized Gradient-Based Ensembles [0.0]
  ランダム化と損失関数勾配を利用して予測を計算するアンサンブル法を提案する。 複数の弱相関推定器は、誤差面上のランダムにサンプリングされた点の勾配を近似し、最終解に集約する。
  論文  参考訳（メタデータ） (2020-09-14T03:20:59Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。