論文の概要: Fast calculation of Gaussian Process multiple-fold cross-validation
residuals and their covariances
- arxiv url: http://arxiv.org/abs/2101.03108v1
- Date: Fri, 8 Jan 2021 17:02:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-10 05:01:50.482393
- Title: Fast calculation of Gaussian Process multiple-fold cross-validation
residuals and their covariances
- Title(参考訳): ガウス過程多フォールドクロスバリデーション残差の高速計算とその共分散
- Authors: David Ginsbourger and Cedric Sch\"arer
- Abstract要約: 高速ガウス過程の残余公式を複数倍のクロスバリデーションに一般化する。
結果の共分散がモデル診断にどのように影響し、残差を適切に変換するかを示す。
GPモデル診断では, 高速なクロスバリデーションが可能であり, 直接的に結果が得られた。
- 参考スコア(独自算出の注目度): 0.76146285961466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We generalize fast Gaussian process leave-one-out formulae to multiple-fold
cross-validation, highlighting in turn in broad settings the covariance
structure of cross-validation residuals. The employed approach, that relies on
block matrix inversion via Schur complements, is applied to both Simple and
Universal Kriging frameworks. We illustrate how resulting covariances affect
model diagnostics and how to properly transform residuals in the first place.
Beyond that, we examine how accounting for dependency between such residuals
affect cross-validation-based estimation of the scale parameter. It is found in
two distinct cases, namely in scale estimation and in broader covariance
parameter estimation via pseudo-likelihood, that correcting for covariances
between cross-validation residuals leads back to maximum likelihood estimation
or to an original variation thereof. The proposed fast calculation of Gaussian
Process multiple-fold cross-validation residuals is implemented and benchmarked
against a naive implementation, all in R language. Numerical experiments
highlight the accuracy of our approach as well as the substantial speed-ups
that it enables. It is noticeable however, as supported by a discussion on the
main drivers of computational costs and by a dedicated numerical benchmark,
that speed-ups steeply decline as the number of folds (say, all sharing the
same size) decreases. Overall, our results enable fast multiple-fold
cross-validation, have direct consequences in GP model diagnostics, and pave
the way to future work on hyperparameter fitting as well as on the promising
field of goal-oriented fold design.
- Abstract(参考訳): 高速ガウス過程の残差式を複数倍のクロスバリデーションに一般化し, クロスバリデーション残差の共分散構造を広義に強調する。
Schur補数によるブロック行列の逆変換に依存するアプローチは、SimpleフレームワークとUniversal Krigingフレームワークの両方に適用される。
結果の共分散がモデル診断にどのように影響し、そもそも残差を適切に変換するかを説明する。
さらに,これらの残差間の依存性の計算がスケールパラメータのクロスバリデーションに基づく推定にどのように影響するかを検討する。
これは、スケール推定と擬似類似度によるより広い共分散パラメータ推定の2つのケースで見出され、クロスバリデーション残差間の共分散の補正は、最大推定またはその元の変動に遡る。
提案したGaussian Processの高速計算は、R言語で実装された単純な実装に対して実装され、ベンチマークされる。
数値実験は、我々のアプローチの正確さと、それを可能にする実質的なスピードアップを強調する。
しかし、計算コストの主な原動力に関する議論や専用の数値ベンチマークによって支持されるように、折りたたみ数(例えば、同じ大きさを共有するもの)が減少するにつれて、スピードアップは急激に減少する。
以上の結果から,高速な多次元交叉バリデーションを実現し,GPモデル診断の直接的な影響を生かし,将来のハイパーパラメータフィッティングや,目標指向の折り畳み設計の将来的な分野への道を開いた。
関連論文リスト
- Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。
統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
論文 参考訳(メタデータ) (2024-08-25T04:07:18Z) - Synthetic Tabular Data Validation: A Divergence-Based Approach [8.062368743143388]
分散は、データ分散間の相違を定量化する。
従来のアプローチでは、各特徴に対して独立して発散率を計算する。
本稿では,差分推定を用いて限界比較の限界を克服する手法を提案する。
論文 参考訳(メタデータ) (2024-05-13T15:07:52Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Online Estimation with Rolling Validation: Adaptive Nonparametric Estimation with Streaming Data [13.069717985067937]
そこで本稿では,オンラインの相互検証方式である重み付き転がりバリデーション手法を提案する。
バッチクロスバリデーションと同様に、ベース推定器を強化して、より優れた適応収束率を達成することができる。
論文 参考訳(メタデータ) (2023-10-18T17:52:57Z) - Bootstrapping the Cross-Validation Estimate [3.5159221757909656]
クロスバリデーションは予測モデルの性能を評価するために広く用いられている手法である。
見積もりに関連する不確実性を正確に定量化することが不可欠である。
本稿では,クロスバリデーション推定の標準誤差を迅速に推定する高速ブートストラップ法を提案する。
論文 参考訳(メタデータ) (2023-07-01T07:50:54Z) - A Targeted Accuracy Diagnostic for Variational Approximations [8.969208467611896]
変分推論(VI)はマルコフ・チェイン・モンテカルロ(MCMC)の魅力的な代替品である
既存の方法は、全変分分布の品質を特徴付ける。
配電近似精度(TADDAA)のためのTArgeted診断法を提案する。
論文 参考訳(メタデータ) (2023-02-24T02:50:18Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - Scalable Cross Validation Losses for Gaussian Process Models [22.204619587725208]
線形および多クラス分類に適応するために,Polya-Gamma補助変数と変分推論を用いる。
提案手法は,高速トレーニングと優れた予測性能を実現する。
論文 参考訳(メタデータ) (2021-05-24T21:01:47Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳(メタデータ) (2021-04-12T18:50:11Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳(メタデータ) (2020-04-21T23:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。