Fugu-MT 論文翻訳(概要): Fast calculation of Gaussian Process multiple-fold cross-validation residuals and their covariances

論文の概要: Fast calculation of Gaussian Process multiple-fold cross-validation residuals and their covariances

arxiv url: http://arxiv.org/abs/2101.03108v1
Date: Fri, 8 Jan 2021 17:02:37 GMT
ステータス: 処理完了
システム内更新日: 2021-04-10 05:01:50.482393
Title: Fast calculation of Gaussian Process multiple-fold cross-validation residuals and their covariances
Title（参考訳）: ガウス過程多フォールドクロスバリデーション残差の高速計算とその共分散
Authors: David Ginsbourger and Cedric Sch\"arer
Abstract要約: 高速ガウス過程の残余公式を複数倍のクロスバリデーションに一般化する。結果の共分散がモデル診断にどのように影響し、残差を適切に変換するかを示す。 GPモデル診断では, 高速なクロスバリデーションが可能であり, 直接的に結果が得られた。
参考スコア（独自算出の注目度）: 0.76146285961466
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We generalize fast Gaussian process leave-one-out formulae to multiple-fold cross-validation, highlighting in turn in broad settings the covariance structure of cross-validation residuals. The employed approach, that relies on block matrix inversion via Schur complements, is applied to both Simple and Universal Kriging frameworks. We illustrate how resulting covariances affect model diagnostics and how to properly transform residuals in the first place. Beyond that, we examine how accounting for dependency between such residuals affect cross-validation-based estimation of the scale parameter. It is found in two distinct cases, namely in scale estimation and in broader covariance parameter estimation via pseudo-likelihood, that correcting for covariances between cross-validation residuals leads back to maximum likelihood estimation or to an original variation thereof. The proposed fast calculation of Gaussian Process multiple-fold cross-validation residuals is implemented and benchmarked against a naive implementation, all in R language. Numerical experiments highlight the accuracy of our approach as well as the substantial speed-ups that it enables. It is noticeable however, as supported by a discussion on the main drivers of computational costs and by a dedicated numerical benchmark, that speed-ups steeply decline as the number of folds (say, all sharing the same size) decreases. Overall, our results enable fast multiple-fold cross-validation, have direct consequences in GP model diagnostics, and pave the way to future work on hyperparameter fitting as well as on the promising field of goal-oriented fold design.
Abstract（参考訳）: 高速ガウス過程の残差式を複数倍のクロスバリデーションに一般化し, クロスバリデーション残差の共分散構造を広義に強調する。 Schur補数によるブロック行列の逆変換に依存するアプローチは、SimpleフレームワークとUniversal Krigingフレームワークの両方に適用される。結果の共分散がモデル診断にどのように影響し、そもそも残差を適切に変換するかを説明する。さらに,これらの残差間の依存性の計算がスケールパラメータのクロスバリデーションに基づく推定にどのように影響するかを検討する。これは、スケール推定と擬似類似度によるより広い共分散パラメータ推定の2つのケースで見出され、クロスバリデーション残差間の共分散の補正は、最大推定またはその元の変動に遡る。提案したGaussian Processの高速計算は、R言語で実装された単純な実装に対して実装され、ベンチマークされる。数値実験は、我々のアプローチの正確さと、それを可能にする実質的なスピードアップを強調する。しかし、計算コストの主な原動力に関する議論や専用の数値ベンチマークによって支持されるように、折りたたみ数(例えば、同じ大きさを共有するもの)が減少するにつれて、スピードアップは急激に減少する。以上の結果から,高速な多次元交叉バリデーションを実現し,GPモデル診断の直接的な影響を生かし,将来のハイパーパラメータフィッティングや,目標指向の折り畳み設計の将来的な分野への道を開いた。

関連論文リスト

Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
論文参考訳（メタデータ） (2025-02-01T18:09:49Z)
Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
論文参考訳（メタデータ） (2024-08-25T04:07:18Z)
Predictive Performance Test based on the Exhaustive Nested Cross-Validation for High-dimensional data [7.62566998854384]
クロスバリデーションは、予測誤差の推定、正規化パラメータのチューニング、最も適切な予測モデルの選択など、いくつかのタスクに使用される。 K-foldクロスバリデーションは一般的なCV法であるが、その制限はリスク推定がデータの分割に大きく依存していることである。本研究は, 完全ネスト型クロスバリデーションに基づく新たな予測性能試験と有効信頼区間を提案する。
論文参考訳（メタデータ） (2024-08-06T12:28:16Z)
Synthetic Tabular Data Validation: A Divergence-Based Approach [8.062368743143388]
分散は、データ分散間の相違を定量化する。従来のアプローチでは、各特徴に対して独立して発散率を計算する。本稿では,差分推定を用いて限界比較の限界を克服する手法を提案する。
論文参考訳（メタデータ） (2024-05-13T15:07:52Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Bootstrapping the Cross-Validation Estimate [3.5159221757909656]
クロスバリデーションは予測モデルの性能を評価するために広く用いられている手法である。見積もりに関連する不確実性を正確に定量化することが不可欠である。本稿では,クロスバリデーション推定の標準誤差を迅速に推定する高速ブートストラップ法を提案する。
論文参考訳（メタデータ） (2023-07-01T07:50:54Z)
A Targeted Accuracy Diagnostic for Variational Approximations [8.969208467611896]
変分推論(VI)はマルコフ・チェイン・モンテカルロ(MCMC)の魅力的な代替品である既存の方法は、全変分分布の品質を特徴付ける。配電近似精度(TADDAA)のためのTArgeted診断法を提案する。
論文参考訳（メタデータ） (2023-02-24T02:50:18Z)
Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文参考訳（メタデータ） (2022-04-13T12:43:12Z)
Scalable Cross Validation Losses for Gaussian Process Models [22.204619587725208]
線形および多クラス分類に適応するために,Polya-Gamma補助変数と変分推論を用いる。提案手法は,高速トレーニングと優れた予測性能を実現する。
論文参考訳（メタデータ） (2021-05-24T21:01:47Z)
Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。特に,この手法が標準正規化の魅力的な代替となることを示す。
論文参考訳（メタデータ） (2021-04-12T18:50:11Z)
Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文参考訳（メタデータ） (2020-04-21T23:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。