論文の概要: Efficient Two-Stage Gaussian Process Regression Via Automatic Kernel Search and Subsampling
- arxiv url: http://arxiv.org/abs/2405.13785v1
- Date: Wed, 22 May 2024 16:11:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 23:15:30.242563
- Title: Efficient Two-Stage Gaussian Process Regression Via Automatic Kernel Search and Subsampling
- Title（参考訳）: 自動カーネルサーチとサブサンプリングによる効率的な2段階ガウスプロセス回帰
- Authors: Shifan Zhao, Jiaying Lu, Ji Yang, Edmond Chow, Yuanzhe Xi,
- Abstract要約: 本稿では,平均的予測と不確実性定量化(UQ)を分離して,平均的不特定化を防止する柔軟な2段階GPRフレームワークを提案する。
また,理論解析によって支持されるカーネル関数の誤特定アルゴリズムを提案し,候補集合から最適なカーネルを選択する。
計算コストがはるかに低いため、サブサンプリングベースの戦略は、完全なデータセットでのみトレーニングするよりも、競争力やパフォーマンスが向上します。
- 参考スコア（独自算出の注目度）: 5.584863079768593
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Gaussian Process Regression (GPR) is widely used in statistics and machine learning for prediction tasks requiring uncertainty measures. Its efficacy depends on the appropriate specification of the mean function, covariance kernel function, and associated hyperparameters. Severe misspecifications can lead to inaccurate results and problematic consequences, especially in safety-critical applications. However, a systematic approach to handle these misspecifications is lacking in the literature. In this work, we propose a general framework to address these issues. Firstly, we introduce a flexible two-stage GPR framework that separates mean prediction and uncertainty quantification (UQ) to prevent mean misspecification, which can introduce bias into the model. Secondly, kernel function misspecification is addressed through a novel automatic kernel search algorithm, supported by theoretical analysis, that selects the optimal kernel from a candidate set. Additionally, we propose a subsampling-based warm-start strategy for hyperparameter initialization to improve efficiency and avoid hyperparameter misspecification. With much lower computational cost, our subsampling-based strategy can yield competitive or better performance than training exclusively on the full dataset. Combining all these components, we recommend two GPR methods-exact and scalable-designed to match available computational resources and specific UQ requirements. Extensive evaluation on real-world datasets, including UCI benchmarks and a safety-critical medical case study, demonstrates the robustness and precision of our methods.
- Abstract（参考訳）: ガウス過程回帰(英: Gaussian Process Regression、GPR)は、統計学や機械学習において、不確実性対策を必要とする予測タスクに広く用いられている。
その有効性は平均関数、共分散カーネル関数、および関連するハイパーパラメータの適切な仕様に依存する。
重大なミス種別は、特に安全クリティカルなアプリケーションにおいて、不正確な結果と問題の結果をもたらす可能性がある。
しかし、これらの誤用に対処する体系的なアプローチは文献に欠けている。
本稿では,これらの課題に対処するための一般的な枠組みを提案する。
まず、平均予測と不確実性定量化(UQ)を分離し、平均的不特定を防止し、モデルにバイアスをもたらすフレキシブルな2段階のGPRフレームワークを導入する。
第二に、カーネル関数の不特定は、候補集合から最適なカーネルを選択する理論解析によって支持される新しい自動カーネル探索アルゴリズムによって対処される。
さらに,ハイパーパラメータ初期化のためのサブサンプリングに基づくウォームスタート戦略を提案し,効率を向上し,ハイパーパラメータの誤識別を回避する。
計算コストがはるかに低いため、サブサンプリングベースの戦略は、完全なデータセットでのみトレーニングするよりも、競争力やパフォーマンスが向上します。
これらすべてのコンポーネントを組み合わせることで、利用可能な計算リソースと特定のUQ要求に適合するように、2つのGPRメソッドを実践し、スケーラブルに設計することを推奨する。
UCIベンチマークや安全クリティカルな医療ケーススタディを含む実世界のデータセットに対する大規模な評価は、我々の手法の堅牢性と正確性を示している。
関連論文リスト
- Target Variable Engineering [0.0]
数値的対象を予測するために訓練された回帰モデルの予測性能と、2項化対象を予測するために訓練された分類器を比較した。
回帰は最適性能に収束するためには、はるかに多くの計算作業を必要とする。
論文 参考訳（メタデータ） (2023-10-13T23:12:21Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-09T03:55:09Z) - Toward Theoretical Guidance for Two Common Questions in Practical
Cross-Validation based Hyperparameter Selection [72.76113104079678]
クロスバリデーションに基づくハイパーパラメータ選択における2つの一般的な質問に対する最初の理論的治療について述べる。
これらの一般化は、少なくとも、常に再トレーニングを行うか、再トレーニングを行わないかを常に実行可能であることを示す。
論文 参考訳（メタデータ） (2023-01-12T16:37:12Z) - A Learning-Based Optimal Uncertainty Quantification Method and Its
Application to Ballistic Impact Problems [1.713291434132985]
本稿では、入力(または事前)測度が部分的に不完全であるシステムに対する最適(最大および無限)不確実性境界について述べる。
本研究では,不確実性最適化問題に対する学習基盤の枠組みを実証する。
本手法は,工学的実践における性能証明と安全性のためのマップ構築に有効であることを示す。
論文 参考訳（メタデータ） (2022-12-28T14:30:53Z) - Scalable Gaussian Process Hyperparameter Optimization via Coverage
Regularization [0.0]
本稿では,予測の不確かさの堅牢性を改善するために,Maternカーネルのスムーズさと長大パラメータを推定するアルゴリズムを提案する。
数値実験で示すように,高いスケーラビリティを維持しつつ,残余可能性よりも改善されたUQを実現する。
論文 参考訳（メタデータ） (2022-09-22T19:23:37Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳（メタデータ） (2022-02-22T18:37:23Z) - Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for
Safety-Critical Applications [71.23286211775084]
未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。
提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。
実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
論文 参考訳（メタデータ） (2021-09-06T17:10:01Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - Adaptive Local Kernels Formulation of Mutual Information with
Application to Active Post-Seismic Building Damage Inference [1.066048003460524]
地震後の建築物の地域被害評価は高価な作業である。
相互情報の情報理論尺度は,サンプルの有効性を評価する上で最も有効な基準の一つである。
計算コストを削減するためにローカルカーネル戦略が提案されたが、観測されたラベルへのカーネルの適応性は考慮されなかった。
本稿では,観測された出力データに対するカーネルの適合性を実現するための適応型ローカルカーネル手法を開発した。
論文 参考訳（メタデータ） (2021-05-24T18:34:46Z) - Orthogonal Statistical Learning [49.55515683387805]
人口リスクが未知のニュアンスパラメータに依存するような環境では,統計学習における非漸近的過剰リスク保証を提供する。
人口リスクがNeymanityと呼ばれる条件を満たす場合,メタアルゴリズムによって達成される過剰リスクに対するニュアンス推定誤差の影響は2次であることを示す。
論文 参考訳（メタデータ） (2019-01-25T02:21:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。