論文の概要: Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference

• arxiv url: http://arxiv.org/abs/2411.01036v1
• Date: Fri, 01 Nov 2024 21:11:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:44:10.280990
• Title: Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference
• Title（参考訳）: 計算型ガウス過程:モデル選択と線形時間推論
• Authors: Jonathan Wenger, Kaiwen Wu, Philipp Hennig, Jacob R. Gardner, Geoff Pleiss, John P. Cunningham,
• Abstract要約: 我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。 この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
• 参考スコア（独自算出の注目度）: 55.150117654242706
• License:
• Abstract: Model selection in Gaussian processes scales prohibitively with the size of the training dataset, both in time and memory. While many approximations exist, all incur inevitable approximation error. Recent work accounts for this error in the form of computational uncertainty, which enables -- at the cost of quadratic complexity -- an explicit tradeoff between computation and precision. Here we extend this development to model selection, which requires significant enhancements to the existing approach, including linear-time scaling in the size of the dataset. We propose a novel training loss for hyperparameter optimization and demonstrate empirically that the resulting method can outperform SGPR, CGGP and SVGP, state-of-the-art methods for GP model selection, on medium to large-scale datasets. Our experiments show that model selection for computation-aware GPs trained on 1.8 million data points can be done within a few hours on a single GPU. As a result of this work, Gaussian processes can be trained on large-scale datasets without significantly compromising their ability to quantify uncertainty -- a fundamental prerequisite for optimal decision-making.
• Abstract（参考訳）: ガウスのプロセスにおけるモデル選択は、時間とメモリの両方において、トレーニングデータセットのサイズと違法にスケールする。 多くの近似が存在するが、全ての近似誤差は必然的である。 最近の研究は、計算の不確実性の形で、計算と精度の明確なトレードオフである2次複雑性のコストで、このエラーを説明できる。 ここでは、この開発をモデル選択に拡張し、データセットサイズの線形時間スケーリングを含む、既存のアプローチを大幅に強化する必要があります。 提案手法は,SGPR,CGGP,SVGP,GPモデル選択のための最先端手法を,中規模から大規模のデータセット上で実現可能であることを示す。 実験の結果,1.8万データポイントでトレーニングされた計算対応GPのモデル選択は,1つのGPU上で数時間以内に行うことができることがわかった。 この研究の結果、ガウスのプロセスは、最適な意思決定の基本的な前提条件である不確実性の定量化能力を著しく複雑にすることなく、大規模なデータセットでトレーニングすることができる。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Parallel and Limited Data Voice Conversion Using Stochastic Variational Deep Kernel Learning [2.5782420501870296]
  本稿では,限られたデータを扱う音声変換手法を提案する。 変分深層学習(SVDKL)に基づく。 非滑らかでより複雑な関数を推定することができる。
  論文  参考訳（メタデータ） (2023-09-08T16:32:47Z)
• Adaptive Sparse Gaussian Process [0.0]
  これらの問題に対処できる最初の適応スパースガウスプロセス(GP)を提案する。 まず,変分スパースGPアルゴリズムを変形係数によって適応的に再構成する。 そこで我々は,新しいサンプルが到着するたびに,スパースGPモデルの単一誘導点と残りのモデルパラメータを同時に更新することを提案する。
  論文  参考訳（メタデータ） (2023-02-20T21:34:36Z)
• Fast emulation of density functional theory simulations using approximate Gaussian processes [0.6445605125467573]
  シミュレーション出力を予測する第2の統計モデルは、モデルフィッティング中の完全なシミュレーションの代わりに使用できる。 我々は,観測データを用いた密度汎関数理論(DFT)モデルパラメータのキャリブレーションにエミュレータを用いた。 これらのDFTモデルの有用性は、観測されたデータに基づいて、実験的に観測されていない核種の性質に関する予測を行うことである。
  論文  参考訳（メタデータ） (2022-08-24T05:09:36Z)
• Dual Optimization for Kolmogorov Model Learning Using Enhanced Gradient Descent [8.714458129632158]
  コルモゴロフモデル(コルモゴロフモデル、英: Kolmogorov model、KM)は、確率変数の集合の基本的な確率構造を学ぶための解釈可能で予測可能な表現手法である。 正規化双対最適化と拡張勾配降下法(GD)を併用した計算スケーラブルなKM学習アルゴリズムを提案する。 提案したKM学習アルゴリズムを用いた論理的関係マイニングの精度は80%以上である。
  論文  参考訳（メタデータ） (2021-07-11T10:33:02Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
  局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。 入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。 実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
  論文  参考訳（メタデータ） (2020-06-16T18:43:31Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Gaussian Process Boosting [13.162429430481982]
  ガウス過程と混合効果モデルを組み合わせた新しい手法を提案する。 シミュレーションおよび実世界のデータセットに対する既存手法と比較して予測精度が向上する。
  論文  参考訳（メタデータ） (2020-04-06T13:19:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。