論文の概要: Leveraging Locality and Robustness to Achieve Massively Scalable Gaussian Process Regression

• arxiv url: http://arxiv.org/abs/2306.14731v2
• Date: Wed, 27 Dec 2023 16:17:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 22:48:33.101748
• Title: Leveraging Locality and Robustness to Achieve Massively Scalable Gaussian Process Regression
• Title（参考訳）: 局所性とロバスト性を活用した大規模スケーラブルガウス過程回帰
• Authors: Robert Allison, Anthony Stephenson, Samuel F, Edward Pyzer-Knapp
• Abstract要約: GPN(Nest-Nighbour)予測の強靭性特性と制限挙動を探索することによって,新しい視点を導入する。 データサイズnが大きくなるにつれて、推定パラメータとGPモデル仮定の精度は、GPnn予測精度とますます無関係になる。 この不正確さの源泉を補正することができ、高い計算コストで精度の高い不確実性対策と正確な予測を両立できることを示す。
• 参考スコア（独自算出の注目度）: 1.3518297878940662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The accurate predictions and principled uncertainty measures provided by GP regression incur O(n^3) cost which is prohibitive for modern-day large-scale applications. This has motivated extensive work on computationally efficient approximations. We introduce a new perspective by exploring robustness properties and limiting behaviour of GP nearest-neighbour (GPnn) prediction. We demonstrate through theory and simulation that as the data-size n increases, accuracy of estimated parameters and GP model assumptions become increasingly irrelevant to GPnn predictive accuracy. Consequently, it is sufficient to spend small amounts of work on parameter estimation in order to achieve high MSE accuracy, even in the presence of gross misspecification. In contrast, as n tends to infinity, uncertainty calibration and NLL are shown to remain sensitive to just one parameter, the additive noise-variance; but we show that this source of inaccuracy can be corrected for, thereby achieving both well-calibrated uncertainty measures and accurate predictions at remarkably low computational cost. We exhibit a very simple GPnn regression algorithm with stand-out performance compared to other state-of-the-art GP approximations as measured on large UCI datasets. It operates at a small fraction of those other methods' training costs, for example on a basic laptop taking about 30 seconds to train on a dataset of size n = 1.6 x 10^6.
• Abstract（参考訳）: gp回帰による正確な予測と原理不確実性の測定はo(n^3)コストを伴い、現代の大規模アプリケーションでは禁止されている。 これは計算効率の良い近似に関する広範な研究の動機となった。 GPN(Nest-Nighbour)予測の強靭性特性と制限挙動を探索することによって,新しい視点を導入する。 我々は,データサイズnが大きくなるにつれて,推定パラメータの精度とGPモデル仮定がGPnn予測精度とますます無関係になることを示す。 したがって、粗悪な具体化が存在する場合でも高いmse精度を達成するために、パラメータ推定に少量の労力を費やすだけで十分である。 対照的に、n は無限大になりがちであるため、不確実性校正と nll は1つのパラメータに対して感度が保たれていることが示されるが、この不正確性の原因は補正可能であることが示され、十分な不確実性対策と極めて低い計算コストで正確な予測が可能となる。 大規模UCIデータセットで測定した他の最先端GP近似と比較して,スタンドアウト性能の非常に単純なGPnn回帰アルゴリズムを示す。 例えば、基本的なラップトップでは、n = 1.6 x 10^6のデータセットでトレーニングするのに約30秒かかる。

関連論文リスト

• Value-Based Deep RL Scales Predictably [100.21834069400023]
  本研究は, 地域社会が病的行動に不安を抱いているにもかかわらず, 価値に基づく非政治的RL法が予測可能であることを示す。 SAC、BRO、PQLの3つのアルゴリズムを使って、DeepMind Control、OpenAI gym、IsaacGymの3つのアプローチを検証する。
  論文  参考訳（メタデータ） (2025-02-06T18:59:47Z)
• Fixed-Mean Gaussian Processes for Post-hoc Bayesian Deep Learning [11.22428369342346]
  普遍カーネルを用いた場合、後続平均を任意の連続関数に固定する、スパース変分ガウス過程(GP)の新たなファミリを導入する。 具体的には、このGPの平均値を事前学習したDNNの出力に固定し、GPの予測分散を効果的に適合させて予測の不確かさを推定する。 実験の結果,FMGPは最先端手法と比較して不確実性評価と計算効率を両立させることがわかった。
  論文  参考訳（メタデータ） (2024-12-05T14:17:16Z)
• Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
  我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。 この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
  論文  参考訳（メタデータ） (2024-11-01T21:11:48Z)
• Neural Operator Variational Inference based on Regularized Stein Discrepancy for Deep Gaussian Processes [23.87733307119697]
  本稿では,深いガウス過程に対するニューラル演算子変分推論(NOVI)を提案する。 NOVIは、ニューラルジェネレータを使用してサンプリング装置を取得し、生成された分布と真の後部の間のL2空間における正規化スタインの離散性を最小化する。 提案手法が提案するバイアスは定数で発散を乗算することで制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-09-22T06:56:35Z)
• Scalable Gaussian Process Hyperparameter Optimization via Coverage Regularization [0.0]
  本稿では,予測の不確かさの堅牢性を改善するために,Maternカーネルのスムーズさと長大パラメータを推定するアルゴリズムを提案する。 数値実験で示すように,高いスケーラビリティを維持しつつ,残余可能性よりも改善されたUQを実現する。
  論文  参考訳（メタデータ） (2022-09-22T19:23:37Z)
• MuyGPs: Scalable Gaussian Process Hyperparameter Estimation Using Local Cross-Validation [1.2233362977312945]
  本稿では,新しいGPハイパーパラメータ推定法であるMuyGPを提案する。 MuyGPsは、データの最も近い隣人構造を利用する事前のメソッドの上に構築される。 提案手法は, 解法と予測値の平均二乗誤差の両方において, 既知の競合よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-29T18:10:21Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)
• Uncertainty quantification using martingales for misspecified Gaussian processes [52.22233158357913]
  本稿では,ガウス過程(GP)の不確定な定量化を,不特定先行条件下で解決する。 マルティンゲール法を用いて未知関数に対する信頼シーケンス(CS)を構築する。 我々のCSは統計的に有効であり、実証的に標準GP法より優れています。
  論文  参考訳（メタデータ） (2020-06-12T17:58:59Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。