論文の概要: Streaming PAC-Bayes Gaussian process regression with a performance guarantee for online decision making

• arxiv url: http://arxiv.org/abs/2210.08486v1
• Date: Sun, 16 Oct 2022 08:39:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 15:53:17.669930
• Title: Streaming PAC-Bayes Gaussian process regression with a performance guarantee for online decision making
• Title（参考訳）: オンライン意思決定のパフォーマンス保証によるPAC-Bayes Gaussianプロセスの回帰ストリーミング
• Authors: Tianyu Liu, Jie Lu, Zheng Yan, Guangquan Zhang
• Abstract要約: 本稿では,オンライン大まかに正しい(PAC)ベイズ理論に基づく,オンラインGPアルゴリズムの新たな理論的枠組みを提案する。 このフレームワークは、一般的なパフォーマンスと精度の保証を提供する。 他のオンラインGPアルゴリズムと比較すると、一般化保証と非常に競争的な精度が得られる。
• 参考スコア（独自算出の注目度）: 41.84834895660245
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As a powerful Bayesian non-parameterized algorithm, the Gaussian process (GP) has performed a significant role in Bayesian optimization and signal processing. GPs have also advanced online decision-making systems because their posterior distribution has a closed-form solution. However, its training and inference process requires all historic data to be stored and the GP model to be trained from scratch. For those reasons, several online GP algorithms, such as O-SGPR and O-SVGP, have been specifically designed for streaming settings. In this paper, we present a new theoretical framework for online GPs based on the online probably approximately correct (PAC) Bayes theory. The framework offers both a guarantee of generalized performance and good accuracy. Instead of minimizing the marginal likelihood, our algorithm optimizes both the empirical risk function and a regularization item, which is in proportion to the divergence between the prior distribution and posterior distribution of parameters. In addition to its theoretical appeal, the algorithm performs well empirically on several regression datasets. Compared to other online GP algorithms, ours yields a generalization guarantee and very competitive accuracy.
• Abstract（参考訳）: 強力なベイズ非パラメータ化アルゴリズムとして、ガウス過程(gp)はベイズ最適化と信号処理において重要な役割を果たす。 GPは後部分布がクローズドなソリューションであるため、オンライン意思決定システムも進歩している。 しかしながら、トレーニングと推論のプロセスでは、すべての履歴データを格納し、GPモデルをスクラッチからトレーニングする必要がある。 このため、O-SGPRやO-SVGPといったオンラインGPアルゴリズムは、ストリーミング設定用に特別に設計されている。 本稿では,オンライン・アベイズ理論(pacベイズ理論)に基づくオンラインgpsの新しい理論的枠組みを提案する。 このフレームワークは、一般的なパフォーマンスと精度の保証を提供する。 本アルゴリズムは,限界確率を最小化する代わりに,パラメータの先行分布と後続分布のばらつきに比例して,経験的リスク関数と正規化項目の両方を最適化する。 その理論的な魅力に加えて、アルゴリズムはいくつかの回帰データセットで経験的にうまく機能する。 他のオンラインGPアルゴリズムと比較すると、一般化保証と非常に競争的な精度が得られる。

関連論文リスト

• Robust Bayesian Optimization via Localized Online Conformal Prediction [37.549297668783254]
  局所化オンライン共形予測に基づくベイズ最適化(LOCBO)を導入する。 LOCBOは局所オンライン共形予測(CP)によりGPモデルを校正する 観測対象関数を保留するLOCBOのイテレートについて理論的性能保証を行う。
  論文  参考訳（メタデータ） (2024-11-26T12:45:54Z)
• Recursive Gaussian Process State Space Model [4.572915072234487]
  動作領域とGPハイパーパラメータの両方に適応可能な新しいオンラインGPSSM法を提案する。 ポイントを誘導するオンライン選択アルゴリズムは、情報的基準に基づいて開発され、軽量な学習を実現する。 合成データセットと実世界のデータセットの総合的な評価は,提案手法の精度,計算効率,適応性を示す。
  論文  参考訳（メタデータ） (2024-11-22T02:22:59Z)
• Domain Invariant Learning for Gaussian Processes and Bayesian Exploration [39.83530605880014]
  そこで本研究では,確率を最小限に最適化したガウス過程(DIL-GP)の領域不変学習アルゴリズムを提案する。 数値実験により、複数の合成および実世界のデータセットの予測におけるDIL-GPの優位性を示す。
  論文  参考訳（メタデータ） (2023-12-18T16:13:34Z)
• Regret Bounds for Expected Improvement Algorithms in Gaussian Process Bandit Optimization [63.8557841188626]
  期待されている改善(EI)アルゴリズムは、不確実性の下で最適化するための最も一般的な戦略の1つである。 本稿では,GP予測平均を通した標準既存値を持つEIの変種を提案する。 我々のアルゴリズムは収束し、$mathcal O(gamma_TsqrtT)$の累積後悔境界を達成することを示す。
  論文  参考訳（メタデータ） (2022-03-15T13:17:53Z)
• Scaling Gaussian Process Optimization by Evaluating a Few Unique Candidates Multiple Times [119.41129787351092]
  GPに基づく逐次ブラックボックス最適化は,複数の評価ステップの候補解に固執することで効率よく行うことができることを示す。 GP-UCB と GP-EI の2つのよく確立されたGP-Opt アルゴリズムを改良し,バッチ化された GP-Opt の規則を適応させる。
  論文  参考訳（メタデータ） (2022-01-30T20:42:14Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Kernel Interpolation for Scalable Online Gaussian Processes [35.71056379994141]
  我々は、構造化カーネルを用いて、一定時間$O(1)$オンライン更新の計算を効率的にリサイクルする方法を示す。 我々は,オンライン回帰・分類設定,ベイズ最適化,能動的サンプリングによるマラリア予測における誤差の低減というアプローチの可能性を実証する。
  論文  参考訳（メタデータ） (2021-03-02T03:41:30Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。