Fugu-MT 論文翻訳(概要): Hierarchical Non-Stationary Temporal Gaussian Processes With $L^1$-Regularization

論文の概要: Hierarchical Non-Stationary Temporal Gaussian Processes With $L^1$-Regularization

arxiv url: http://arxiv.org/abs/2105.09695v1
Date: Thu, 20 May 2021 12:15:33 GMT
ステータス: 処理完了
システム内更新日: 2021-05-21 13:26:15.040389
Title: Hierarchical Non-Stationary Temporal Gaussian Processes With $L^1$-Regularization
Title（参考訳）: l^1$正規化を伴う階層型非定常時間ガウス過程
Authors: Zheng Zhao, Rui Gao, Simo S\"arkk\"a
Abstract要約: 我々は、明示的に構築された非定常共分散関数と微分方程式に基づく2つのよく使われるNSGP構成を考える。これらのNSGPは、スパース性を誘導するために、プロセスに$L1$-regularizationを含めることで拡張する。結果の正規化NSGP(R-NSGP)回帰問題を解決するために,乗算器の交互方向法(ADMM)に基づく手法を開発した。
参考スコア（独自算出の注目度）: 11.408721072077604
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper is concerned with regularized extensions of hierarchical non-stationary temporal Gaussian processes (NSGPs) in which the parameters (e.g., length-scale) are modeled as GPs. In particular, we consider two commonly used NSGP constructions which are based on explicitly constructed non-stationary covariance functions and stochastic differential equations, respectively. We extend these NSGPs by including $L^1$-regularization on the processes in order to induce sparseness. To solve the resulting regularized NSGP (R-NSGP) regression problem we develop a method based on the alternating direction method of multipliers (ADMM) and we also analyze its convergence properties theoretically. We also evaluate the performance of the proposed methods in simulated and real-world datasets.
Abstract（参考訳）: 本稿では,パラメータ(長さスケールなど)をgpsとしてモデル化した階層型非定常時間ガウス過程(nsgps)の正規化拡張について述べる。特に、明示的に構築された非定常共分散関数と確率微分方程式に基づく2つのよく使われるNSGP構成を考える。これらのNSGPは、スパース性を誘導するために、プロセスに$L^1$-regularizationを含めることで拡張する。得られた正規化NSGP(R-NSGP)回帰問題を解くために,乗算器の交互方向法(ADMM)に基づく手法を開発し,その収束特性を理論的に解析する。また,シミュレーションおよび実世界のデータセットにおける提案手法の性能評価を行った。

関連論文リスト

Deep Transformed Gaussian Processes [0.0]
変換ガウス過程(英: Transformed Gaussian Processs、TGP)は、可逆変換を用いて、前者のプロセス(典型的にはGP)からサンプルを共分散から変換することによって定義される過程である。本稿では,プロセスの階層化の傾向に従い,DTGP(Deep Transformed Gaussian Processs)と呼ばれるTGPの一般化を提案する。実験では、提案したDTGPを複数の回帰データセットで評価し、優れたスケーラビリティと性能を実現した。
論文参考訳（メタデータ） (2023-10-27T16:09:39Z)
Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文参考訳（メタデータ） (2023-10-20T12:45:12Z)
Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent: Convergence Guarantees and Empirical Benefits [21.353189917487512]
勾配降下(SGD)とその変種は、機械学習問題のアルゴリズムとして確立されている。我々は、最小バッチSGDが全ログ類似損失関数の臨界点に収束することを証明して一歩前進する。我々の理論的な保証は、核関数が指数的あるいは固有デカイを示すことを前提としている。
論文参考訳（メタデータ） (2021-11-19T22:28:47Z)
Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
論文参考訳（メタデータ） (2021-10-26T10:45:25Z)
On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。理論的にも経験的にも二重降下現象を観察する。
論文参考訳（メタデータ） (2021-10-13T17:47:39Z)
Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文参考訳（メタデータ） (2021-10-13T15:11:25Z)
Wasserstein-Splitting Gaussian Process Regression for Heterogeneous Online Bayesian Inference [9.7471390457395]
我々は,オンライン予測伝搬ステップと連動して動作するGPの変動自由エネルギー近似を用いる。後続分布が大きく変化するたびに新しいGPをインスタンス化する局所分割ステップを導入する。時間の経過とともに、これは徐々に更新されるかもしれないスパースGPのアンサンブルをもたらす。
論文参考訳（メタデータ） (2021-07-26T17:52:46Z)
Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文参考訳（メタデータ） (2021-06-10T18:17:57Z)
No-Regret Algorithms for Time-Varying Bayesian Optimization [0.0]
我々は,時間変動環境を捉えるために,一般変動予算モデルを採用する。 R-GP-UCBとSW-GP-UCBの2つのGP-UCB型アルゴリズムを紹介します。この結果は,線形カーネルを用いた場合の先行線形バンディット結果を回復するだけでなく,時間変動ガウス過程バンディットの先行後悔解析を補完するものである。
論文参考訳（メタデータ） (2021-02-11T22:35:32Z)
SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文参考訳（メタデータ） (2020-03-05T14:33:20Z)
Sparse Orthogonal Variational Inference for Gaussian Processes [34.476453597078894]
誘導点を用いたガウス過程に対するスパース変分近似の新しい解釈を導入する。この定式化は既存の近似を復元し、同時に限界確率と新しい変分推論アルゴリズムのより厳密な下界を得ることができることを示す。
論文参考訳（メタデータ） (2019-10-23T15:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。