論文の概要: A Coreset-based, Tempered Variational Posterior for Accurate and
Scalable Stochastic Gaussian Process Inference
- arxiv url: http://arxiv.org/abs/2311.01409v1
- Date: Thu, 2 Nov 2023 17:22:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 12:37:01.132490
- Title: A Coreset-based, Tempered Variational Posterior for Accurate and
Scalable Stochastic Gaussian Process Inference
- Title（参考訳）: 高精度かつスケーラブルな確率的ガウス過程推論のためのコアセットベース・テンパレート変分器
- Authors: Mert Ketenci and Adler Perotte and No\'emie Elhadad and I\~nigo
Urteaga
- Abstract要約: 重み付き擬似入出力点(コアセット)の学習可能な集合上の後部に基づく新しい変分ガウス法(mathcalGP$)を提案する。
我々は、潜伏$mathcalGP$ coreset変数の辺化により、対数的可能性に対するGPの低い境界を導出する。
- 参考スコア（独自算出の注目度）: 2.7855886538423187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a novel stochastic variational Gaussian process ($\mathcal{GP}$)
inference method, based on a posterior over a learnable set of weighted pseudo
input-output points (coresets). Instead of a free-form variational family, the
proposed coreset-based, variational tempered family for $\mathcal{GP}$s (CVTGP)
is defined in terms of the $\mathcal{GP}$ prior and the data-likelihood; hence,
accommodating the modeling inductive biases. We derive CVTGP's lower bound for
the log-marginal likelihood via marginalization of the proposed posterior over
latent $\mathcal{GP}$ coreset variables, and show it is amenable to stochastic
optimization. CVTGP reduces the learnable parameter size to $\mathcal{O}(M)$,
enjoys numerical stability, and maintains $\mathcal{O}(M^3)$ time- and
$\mathcal{O}(M^2)$ space-complexity, by leveraging a coreset-based tempered
posterior that, in turn, provides sparse and explainable representations of the
data. Results on simulated and real-world regression problems with Gaussian
observation noise validate that CVTGP provides better evidence lower-bound
estimates and predictive root mean squared error than alternative stochastic
$\mathcal{GP}$ inference methods.
- Abstract（参考訳）: 重み付き擬似入力出力点(coresets)の学習可能な集合の後方に基づく新しい確率的変分ガウス過程(\mathcal{gp}$)推定法を提案する。
自由形式変分族の代わりに、$\mathcal{GP}$s (CVTGP) に対して提案されたコアセットベースの変分族は、$\mathcal{GP}$ pre とデータ様の項で定義される。
CVTGP の対数準位確率の低い境界は、提案された後続の余剰値 $\mathcal{GP}$ coreset 変数の余剰化によって導出され、確率的最適化が可能であることを示す。
CVTGPは学習可能なパラメータサイズを$\mathcal{O}(M)$に減らし、数値安定性を享受し、$\mathcal{O}(M^3)$ time-および$\mathcal{O}(M^2)$ space-complexityを維持する。
ガウス観測ノイズを伴うシミュレーションおよび実世界の回帰問題の結果、cvtgpは、代替の確率的$\mathcal{gp}$推論法よりも低いバウンド推定と予測根平均二乗誤差のより良い証拠を提供する。
関連論文リスト
- Restricted Strong Convexity of Deep Learning Models with Smooth
Activations [31.003601717265006]
本研究では,スムーズなアクティベーション機能を持つディープラーニングモデルの最適化問題について検討する。
Restricted Strong Convexity (RSC) に基づく最適化の新しい解析手法を提案する。
深層学習モデルのためのRCCに基づくGDの幾何収束性を確立するための最初の結果である。
論文 参考訳（メタデータ） (2022-09-29T21:24:26Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - Hybrid Model-based / Data-driven Graph Transform for Image Coding [54.31406300524195]
予測内残差ブロックを符号化するハイブリッドモデルベース/データ駆動方式を提案する。
変換行列の最初の$K$固有ベクトルは、安定性のための非対称離散正弦変換(ADST)のような統計モデルから導かれる。
WebPをベースライン画像として使用することにより、我々のハイブリッドグラフ変換は、デフォルトの離散コサイン変換(DCT)よりもエネルギーの圧縮が良く、KLTよりも安定性がよいことを示す。
論文 参考訳（メタデータ） (2022-03-02T15:36:44Z) - An Improved Analysis of Gradient Tracking for Decentralized Machine
Learning [34.144764431505486]
トレーニングデータが$n$エージェントに分散されるネットワーク上での分散機械学習を検討する。
エージェントの共通の目標は、すべての局所損失関数の平均を最小化するモデルを見つけることである。
ノイズのない場合、$p$を$mathcalO(p-1)$から$mathcalO(p-1)$に改善します。
論文 参考訳（メタデータ） (2022-02-08T12:58:14Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - Input Dependent Sparse Gaussian Processes [1.1470070927586014]
我々は、観測データを入力として受信し、誘導点の位置とパラメータを$q$で出力するニューラルネットワークを使用する。
提案手法をいくつかの実験で評価し,他の最先端のスパース変分GP手法とよく似た性能を示すことを示した。
論文 参考訳（メタデータ） (2021-07-15T12:19:10Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳（メタデータ） (2021-06-10T18:17:57Z) - Tight Nonparametric Convergence Rates for Stochastic Gradient Descent
under the Noiseless Linear Model [0.0]
このモデルに基づく最小二乗リスクに対する1パス, 固定段差勾配勾配の収束度を解析した。
特殊な場合として、ランダムなサンプリング点における値のノイズのない観測から単位区間上の実関数を推定するオンラインアルゴリズムを解析する。
論文 参考訳（メタデータ） (2020-06-15T08:25:50Z) - Quadruply Stochastic Gaussian Processes [10.152838128195466]
本稿では,スケーラブルなガウス過程(GP)モデルをトレーニングするための変分推論手法を提案する。この手法は,トレーニング点数,$n$,カーネル近似で使用される数基底関数,$m$のいずれにも依存しない。
GPと関連ベクトルマシンを用いた大規模分類および回帰データセットの精度を,最大で$m = 107$の基底関数で示す。
論文 参考訳（メタデータ） (2020-06-04T17:06:25Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳（メタデータ） (2020-04-09T17:54:18Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳（メタデータ） (2020-03-05T14:33:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。