論文の概要: Linear-time inference for Gaussian Processes on one dimension
- arxiv url: http://arxiv.org/abs/2003.05554v5
- Date: Tue, 12 Oct 2021 18:04:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 13:46:43.025115
- Title: Linear-time inference for Gaussian Processes on one dimension
- Title（参考訳）: 1次元ガウス過程の線形時間推論
- Authors: Jackson Loper, David Blei, John P. Cunningham, and Liam Paninski
- Abstract要約: 本研究では,その線形スケーリング計算コストから,状態空間モデルが人気である1次元のサンプルデータについて検討する。
状態空間モデルは一般であり、任意の1次元ガウス過程を近似できるという予想の最初の一般的な証明を提供する。
LEGモデルで推論と学習を行う並列アルゴリズムを開発し、実データおよび合成データ上でアルゴリズムをテストし、数十億のサンプルを持つデータセットへのスケーリングを実証する。
- 参考スコア（独自算出の注目度）: 17.77516394591124
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian Processes (GPs) provide powerful probabilistic frameworks for
interpolation, forecasting, and smoothing, but have been hampered by
computational scaling issues. Here we investigate data sampled on one dimension
(e.g., a scalar or vector time series sampled at arbitrarily-spaced intervals),
for which state-space models are popular due to their linearly-scaling
computational costs. It has long been conjectured that state-space models are
general, able to approximate any one-dimensional GP. We provide the first
general proof of this conjecture, showing that any stationary GP on one
dimension with vector-valued observations governed by a Lebesgue-integrable
continuous kernel can be approximated to any desired precision using a
specifically-chosen state-space model: the Latent Exponentially Generated (LEG)
family. This new family offers several advantages compared to the general
state-space model: it is always stable (no unbounded growth), the covariance
can be computed in closed form, and its parameter space is unconstrained
(allowing straightforward estimation via gradient descent). The theorem's proof
also draws connections to Spectral Mixture Kernels, providing insight about
this popular family of kernels. We develop parallelized algorithms for
performing inference and learning in the LEG model, test the algorithm on real
and synthetic data, and demonstrate scaling to datasets with billions of
samples.
- Abstract（参考訳）: ガウス過程(GP)は補間、予測、平滑化のための強力な確率的フレームワークを提供するが、計算スケーリングの問題によって妨げられている。
本稿では,1次元(例えば,任意の間隔でサンプリングされたスカラーまたはベクトル時系列)でサンプリングされたデータについて検討する。
状態空間モデルは一般であり、任意の1次元GPを近似することができると長い間推測されてきた。
この予想の最初の一般的な証明を提供し、ルベーグ可積分連続核によって制御されるベクトル値の観測を持つ一次元上の任意の定常 gp は、特定のチョセン状態空間モデルを用いて任意の所望の精度に近似できることを示した。
この新族は、一般の状態空間モデルと比較していくつかの利点を提供している: それは常に安定(非有界成長)であり、共分散は閉形式で計算でき、パラメータ空間は無拘束である(勾配降下による簡単な推定が可能)。
この定理の証明はスペクトル混合カーネルとの関係も引き合いに出し、この人気のあるカーネルの族についての洞察を与える。
LEGモデルで推論と学習を行う並列アルゴリズムを開発し、実データおよび合成データ上でアルゴリズムをテストし、数十億のサンプルを持つデータセットへのスケーリングを実証する。
関連論文リスト
- von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
円値ランダム関数上の表現的および解釈可能な分布の族を探索する。
結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。
後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
論文 参考訳（メタデータ） (2024-06-19T01:57:21Z) - Implicit Manifold Gaussian Process Regression [49.0787777751317]
ガウス過程の回帰は、よく校正された不確実性推定を提供するために広く用いられている。
これは、データが実際に存在する暗黙の低次元多様体のため、高次元データに苦しむ。
本稿では,データ(ラベル付きおよびラベルなし)から直接暗黙構造を完全に微分可能な方法で推定できる手法を提案する。
論文 参考訳（メタデータ） (2023-10-30T09:52:48Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳（メタデータ） (2023-06-05T21:08:34Z) - Random Smoothing Regularization in Kernel Gradient Descent Learning [24.383121157277007]
古典的ソボレフ空間に属する幅広い基底真理関数を適応的に学習できるランダムなスムーズな正規化のための枠組みを提案する。
我々の推定器は、基礎となるデータの構造的仮定に適応し、次元の呪いを避けることができる。
論文 参考訳（メタデータ） (2023-05-05T13:37:34Z) - Score-based Diffusion Models in Function Space [140.792362459734]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳（メタデータ） (2023-02-14T23:50:53Z) - Intrinsic Gaussian Process on Unknown Manifolds with Probabilistic
Metrics [5.582101184758529]
本稿では、点雲に確率的測度を持つ未知多様体上の回帰のための固有ガウス過程を構築するための新しいアプローチを提案する。
多様体の幾何学は一般に通常のユークリッド幾何学と異なる。
GPUMの応用は、スイスロール、WiFi信号の高次元実データセット、画像データ例のシミュレーション研究で説明されている。
論文 参考訳（メタデータ） (2023-01-16T17:42:40Z) - FaDIn: Fast Discretized Inference for Hawkes Processes with General
Parametric Kernels [82.53569355337586]
この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。
脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。
その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
論文 参考訳（メタデータ） (2022-10-10T12:35:02Z) - Gaussian Process Subspace Regression for Model Reduction [7.41244589428771]
部分空間値関数はパラメトリック・リダクション・オーダー・モデリング(PROM)を含む幅広い問題に現れる。
PROM では、各パラメータ点は、大きな系行列のペトロフ・ガレルキン射影に使用される部分空間に関連付けることができる。
本稿では,サブスペース予測のための新しいベイズ非モデルとして,ガウス過程部分空間回帰(GPS)モデルを提案する。
論文 参考訳（メタデータ） (2021-07-09T20:41:23Z) - Combining Pseudo-Point and State Space Approximations for Sum-Separable
Gaussian Processes [48.64129867897491]
我々は,擬似点法と状態空間GP近似フレームワークを組み合わせて両世界の長所を得る,シンプルでエレガントな方法が存在することを示す。
組み合わせたアプローチは、どちらの方法よりも拡張性が高く、時間的問題にも適用可能であることを実証する。
論文 参考訳（メタデータ） (2021-06-18T16:30:09Z) - Sparse Algorithms for Markovian Gaussian Processes [18.999495374836584]
スパースマルコフ過程は、誘導変数の使用と効率的なカルマンフィルタライク再帰を結合する。
我々は,局所ガウス項を用いて非ガウス的確率を近似する一般的なサイトベースアプローチであるsitesを導出する。
提案手法は,変動推論,期待伝播,古典非線形カルマンスムーサなど,機械学習と信号処理の両方から得られるアルゴリズムの新たなスパース拡張の一群を導出する。
派生した方法は、モデルが時間と空間の両方で別々の誘導点を持つ文学時間データに適しています。
論文 参考訳（メタデータ） (2021-03-19T09:50:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。