論文の概要: Fast Variational Learning in State-Space Gaussian Process Models

• arxiv url: http://arxiv.org/abs/2007.04731v2
• Date: Fri, 17 Jul 2020 10:46:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 03:32:04.750567
• Title: Fast Variational Learning in State-Space Gaussian Process Models
• Title（参考訳）: 状態空間ガウス過程モデルにおける高速変分学習
• Authors: Paul E. Chang, William J. Wilkinson, Mohammad Emtiyaz Khan, Arno Solin
• Abstract要約: 我々は共役計算変分推論と呼ばれる既存の手法に基づいて構築する。 ジャスト・イン・タイムのコンパイルを利用する効率的なJAX実装を提供しています。 我々の手法は、何百万ものデータポイントを持つ時系列にスケールできる状態空間GPモデルにおいて、高速かつ安定した変分推論をもたらす。
• 参考スコア（独自算出の注目度）: 29.630197272150003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian process (GP) regression with 1D inputs can often be performed in linear time via a stochastic differential equation formulation. However, for non-Gaussian likelihoods, this requires application of approximate inference methods which can make the implementation difficult, e.g., expectation propagation can be numerically unstable and variational inference can be computationally inefficient. In this paper, we propose a new method that removes such difficulties. Building upon an existing method called conjugate-computation variational inference, our approach enables linear-time inference via Kalman recursions while avoiding numerical instabilities and convergence issues. We provide an efficient JAX implementation which exploits just-in-time compilation and allows for fast automatic differentiation through large for-loops. Overall, our approach leads to fast and stable variational inference in state-space GP models that can be scaled to time series with millions of data points.
• Abstract（参考訳）: 1次元入力を持つガウス過程(GP)回帰は確率微分方程式の定式化によって線形時間で行うことができる。 しかし、非ガウス的確率に対して、これは近似推論法の適用が必要であり、例えば、期待伝播は数値的に不安定であり、変分推論は計算的に非効率である。 本稿では,そのような困難を解消する新しい手法を提案する。 共役計算型変分推論と呼ばれる既存の手法に基づいて,数値不安定性や収束問題を避けつつカルマン再帰による線形時間推定を可能にする。 我々は,ジャスト・イン・タイムコンパイルを活用し,大規模forループによる高速自動微分を実現する効率的なjax実装を提供する。 全体として、我々のアプローチは、何百万ものデータポイントを持つ時系列にスケールできる状態空間GPモデルにおいて、高速かつ安定した変動推論をもたらす。

関連論文リスト

• Parallel-in-Time Probabilistic Numerical ODE Solvers [35.716255949521305]
  常微分方程式(ODE)の確率論的数値解法は、力学系の数値シミュレーションをベイズ状態推定の問題として扱う。 我々は,反復拡張カルマンスムーダの時間並列定式化に基づいて,並列時間確率数値ODEソルバを定式化する。
  論文  参考訳（メタデータ） (2023-10-02T12:32:21Z)
• Online Time Series Anomaly Detection with State Space Gaussian Processes [12.483273106706623]
  R-ssGPFAは、一様および多変量時系列の教師なしオンライン異常検出モデルである。 高次元時系列に対して、時系列の一般的な潜伏過程を特定するためにガウス過程因子解析の拡張を提案する。 異常観測時にカルマン更新をスキップすることで,モデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2022-01-18T06:43:32Z)
• Spatio-Temporal Variational Gaussian Processes [26.60276485130467]
  時空間フィルタリングと自然変動推論を組み合わせたガウス過程推論にスケーラブルなアプローチを導入する。 還元された誘導点集合上で状態空間モデルを構成するスパース近似を導出する。 分離可能なマルコフカーネルの場合、完全スパースケースは標準変分GPを正確に回復する。
  論文  参考訳（メタデータ） (2021-11-02T16:53:31Z)
• Probabilistic Numerical Method of Lines for Time-Dependent Partial Differential Equations [20.86460521113266]
  現在の最先端のPDEソルバは、空間次元と時間次元を別々に、シリアルに、ブラックボックスアルゴリズムで扱います。 この問題を解決するために,ライン法と呼ばれる手法の確率的版を導入する。 空間不確かさと時間不確かさの連成定量化は、十分に調整されたODEソルバの性能上の利点を失うことなく実現できる。
  論文  参考訳（メタデータ） (2021-10-22T15:26:05Z)
• Distributed stochastic optimization with large delays [59.95552973784946]
  大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
  論文  参考訳（メタデータ） (2021-07-06T21:59:49Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Sparse Algorithms for Markovian Gaussian Processes [18.999495374836584]
  スパースマルコフ過程は、誘導変数の使用と効率的なカルマンフィルタライク再帰を結合する。 我々は,局所ガウス項を用いて非ガウス的確率を近似する一般的なサイトベースアプローチであるsitesを導出する。 提案手法は,変動推論,期待伝播,古典非線形カルマンスムーサなど,機械学習と信号処理の両方から得られるアルゴリズムの新たなスパース拡張の一群を導出する。 派生した方法は、モデルが時間と空間の両方で別々の誘導点を持つ文学時間データに適しています。
  論文  参考訳（メタデータ） (2021-03-19T09:50:53Z)
• The Connection between Discrete- and Continuous-Time Descriptions of Gaussian Continuous Processes [60.35125735474386]
  我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。 この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
  論文  参考訳（メタデータ） (2021-01-16T17:11:02Z)
• DiffPD: Differentiable Projective Dynamics with Contact [65.88720481593118]
  DiffPDは、暗黙の時間積分を持つ効率的な微分可能なソフトボディシミュレータである。 我々はDiffPDの性能を評価し,様々な応用における標準ニュートン法と比較して4～19倍のスピードアップを観測した。
  論文  参考訳（メタデータ） (2021-01-15T00:13:33Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。