論文の概要: Spatio-Temporal Variational Gaussian Processes

• arxiv url: http://arxiv.org/abs/2111.01732v1
• Date: Tue, 2 Nov 2021 16:53:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-03 14:22:10.846822
• Title: Spatio-Temporal Variational Gaussian Processes
• Title（参考訳）: 時空間変動ガウス過程
• Authors: Oliver Hamelijnck, William J. Wilkinson, Niki A. Loppi, Arno Solin, Theodoros Damoulas
• Abstract要約: 時空間フィルタリングと自然変動推論を組み合わせたガウス過程推論にスケーラブルなアプローチを導入する。 還元された誘導点集合上で状態空間モデルを構成するスパース近似を導出する。 分離可能なマルコフカーネルの場合、完全スパースケースは標準変分GPを正確に回復する。
• 参考スコア（独自算出の注目度）: 26.60276485130467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a scalable approach to Gaussian process inference that combines spatio-temporal filtering with natural gradient variational inference, resulting in a non-conjugate GP method for multivariate data that scales linearly with respect to time. Our natural gradient approach enables application of parallel filtering and smoothing, further reducing the temporal span complexity to be logarithmic in the number of time steps. We derive a sparse approximation that constructs a state-space model over a reduced set of spatial inducing points, and show that for separable Markov kernels the full and sparse cases exactly recover the standard variational GP, whilst exhibiting favourable computational properties. To further improve the spatial scaling we propose a mean-field assumption of independence between spatial locations which, when coupled with sparsity and parallelisation, leads to an efficient and accurate method for large spatio-temporal problems.
• Abstract（参考訳）: 本稿では,時空間フィルタと自然勾配変動推定を組み合わせたガウス過程推論への拡張性を導入し,時間に関して線形にスケールする多変量データの非共役GP法を提案する。 我々の自然勾配法は並列フィルタリングと平滑化を可能とし、時間ステップ数で対数的に時間スパンの複雑性を減少させる。 空間的誘導点の縮小集合上の状態空間モデルを構成するスパース近似を導出し、分離可能なマルコフ核に対して、完全かつスパースケースが標準変分gpを正確に復元し、好ましい計算特性を示すことを示す。 空間スケールをさらに改善するために,空間的位置間の独立性の平均場仮定を提案し,スパーシティと並列化を組み合わせることで,時空間問題に対する効率的かつ正確な手法を提案する。

関連論文リスト

• Adaptive Consensus Gradients Aggregation for Scaled Distributed Training [6.234802839923543]
  サブスペース最適化のレンズを用いて分散勾配凝集過程を解析する。 本手法は,複数のタスクのユビキタス平均化に対して,通信量と計算量の両方において極めて効率的でありながら,性能の向上を実証する。
  論文  参考訳（メタデータ） (2024-11-06T08:16:39Z)
• Aiming towards the minimizers: fast convergence of SGD for overparametrized problems [25.077446336619378]
  本稿では,勾配法と同一のケース複雑性を有する勾配法を提案する。 既存の保証は全て勾配法で小さなステップを踏む必要があり、結果として収束速度ははるかに遅くなる。 我々は,線形出力層を用いた十分に広いフィードフォワードニューラルネットワークのトレーニングにおいて,この条件が成り立つことを実証した。
  論文  参考訳（メタデータ） (2023-06-05T05:21:01Z)
• Traversing Time with Multi-Resolution Gaussian Process State-Space Models [17.42262122708566]
  本稿では,複数のコンポーネントで構成されたガウス的プロセス状態空間アーキテクチャを提案する。 半合成データとエンジンモデリングタスクに新しい手法をベンチマークする。 どちらの実験でも、我々のアプローチは1つの時間スケールでしか動作しない最先端の代替手段と良好に比較できる。
  論文  参考訳（メタデータ） (2021-12-06T18:39:27Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Combining Pseudo-Point and State Space Approximations for Sum-Separable Gaussian Processes [48.64129867897491]
  我々は,擬似点法と状態空間GP近似フレームワークを組み合わせて両世界の長所を得る,シンプルでエレガントな方法が存在することを示す。 組み合わせたアプローチは、どちらの方法よりも拡張性が高く、時間的問題にも適用可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-18T16:30:09Z)
• Sparse Algorithms for Markovian Gaussian Processes [18.999495374836584]
  スパースマルコフ過程は、誘導変数の使用と効率的なカルマンフィルタライク再帰を結合する。 我々は,局所ガウス項を用いて非ガウス的確率を近似する一般的なサイトベースアプローチであるsitesを導出する。 提案手法は,変動推論,期待伝播,古典非線形カルマンスムーサなど,機械学習と信号処理の両方から得られるアルゴリズムの新たなスパース拡張の一群を導出する。 派生した方法は、モデルが時間と空間の両方で別々の誘導点を持つ文学時間データに適しています。
  論文  参考訳（メタデータ） (2021-03-19T09:50:53Z)
• The Connection between Discrete- and Continuous-Time Descriptions of Gaussian Continuous Processes [60.35125735474386]
  我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。 この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
  論文  参考訳（メタデータ） (2021-01-16T17:11:02Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• Fast Variational Learning in State-Space Gaussian Process Models [29.630197272150003]
  我々は共役計算変分推論と呼ばれる既存の手法に基づいて構築する。 ジャスト・イン・タイムのコンパイルを利用する効率的なJAX実装を提供しています。 我々の手法は、何百万ものデータポイントを持つ時系列にスケールできる状態空間GPモデルにおいて、高速かつ安定した変分推論をもたらす。
  論文  参考訳（メタデータ） (2020-07-09T12:06:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。