論文の概要: Mixtures of Gaussian Process Experts with SMC$^2$

• arxiv url: http://arxiv.org/abs/2208.12830v1
• Date: Fri, 26 Aug 2022 18:20:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-30 13:25:12.945492
• Title: Mixtures of Gaussian Process Experts with SMC$^2$
• Title（参考訳）: ガウス過程の専門家とsmc$^2$との混合物
• Authors: Teemu H\"ark\"onen, Sara Wade, Kody Law, Lassi Roininen
• Abstract要約: ガウスのプロセスエキスパートの混合は、データポイントが独立した専門家に割り当てられる場所として検討されている。 我々は、ネストした連続モンテカルロサンプルを用いた新しい推論手法を構築し、ゲーティングネットワークとガウス過程の専門家パラメータの両方を推論する。
• 参考スコア（独自算出の注目度）: 0.4588028371034407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gaussian processes are a key component of many flexible statistical and machine learning models. However, they exhibit cubic computational complexity and high memory constraints due to the need of inverting and storing a full covariance matrix. To circumvent this, mixtures of Gaussian process experts have been considered where data points are assigned to independent experts, reducing the complexity by allowing inference based on smaller, local covariance matrices. Moreover, mixtures of Gaussian process experts substantially enrich the model's flexibility, allowing for behaviors such as non-stationarity, heteroscedasticity, and discontinuities. In this work, we construct a novel inference approach based on nested sequential Monte Carlo samplers to simultaneously infer both the gating network and Gaussian process expert parameters. This greatly improves inference compared to importance sampling, particularly in settings when a stationary Gaussian process is inappropriate, while still being thoroughly parallelizable.
• Abstract（参考訳）: ガウス過程は多くの柔軟な統計モデルと機械学習モデルの鍵となるコンポーネントである。 しかし、完全な共分散行列を反転して保存する必要があるため、量子計算の複雑さと高いメモリ制約を示す。 これを回避するために、ガウスのプロセスエキスパートの混合は、データポイントが独立した専門家に割り当てられる場所として検討され、より小さな局所的共分散行列に基づく推論を行うことで複雑さを減らした。 さらに、ガウス過程の専門家の混合物はモデルの柔軟性を実質的に強化し、非定常性、異質性、不連続性などの振る舞いを可能にした。 本研究では,ネストした連続モンテカルロサンプルを用いた新しい推論手法を構築し,ゲーティングネットワークとガウスプロセスの専門家パラメータの両方を同時に推定する。 これは、特に静止ガウス過程が不適切でありながら、完全に並列化可能である設定において、重要なサンプリングよりも推論を大幅に改善する。

関連論文リスト

• Posterior Contraction Rates for Mat\'ern Gaussian Processes on Riemannian Manifolds [51.68005047958965]
  我々は,本質的なガウス過程が実際により優れた性能を発揮することを示す。 我々の研究は、データ効率の異なるレベルを区別するために、よりきめ細かい分析が必要であることを示している。
  論文  参考訳（メタデータ） (2023-09-19T20:30:58Z)
• Deep Gaussian Mixture Ensembles [9.673093148930874]
  この研究は、ディープガウス混合アンサンブル(DGME)と呼ばれる新しい確率的深層学習技術を導入している。 DGMEは、重み付き分布やマルチモーダル分布などの複雑な確率分布を近似することができる。 実験の結果,DGMEは複雑な予測密度を扱う深層学習モデルにおいて,最先端の不確実性よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-12T16:53:38Z)
• Mixtures of Gaussian process experts based on kernel stick-breaking processes [0.6396288020763143]
  本稿では,カーネルスティックブレーキングプロセスに基づくガウスプロセスエキスパートの混合モデルを提案する。 我々のモデルは直感的な魅力を維持しつつ、既存のモデルの性能を改善している。 モデル挙動と予測性能の改善は、6つのデータセットを用いた実験で実証された。
  論文  参考訳（メタデータ） (2023-04-26T21:23:01Z)
• Gaussian Processes and Statistical Decision-making in Non-Euclidean Spaces [96.53463532832939]
  我々はガウス過程の適用性を高める技術を開発した。 この観点から構築した効率的な近似を幅広く導入する。 非ユークリッド空間上のガウス過程モデルの集合を開発する。
  論文  参考訳（メタデータ） (2022-02-22T01:42:57Z)
• Revisiting the Sample Complexity of Sparse Spectrum Approximation of Gaussian Processes [60.479499225746295]
  本稿では,ガウス過程に対して,パラメータ空間全体に対して同時に保持可能な保証付きスケーラブルな近似を導入する。 我々の近似は、スパーススペクトルガウス過程(SSGP)のための改良されたサンプル複雑性解析から得られる。
  論文  参考訳（メタデータ） (2020-11-17T05:41:50Z)
• Pathwise Conditioning of Gaussian Processes [72.61885354624604]
  ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。 この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。 条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
  論文  参考訳（メタデータ） (2020-11-08T17:09:37Z)
• Sparse Gaussian Processes with Spherical Harmonic Features [14.72311048788194]
  領域間変分ガウス過程(GP)の新たなクラスを導入する。 我々の推論スキームは変分フーリエの特徴に匹敵するが、次元の呪いに苦しむことはない。 実験の結果,本モデルでは,600万項目のデータセットに対して,2桁の精度で回帰モデルを適合させることができることがわかった。
  論文  参考訳（メタデータ） (2020-06-30T10:19:32Z)
• Beyond the Mean-Field: Structured Deep Gaussian Processes Improve the Predictive Uncertainties [12.068153197381575]
  高速収束を達成しつつ、潜在過程間の共分散を維持できる新しい変分族を提案する。 新しいアプローチの効率的な実装を提供し、それをいくつかのベンチマークデータセットに適用します。 優れた結果をもたらし、最先端の代替品よりも精度とキャリブレーションされた不確実性推定とのバランスが良くなる。
  論文  参考訳（メタデータ） (2020-05-22T11:10:59Z)
• Gaussianization Flows [113.79542218282282]
  そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。 この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
  論文  参考訳（メタデータ） (2020-03-04T08:15:06Z)
• Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
  高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。 分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
  論文  参考訳（メタデータ） (2020-02-21T14:03:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。