論文の概要: Probabilistic selection of inducing points in sparse Gaussian processes
- arxiv url: http://arxiv.org/abs/2010.09370v4
- Date: Sun, 25 Jul 2021 14:13:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 20:55:21.234876
- Title: Probabilistic selection of inducing points in sparse Gaussian processes
- Title（参考訳）: スパースガウス過程における誘導点の確率的選択
- Authors: Anders Kirk Uhrenholt, Valentin Charvet, Bj{\o}rn Sand Jensen
- Abstract要約: ポイントの誘導は、モデルの複雑さへの主要な貢献となります。
誘導点に先立って点を設定し、変分推論により関連する後部を近似する。
実験により, ポイントが情報量が少なくなるにつれて, インジェクションポイントの減少がモデルに好まれることを示す。
- 参考スコア（独自算出の注目度）: 1.2617078020344619
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse Gaussian processes and various extensions thereof are enabled through
inducing points, that simultaneously bottleneck the predictive capacity and act
as the main contributor towards model complexity. However, the number of
inducing points is generally not associated with uncertainty which prevents us
from applying the apparatus of Bayesian reasoning for identifying an
appropriate trade-off. In this work we place a point process prior on the
inducing points and approximate the associated posterior through stochastic
variational inference. By letting the prior encourage a moderate number of
inducing points, we enable the model to learn which and how many points to
utilise. We experimentally show that fewer inducing points are preferred by the
model as the points become less informative, and further demonstrate how the
method can be employed in deep Gaussian processes and latent variable
modelling.
- Abstract（参考訳）: スパースガウス過程とその拡張は、予測能力を同時にボトルネックし、モデルの複雑さへの主要な貢献者となる点を誘導することで実現される。
しかし、誘導点数は一般に不確実性と関連付けられておらず、適切なトレードオフを特定するためのベイズ推論装置の適用を妨げている。
この研究では、誘導点に先立って点過程を設定し、確率的変動推論を通じて関連する後部を近似する。
事前に適度な数の誘導ポイントを奨励させることで、モデルがどの点と何点を利用するかを学ぶことができる。
実験により, モデルが情報量が少なくなるにつれて誘導点が少なくなり, 深いガウス過程や潜在変数モデリングにおいてどのように用いられるかを示す。
関連論文リスト
- Likelihood approximations via Gaussian approximate inference [3.4991031406102238]
ガウス密度による非ガウス確率の影響を近似する効率的なスキームを提案する。
その結果,大規模な点推定および分布推定設定における二進分類と多進分類の近似精度が向上した。
副産物として,提案した近似ログ類似度は,ニューラルネットワーク分類のためのラベルの最小二乗よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-10-28T05:39:26Z) - von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
円値ランダム関数上の表現的および解釈可能な分布の族を探索する。
結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。
後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
論文 参考訳（メタデータ） (2024-06-19T01:57:21Z) - Numerically Stable Sparse Gaussian Processes via Minimum Separation
using Cover Trees [57.67528738886731]
誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。
地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
論文 参考訳（メタデータ） (2022-10-14T15:20:17Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - Sparse Algorithms for Markovian Gaussian Processes [18.999495374836584]
スパースマルコフ過程は、誘導変数の使用と効率的なカルマンフィルタライク再帰を結合する。
我々は,局所ガウス項を用いて非ガウス的確率を近似する一般的なサイトベースアプローチであるsitesを導出する。
提案手法は,変動推論,期待伝播,古典非線形カルマンスムーサなど,機械学習と信号処理の両方から得られるアルゴリズムの新たなスパース拡張の一群を導出する。
派生した方法は、モデルが時間と空間の両方で別々の誘導点を持つ文学時間データに適しています。
論文 参考訳（メタデータ） (2021-03-19T09:50:53Z) - Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。
特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。
本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文 参考訳（メタデータ） (2021-02-12T12:23:13Z) - Pathwise Conditioning of Gaussian Processes [72.61885354624604]
ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。
この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。
条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
論文 参考訳（メタデータ） (2020-11-08T17:09:37Z) - Multinomial Sampling for Hierarchical Change-Point Detection [0.0]
本稿では,検出率を向上し,遅延を低減する多項サンプリング手法を提案する。
実験の結果, 基準法よりも優れた結果が得られ, また, 人間の行動研究を指向した事例も提示した。
論文 参考訳（メタデータ） (2020-07-24T09:18:17Z) - Mean-Field Approximation to Gaussian-Softmax Integral with Application
to Uncertainty Estimation [23.38076756988258]
ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。
平均場近似式を用いて解析的に難解な積分を計算する。
実験的に,提案手法は最先端の手法と比較して競合的に機能する。
論文 参考訳（メタデータ） (2020-06-13T07:32:38Z) - Generalized Gumbel-Softmax Gradient Estimator for Various Discrete
Random Variables [16.643346012854156]
ノードの勾配を評価することは、深層生成モデリングコミュニティにおいて重要な研究課題の1つである。
本稿では,連続緩和を伴うGumbel-Softmax推定器の一般バージョンを提案する。
論文 参考訳（メタデータ） (2020-03-04T01:13:15Z) - Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。
分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
論文 参考訳（メタデータ） (2020-02-21T14:03:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。