論文の概要: An Improved Variational Approximate Posterior for the Deep Wishart
Process
- arxiv url: http://arxiv.org/abs/2305.14454v1
- Date: Tue, 23 May 2023 18:26:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 00:06:18.514727
- Title: An Improved Variational Approximate Posterior for the Deep Wishart
Process
- Title(参考訳): 深部ウィッシュアート法における変分近似後法の改良
- Authors: Sebastian Ober, Ben Anson, Edward Milsom and Laurence Aitchison
- Abstract要約: ディープカーネルプロセスは、最近導入されたディープベイズモデルのクラスである。
それらは正の半定値行列上の分布からグラム行列をサンプリングすることによって動作する。
さらに,行と列の線形結合が可能であるように分布を一般化することで,予測性能が向上することを示す。
- 参考スコア(独自算出の注目度): 24.442174952832108
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep kernel processes are a recently introduced class of deep Bayesian models
that have the flexibility of neural networks, but work entirely with Gram
matrices. They operate by alternately sampling a Gram matrix from a
distribution over positive semi-definite matrices, and applying a deterministic
transformation. When the distribution is chosen to be Wishart, the model is
called a deep Wishart process (DWP). This particular model is of interest
because its prior is equivalent to a deep Gaussian process (DGP) prior, but at
the same time it is invariant to rotational symmetries, leading to a simpler
posterior distribution. Practical inference in the DWP was made possible in
recent work ("A variational approximate posterior for the deep Wishart process"
Ober and Aitchison 2021a) where the authors used a generalisation of the
Bartlett decomposition of the Wishart distribution as the variational
approximate posterior. However, predictive performance in that paper was less
impressive than one might expect, with the DWP only beating a DGP on a few of
the UCI datasets used for comparison. In this paper, we show that further
generalising their distribution to allow linear combinations of rows and
columns in the Bartlett decomposition results in better predictive performance,
while incurring negligible additional computation cost.
- Abstract(参考訳): ディープカーネルプロセス(deep kernel process)は、ニューラルネットワークの柔軟性を持つが、完全にグラム行列で動作する、最近導入されたディープベイズモデルのクラスである。
正の半定値行列上の分布からグラム行列を交互にサンプリングし、決定論的変換を適用する。
分布が wishart であると選択されると、モデルは deep wishart process (dwp) と呼ばれる。
このモデルは、事前が深いガウス過程(英語版)(dgp)に前もって同値であるが、同時に回転対称性に不変であり、より単純な後方分布に繋がる。
DWPの実際的な推論は、最近の研究("A variational approximate previous for the Deep Wishart process" Ober and Aitchison 2021a)において可能であり、著者らは変分近似後としてウィッシュアート分布のバートレット分解を一般化した。
しかし、この論文の予測性能は予想するよりも印象的ではなく、DWPは比較に使用されるいくつかのUCIデータセットでDGPを上回りました。
本稿では,Bartlett分解における行と列の線形結合を可能とした分布の一般化により,予測性能が向上し,計算コストが増大することを示す。
関連論文リスト
- Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。
シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。
実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2024-08-13T08:09:05Z) - von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
円値ランダム関数上の表現的および解釈可能な分布の族を探索する。
結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。
後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
論文 参考訳(メタデータ) (2024-06-19T01:57:21Z) - Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。
本稿では,直感的に設計を記述し,設計選択について説明する。
本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文 参考訳(メタデータ) (2023-10-31T16:15:13Z) - Implicit Manifold Gaussian Process Regression [49.0787777751317]
ガウス過程の回帰は、よく校正された不確実性推定を提供するために広く用いられている。
これは、データが実際に存在する暗黙の低次元多様体のため、高次元データに苦しむ。
本稿では,データ(ラベル付きおよびラベルなし)から直接暗黙構造を完全に微分可能な方法で推定できる手法を提案する。
論文 参考訳(メタデータ) (2023-10-30T09:52:48Z) - Deep Transformed Gaussian Processes [0.0]
変換ガウス過程(英: Transformed Gaussian Processs、TGP)は、可逆変換を用いて、前者のプロセス(典型的にはGP)からサンプルを共分散から変換することによって定義される過程である。
本稿では,プロセスの階層化の傾向に従い,DTGP(Deep Transformed Gaussian Processs)と呼ばれるTGPの一般化を提案する。
実験では、提案したDTGPを複数の回帰データセットで評価し、優れたスケーラビリティと性能を実現した。
論文 参考訳(メタデータ) (2023-10-27T16:09:39Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳(メタデータ) (2022-11-30T18:59:27Z) - Scalable Bayesian Transformed Gaussian Processes [10.33253403416662]
ベイズ変換ガウシアン過程(BTG)モデルは、ワープされたガウシアン過程(WGP)と完全に相反するベイズ変換ガウシアン過程(BTG)モデルである。
本稿では,BTGを用いた計算の原理的,高速な手法を提案する。
我々のフレームワークは、高速モデル予測とモデル選択の両方を可能にするために、二重スパース二次規則、厳密な量子境界、ランク1行列代数を使用する。
論文 参考訳(メタデータ) (2022-10-20T02:45:10Z) - Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。
NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2021-10-26T10:45:25Z) - A variational approximate posterior for the deep Wishart process [23.786649328915093]
最近の研究は、NNの完全なカーネルベースの代替としてディープカーネルプロセスを導入した。
正半定値行列上の柔軟な分布を得るための新しいアプローチを提案する。
我々は,深部ウィッシュアートプロセスにおける推論が,DGPにおける推論よりも性能を向上することを示す。
論文 参考訳(メタデータ) (2021-07-21T14:48:27Z) - What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。
また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文 参考訳(メタデータ) (2021-04-29T15:38:46Z) - Convolutional Normalizing Flows for Deep Gaussian Processes [40.10797051603641]
本稿では、柔軟で任意に複雑でスケーラブルな後方分布を特定するための新しいアプローチを提案する。
新しい畳み込み正規化フロー(CNF)が開発され、時間効率を改善し、層間の依存性を捉える。
経験的評価は、CNF DGPがDGPの最先端近似法より優れていることを示している。
論文 参考訳(メタデータ) (2021-04-17T07:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。