論文の概要: Particle-Gibbs Sampling For Bayesian Feature Allocation Models
- arxiv url: http://arxiv.org/abs/2001.09367v1
- Date: Sat, 25 Jan 2020 22:11:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-07 00:08:03.817471
- Title: Particle-Gibbs Sampling For Bayesian Feature Allocation Models
- Title(参考訳): ベイズ特徴割当モデルのための粒子ギブスサンプリング
- Authors: Alexandre Bouchard-C\^ot\'e and Andrew Roth
- Abstract要約: 最も広く使われているMCMC戦略は、特徴割り当て行列のギブス更新に頼っている。
単一移動で特徴割り当て行列の全行を更新できるギブスサンプリング器を開発した。
このサンプルは、計算複雑性が特徴数で指数関数的にスケールするにつれて、多数の特徴を持つモデルにとって実用的ではない。
我々は,行ワイズギブズ更新と同じ分布を目標としたパーティクルギブズサンプルの開発を行うが,特徴数でのみ線形に増大する計算複雑性を有する。
- 参考スコア(独自算出の注目度): 77.57285768500225
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian feature allocation models are a popular tool for modelling data with
a combinatorial latent structure. Exact inference in these models is generally
intractable and so practitioners typically apply Markov Chain Monte Carlo
(MCMC) methods for posterior inference. The most widely used MCMC strategies
rely on an element wise Gibbs update of the feature allocation matrix. These
element wise updates can be inefficient as features are typically strongly
correlated. To overcome this problem we have developed a Gibbs sampler that can
update an entire row of the feature allocation matrix in a single move.
However, this sampler is impractical for models with a large number of features
as the computational complexity scales exponentially in the number of features.
We develop a Particle Gibbs sampler that targets the same distribution as the
row wise Gibbs updates, but has computational complexity that only grows
linearly in the number of features. We compare the performance of our proposed
methods to the standard Gibbs sampler using synthetic data from a range of
feature allocation models. Our results suggest that row wise updates using the
PG methodology can significantly improve the performance of samplers for
feature allocation models.
- Abstract(参考訳): ベイジアン特徴割り当てモデルは、組合せ潜在構造を持つデータをモデル化するための一般的なツールである。
これらのモデルの厳密な推論は一般に難解であるため、実践者は一般に後部推論にマルコフ・チェイン・モンテカルロ法(MCMC)を適用する。
最も広く使われているMCMC戦略は、特徴割り当て行列のギブス更新に頼っている。
これらの要素の賢い更新は、機能は通常強く相関しているため、非効率である。
この問題を解決するために,機能割り当て行列の全行を1回の移動で更新できるGibbsサンプルラを開発した。
しかし, このサンプルは, 計算複雑性が指数関数的に増大するにつれて, 多数の特徴を持つモデルでは実用的ではない。
我々は,行ワイズギブズ更新と同じ分布を目標としたパーティクルギブズサンプルの開発を行うが,特徴数でのみ線形に増大する計算複雑性を有する。
提案手法と標準ギブスサンプリング器の性能を,特徴割り当てモデルから得られた合成データを用いて比較した。
その結果,pg法を用いて行を賢明に更新することで,機能割当モデルに対するサンプルの性能が大幅に向上することが示唆された。
関連論文リスト
- Dimension-free mixing times of Gibbs samplers for Bayesian hierarchical
models [0.0]
階層モデルを対象としたギブス試料の総変動混合時間の挙動を解析した。
2段階モデルの幅広いクラスに対するランダムなデータ生成仮定の下で収束結果を得る。
論文 参考訳(メタデータ) (2023-04-14T08:30:40Z) - Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes [23.682509357305406]
オートエンコーダとその変種は表現学習と生成モデリングにおいて最も広く使われているモデルの一つである。
ベイジアンオートエンコーダの潜在空間に完全スパースガウスプロセス先行を課す新しいスパースガウスプロセスベイジアンオートエンコーダモデルを提案する。
論文 参考訳(メタデータ) (2023-02-09T09:57:51Z) - Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo
sampling [58.14878401145309]
PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。
Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
論文 参考訳(メタデータ) (2022-05-12T11:15:47Z) - $p$-Generalized Probit Regression and Scalable Maximum Likelihood
Estimation via Sketching and Coresets [74.37849422071206]
本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。
p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
論文 参考訳(メタデータ) (2022-03-25T10:54:41Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳(メタデータ) (2021-10-20T12:25:22Z) - The Deep Generative Decoder: MAP estimation of representations improves
modeling of single-cell RNA data [0.0]
モデルパラメータと表現を直接最大後部推定(MAP)により計算する単純な生成モデルを提案する。
このアプローチの利点は、その単純さと、同等のVAEよりもはるかに小さな次元の表現を提供する能力である。
論文 参考訳(メタデータ) (2021-10-13T12:17:46Z) - Flexible Model Aggregation for Quantile Regression [92.63075261170302]
量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。
条件付き量子モデルの任意の数を集約する手法について検討する。
この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
論文 参考訳(メタデータ) (2021-02-26T23:21:16Z) - Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。
また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
論文 参考訳(メタデータ) (2021-02-08T20:08:50Z) - Multilevel Gibbs Sampling for Bayesian Regression [6.2997667081978825]
データ行列のレベル階層は、データ行列の特徴やサンプルをクラスタリングすることによって作成されます。
マルコフ連鎖の収束を改善するために, 相関試料を用いた分散還元について検討した。
スピードアップは、予測性能に大きな損失を被ることなく、ほぼすべてに対して達成される。
論文 参考訳(メタデータ) (2020-09-25T11:18:17Z) - Quadruply Stochastic Gaussian Processes [10.152838128195466]
本稿では,スケーラブルなガウス過程(GP)モデルをトレーニングするための変分推論手法を提案する。この手法は,トレーニング点数,$n$,カーネル近似で使用される数基底関数,$m$のいずれにも依存しない。
GPと関連ベクトルマシンを用いた大規模分類および回帰データセットの精度を,最大で$m = 107$の基底関数で示す。
論文 参考訳(メタデータ) (2020-06-04T17:06:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。