論文の概要: Particle-Gibbs Sampling For Bayesian Feature Allocation Models

• arxiv url: http://arxiv.org/abs/2001.09367v1
• Date: Sat, 25 Jan 2020 22:11:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 00:08:03.817471
• Title: Particle-Gibbs Sampling For Bayesian Feature Allocation Models
• Title（参考訳）: ベイズ特徴割当モデルのための粒子ギブスサンプリング
• Authors: Alexandre Bouchard-C\^ot\'e and Andrew Roth
• Abstract要約: 最も広く使われているMCMC戦略は、特徴割り当て行列のギブス更新に頼っている。 単一移動で特徴割り当て行列の全行を更新できるギブスサンプリング器を開発した。 このサンプルは、計算複雑性が特徴数で指数関数的にスケールするにつれて、多数の特徴を持つモデルにとって実用的ではない。 我々は,行ワイズギブズ更新と同じ分布を目標としたパーティクルギブズサンプルの開発を行うが,特徴数でのみ線形に増大する計算複雑性を有する。
• 参考スコア（独自算出の注目度）: 77.57285768500225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian feature allocation models are a popular tool for modelling data with a combinatorial latent structure. Exact inference in these models is generally intractable and so practitioners typically apply Markov Chain Monte Carlo (MCMC) methods for posterior inference. The most widely used MCMC strategies rely on an element wise Gibbs update of the feature allocation matrix. These element wise updates can be inefficient as features are typically strongly correlated. To overcome this problem we have developed a Gibbs sampler that can update an entire row of the feature allocation matrix in a single move. However, this sampler is impractical for models with a large number of features as the computational complexity scales exponentially in the number of features. We develop a Particle Gibbs sampler that targets the same distribution as the row wise Gibbs updates, but has computational complexity that only grows linearly in the number of features. We compare the performance of our proposed methods to the standard Gibbs sampler using synthetic data from a range of feature allocation models. Our results suggest that row wise updates using the PG methodology can significantly improve the performance of samplers for feature allocation models.
• Abstract（参考訳）: ベイジアン特徴割り当てモデルは、組合せ潜在構造を持つデータをモデル化するための一般的なツールである。 これらのモデルの厳密な推論は一般に難解であるため、実践者は一般に後部推論にマルコフ・チェイン・モンテカルロ法(MCMC)を適用する。 最も広く使われているMCMC戦略は、特徴割り当て行列のギブス更新に頼っている。 これらの要素の賢い更新は、機能は通常強く相関しているため、非効率である。 この問題を解決するために,機能割り当て行列の全行を1回の移動で更新できるGibbsサンプルラを開発した。 しかし, このサンプルは, 計算複雑性が指数関数的に増大するにつれて, 多数の特徴を持つモデルでは実用的ではない。 我々は,行ワイズギブズ更新と同じ分布を目標としたパーティクルギブズサンプルの開発を行うが,特徴数でのみ線形に増大する計算複雑性を有する。 提案手法と標準ギブスサンプリング器の性能を,特徴割り当てモデルから得られた合成データを用いて比較した。 その結果,pg法を用いて行を賢明に更新することで,機能割当モデルに対するサンプルの性能が大幅に向上することが示唆された。

関連論文リスト

• Gradients of Functions of Large Matrices [18.361820028457718]
  数値線形代数のワークホースを効率的に区別する方法を示す。 以前は知られていなかったLanczosとArnoldiのイテレーションのアジョイントシステムをJAXで実装し、結果として得られるコードがDiffraxと競合することを示す。 これらはすべて、問題固有のコードの最適化なしに実現されます。
  論文  参考訳（メタデータ） (2024-05-27T15:39:45Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Dimension-free mixing times of Gibbs samplers for Bayesian hierarchical models [0.0]
  階層モデルを対象としたギブス試料の総変動混合時間の挙動を解析した。 2段階モデルの幅広いクラスに対するランダムなデータ生成仮定の下で収束結果を得る。
  論文  参考訳（メタデータ） (2023-04-14T08:30:40Z)
• Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
  PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
  論文  参考訳（メタデータ） (2022-05-12T11:15:47Z)
• $p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets [74.37849422071206]
  本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。 p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T10:54:41Z)
• Scalable mixed-domain Gaussian process modeling and model reduction for longitudinal data [5.00301731167245]
  混合領域共分散関数に対する基底関数近似スキームを導出する。 我々は,GPモデルの精度をランタイムのごく一部で正確に近似できることを示す。 また、より小さく、より解釈可能なモデルを得るためのスケーラブルなモデルリダクションワークフローを実証する。
  論文  参考訳（メタデータ） (2021-11-03T04:47:37Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
  このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。 また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
  論文  参考訳（メタデータ） (2021-02-08T20:08:50Z)
• Multilevel Gibbs Sampling for Bayesian Regression [6.2997667081978825]
  データ行列のレベル階層は、データ行列の特徴やサンプルをクラスタリングすることによって作成されます。 マルコフ連鎖の収束を改善するために, 相関試料を用いた分散還元について検討した。 スピードアップは、予測性能に大きな損失を被ることなく、ほぼすべてに対して達成される。
  論文  参考訳（メタデータ） (2020-09-25T11:18:17Z)
• Quadruply Stochastic Gaussian Processes [10.152838128195466]
  本稿では,スケーラブルなガウス過程(GP)モデルをトレーニングするための変分推論手法を提案する。この手法は,トレーニング点数,$n$,カーネル近似で使用される数基底関数,$m$のいずれにも依存しない。 GPと関連ベクトルマシンを用いた大規模分類および回帰データセットの精度を,最大で$m = 107$の基底関数で示す。
  論文  参考訳（メタデータ） (2020-06-04T17:06:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。