論文の概要: Linear-cost unbiased posterior estimates for crossed effects and matrix factorization models via couplings

• arxiv url: http://arxiv.org/abs/2410.08939v1
• Date: Fri, 11 Oct 2024 16:05:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 21:06:06.582539
• Title: Linear-cost unbiased posterior estimates for crossed effects and matrix factorization models via couplings
• Title（参考訳）: クロスエフェクトと行列分解モデルの結合による線形コスト非バイアス後推定
• Authors: Paolo Maria Ceriani, Giacomo Zanella,
• Abstract要約: 我々はブロックされたギブスサンプルラー(BGS)のカップリングに基づくマルコフ連鎖モンテカルロスキームの設計と解析を行う。 本手法は,条件付き独立ブロックを有する高次元BGSに対して設計および適用可能である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We design and analyze unbiased Markov chain Monte Carlo (MCMC) schemes based on couplings of blocked Gibbs samplers (BGSs), whose total computational costs scale linearly with the number of parameters and data points. Our methodology is designed for and applicable to high-dimensional BGS with conditionally independent blocks, which are often encountered in Bayesian modeling. We provide bounds on the expected number of iterations needed for coalescence for Gaussian targets, which imply that practical two-step coupling strategies achieve coalescence times that match the relaxation times of the original BGS scheme up to a logarithmic factor. To illustrate the practical relevance of our methodology, we apply it to high-dimensional crossed random effect and probabilistic matrix factorization models, for which we develop a novel BGS scheme with improved convergence speed. Our methodology provides unbiased posterior estimates at linear cost (usually requiring only a few BGS iterations for problems with thousands of parameters), matching state-of-the-art procedures for both frequentist and Bayesian estimation of those models.
• Abstract（参考訳）: 我々は、ブロックされたギブスサンプリング器(BGS)の結合に基づいて、マルコフ連鎖モンテカルロ(MCMC)スキームを設計、解析し、その総計算コストはパラメータやデータポイントの数と線形にスケールする。 本手法は,条件付き独立ブロックを持つ高次元BGSに対して設計され,適用可能である。 ガウス目標に対する合理化に要する反復回数の有界性は,BGS計画の緩和時間と対数係数とを一致させる,実用的な2段階結合戦略が合理化時間を達成することを示唆している。 提案手法の実用的妥当性を説明するため,高次元交叉ランダム効果と確率行列分解モデルに適用し,収束速度を向上した新しいBGS手法を開発した。 我々の手法は線形コスト(通常は数千のパラメータを持つ問題に対して数回のBGS反復しか必要としない)でバイアスのない後続推定を提供し、それらのモデルの頻繁な推定とベイズ的推定の両方に適合する。

関連論文リスト

• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Bayesian Cramér-Rao Bound Estimation with Score-Based Models [3.4480437706804503]
  ベイジアンクラム・ラオ境界(英語版)(英: Bayesian Cram'er-Rao bound, CRB)は、任意のベイジアン推定器の平均二乗誤差に対する下界を与える。 本研究は,スコアマッチングを用いたCRBのための新しいデータ駆動推定手法を提案する。
  論文  参考訳（メタデータ） (2023-09-28T00:22:21Z)
• Joint Graph Learning and Model Fitting in Laplacian Regularized Stratified Models [5.933030735757292]
  ラプラシア正規化成層モデル(Laplacian regularized Stratified Model、LRSM)は、サブプロブレムの明示的または暗黙的なネットワーク構造を利用するモデルである。 本稿では,LRSMにおけるグラフ重みの重要性と感度を示し,その感度が任意に大きいことを示す。 本稿では,1つの最適化問題を解くことで,モデルパラメータを適合させながらグラフを共同学習する汎用的手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T06:06:29Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Support Recovery with Stochastic Gates: Theory and Application for Linear Models [9.644417971611908]
  本研究では,独立かつ同一に分布する正規誤差を持つ線形モデルにおいて,係数ベクトル(beta*$)の同時回復と推定の問題を解析する。 設計を考えると、$beta*$ $beta*$の適切な条件下では、STGベースの推定器は真のデータ生成係数ベクトルに収束し、その支持セットを高い確率で検出する。
  論文  参考訳（メタデータ） (2021-10-29T17:59:43Z)
• Spike-and-Slab Generalized Additive Models and Scalable Algorithms for High-Dimensional Data [0.0]
  本稿では,高次元データに対応するため,階層型一般化加法モデル(GAM)を提案する。 曲線の適切な縮退と滑らか化関数線型空間と非線形空間の分離に対する平滑化ペナルティを考察する。 2つの決定論的アルゴリズム、EM-Coordinate Descent と EM-Iterative Weighted Least Squares は異なるユーティリティ向けに開発された。
  論文  参考訳（メタデータ） (2021-10-27T14:11:13Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Bayesian learning of orthogonal embeddings for multi-fidelity Gaussian Processes [3.564709604457361]
  プロジェクション」マッピングは、事前未知と見なされる正則行列から成り、GPパラメータと共同で推論する必要がある。 提案するフレームワークをGPを用いたマルチ忠実度モデルに拡張し,複数の出力を同時にトレーニングするシナリオを含む。 提案手法の利点は, 産業用ガスタービン用最終段翼の3次元空力最適化に難渋するものである。
  論文  参考訳（メタデータ） (2020-08-05T22:28:53Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。