論文の概要: Surrogate Likelihoods for Variational Annealed Importance Sampling

• arxiv url: http://arxiv.org/abs/2112.12194v1
• Date: Wed, 22 Dec 2021 19:49:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-24 14:27:45.622242
• Title: Surrogate Likelihoods for Variational Annealed Importance Sampling
• Title（参考訳）: 変分焼成重要度サンプリングのためのサロゲート様相
• Authors: Martin Jankowiak, Du Phan
• Abstract要約: 我々は他の変分パラメータと共同で学習できる代理可能性を導入する。 本手法は,確率的プログラミングフレームワークにおけるブラックボックス推論に適していることを示す。
• 参考スコア（独自算出の注目度）: 11.144915453864854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational inference is a powerful paradigm for approximate Bayesian inference with a number of appealing properties, including support for model learning and data subsampling. By contrast MCMC methods like Hamiltonian Monte Carlo do not share these properties but remain attractive since, contrary to parametric methods, MCMC is asymptotically unbiased. For these reasons researchers have sought to combine the strengths of both classes of algorithms, with recent approaches coming closer to realizing this vision in practice. However, supporting data subsampling in these hybrid methods can be a challenge, a shortcoming that we address by introducing a surrogate likelihood that can be learned jointly with other variational parameters. We argue theoretically that the resulting algorithm permits the user to make an intuitive trade-off between inference fidelity and computational cost. In an extensive empirical comparison we show that our method performs well in practice and that it is well-suited for black-box inference in probabilistic programming frameworks.
• Abstract（参考訳）: 変分推論は、モデル学習やデータサブサンプリングなど、多くの魅力的な特性を持つ近似ベイズ推論の強力なパラダイムである。 対照的に、ハミルトンモンテカルロのようなMCMC法はこれらの性質を共有していないが、パラメトリック法とは対照的に、MCMCは漸近的に偏りがない。 これらの理由から、研究者は両方のアルゴリズムの強みを組み合わせようとしており、最近のアプローチはこのビジョンの実現に近づいている。 しかし、これらのハイブリッド手法でデータサブサンプリングをサポートすることは課題であり、我々は他の変動パラメータと共同で学習できるサロゲート可能性を導入することで対処する欠点である。 理論的には,提案アルゴリズムは,推論の忠実度と計算コストとの直感的なトレードオフを可能にする。 広範囲にわたる経験的比較の結果,本手法は実効性が高く,確率的プログラミングフレームワークにおけるブラックボックス推論に適していることが示された。

関連論文リスト

• Robust Inference of Dynamic Covariance Using Wishart Processes and Sequential Monte Carlo [2.6347238599620115]
  本稿では,WishartプロセスのためのSMCサンプルについて紹介する。 SMCサンプリングは, 動的共分散の最も頑健な推定と外乱予測をもたらすことを示す。 提案手法が臨床うつ病のデータセットに有効であることを示す。
  論文  参考訳（メタデータ） (2024-06-07T09:48:11Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Robust probabilistic inference via a constrained transport metric [8.85031165304586]
  我々は、パラメトリックな分布の族の近くに集中するように慎重に設計された指数関数的に傾いた経験的確に構築することで、新しい代替手段を提供する。 提案手法は,多種多様なロバストな推論問題に応用し,中心分布に付随するパラメータを推論する。 我々は,最先端の頑健なベイズ推論手法と比較した場合,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-03-17T16:10:06Z)
• Piecewise Deterministic Markov Processes for Bayesian Neural Networks [20.865775626533434]
  現代のベイズニューラルネットワーク(BNN)の推論は、しばしば変分推論処理に依存し、独立性や後部の形態に反する仮定を示唆する。 新しいPiecewise Deterministic Markov Process (PDMP) サンプリングはサブサンプリングを許容するが、サンプリングが難しい不均一なPoisson Process (IPP) モデルを導入する。 本研究はIPPからのサンプリングのための新しい汎用的かつ適応的なスライニング手法を導入し、BNNにおける推論のためのPDMPの適用をいかに加速するかを示す。
  論文  参考訳（メタデータ） (2023-02-17T06:38:16Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• Evaluating Sensitivity to the Stick-Breaking Prior in Bayesian Nonparametrics [85.31247588089686]
  変分ベイズ法はベイズモデルのパラメトリック的および非パラメトリック的側面に対して感性が得られることを示す。 ベイズ感度分析に対する変動的アプローチの理論的および経験的支援を提供する。
  論文  参考訳（メタデータ） (2021-07-08T03:40:18Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Learning the Truth From Only One Side of the Story [58.65439277460011]
  一般化線形モデルに焦点をあて、このサンプリングバイアスを調整しなければ、モデルは準最適に収束するか、あるいは最適解に収束しないかもしれないことを示す。 理論的保証を伴って適応的なアプローチを提案し、いくつかの既存手法を実証的に上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-08T18:20:28Z)
• Scaling Bayesian inference of mixed multinomial logit models to very large datasets [9.442139459221785]
  本稿では,バックプロパゲーション,自動微分,GPU加速計算を活用するアモルティファイド変分推論手法を提案する。 本研究では, 後部近似の柔軟性を高めるために, フローの正規化がいかに有効かを示す。
  論文  参考訳（メタデータ） (2020-04-11T15:30:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。