論文の概要: Accelerating Metropolis-Hastings with Lightweight Inference Compilation

• arxiv url: http://arxiv.org/abs/2010.12128v1
• Date: Fri, 23 Oct 2020 02:05:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 21:51:22.185380
• Title: Accelerating Metropolis-Hastings with Lightweight Inference Compilation
• Title（参考訳）: 軽量推論コンパイルによるメトロポリスハスティングの高速化
• Authors: Feynman Liang, Nimar Arora, Nazanin Tehrani, Yucen Li, Michael Tingley, Erik Meijer
• Abstract要約: 推論コンパイル(英: Inference Compilation, lic)は、オープン・ユニバース確率型プログラミング言語において、アモータイズされた推論を実装している。 licは、ベイズネットワーク上で直接運用することを好んで、線形実行トレースのサンプリングを重要視している。 実験結果から,パラメータが少なく,ニュアンス確率変数に対するロバスト性が向上し,後続サンプリングが改善された。
• 参考スコア（独自算出の注目度）: 1.2633299843878945
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In order to construct accurate proposers for Metropolis-Hastings Markov Chain Monte Carlo, we integrate ideas from probabilistic graphical models and neural networks in an open-source framework we call Lightweight Inference Compilation (LIC). LIC implements amortized inference within an open-universe declarative probabilistic programming language (PPL). Graph neural networks are used to parameterize proposal distributions as functions of Markov blankets, which during "compilation" are optimized to approximate single-site Gibbs sampling distributions. Unlike prior work in inference compilation (IC), LIC forgoes importance sampling of linear execution traces in favor of operating directly on Bayesian networks. Through using a declarative PPL, the Markov blankets of nodes (which may be non-static) are queried at inference-time to produce proposers Experimental results show LIC can produce proposers which have less parameters, greater robustness to nuisance random variables, and improved posterior sampling in a Bayesian logistic regression and $n$-schools inference application.
• Abstract（参考訳）: metropolis-hastings markov chain monte carloの正確な提案器を構築するために、確率的グラフィカルモデルとニューラルネットワークのアイデアを、私たちがlightweight inference compilation(lic)と呼ぶオープンソースフレームワークに統合します。 licはopen-universe declarative probabilistic programming language (ppl) でamortized inferenceを実装している。 グラフニューラルネットワークは、マルコフブランケットの関数として提案分布をパラメータ化するために使用され、"コンパイル"中にシングルサイトギブスサンプリング分布を近似するように最適化される。 従来の推論コンパイル(IC)とは異なり、licはベイズネットワーク上で直接動作することを優先して線形実行トレースのサンプリングを重要視していた。 宣言型PLPを用いて、ノードのマルコフ毛布(静的ではないかもしれない)を推論時にクエリしてプロポーラを生成する実験結果により、licはパラメータが少なく、ニュアンス確率変数に対するロバスト性が高く、ベイジアンロジスティック回帰および$n$schools推論アプリケーションで後続サンプリングを改善することができることを示した。

関連論文リスト

• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• ReCAB-VAE: Gumbel-Softmax Variational Inference Based on Analytic Divergence [17.665255113864795]
  緩和されたカテゴリー分布のクルバック・リーブラー発散(KLD)の上界に対応する新しい発散型計量について述べる。 また、連続表現と緩和表現の両方をうまくモデル化できる緩和された分類的有界変分オートエンコーダ(ReCAB-VAE)を提案する。
  論文  参考訳（メタデータ） (2022-05-09T08:11:46Z)
• Distributional Gradient Boosting Machines [77.34726150561087]
  私たちのフレームワークはXGBoostとLightGBMをベースにしています。 我々は,このフレームワークが最先端の予測精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-04-02T06:32:19Z)
• A deep learning based surrogate model for stochastic simulators [0.0]
  シミュレータのための深層学習に基づく代理モデルを提案する。 我々は損失関数として条件付き最大平均誤差(CMMD)を利用する。 その結果,提案手法の優れた性能が得られた。
  論文  参考訳（メタデータ） (2021-10-24T11:38:47Z)
• Sequential Likelihood-Free Inference with Implicit Surrogate Proposal [24.20924279100816]
  本稿では,さらにサンプル効率のよい累積データセットを生成するために,ISP(Inlicit Surrogate Proposal)を提案する。 ISPは、フィードフォワード方式でi.i.dサンプルを描画することで、最も多様な方法で累積データセットを構築する。 ISPは,マルチモーダル後部シミュレーションにおいて,ベースライン推論アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-15T08:59:23Z)
• Implicit Distributional Reinforcement Learning [61.166030238490634]
  2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。 我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
  論文  参考訳（メタデータ） (2020-07-13T02:52:18Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)
• Distributionally Robust Chance Constrained Programming with Generative Adversarial Networks (GANs) [0.0]
  GAN(Generative Adversarial Network)をベースとしたデータ駆動型分散ロバストな制約付きプログラミングフレームワークを提案する。 非パラメトリックかつ教師なしの方法で、歴史的データから分布情報を完全抽出するために、GANを適用する。 提案手法は需要不確実性の下でサプライチェーン最適化に適用される。
  論文  参考訳（メタデータ） (2020-02-28T00:05:22Z)
• Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
  FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。 我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
  論文  参考訳（メタデータ） (2019-12-30T17:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。