論文の概要: Reactive Message Passing for Scalable Bayesian Inference

• arxiv url: http://arxiv.org/abs/2112.13251v1
• Date: Sat, 25 Dec 2021 15:38:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-28 14:41:55.115295
• Title: Reactive Message Passing for Scalable Bayesian Inference
• Title（参考訳）: スケーラブルベイズ推論のためのリアクティブメッセージパッシング
• Authors: Dmitry Bagaev and Bert de Vries
• Abstract要約: スケジュールのない、堅牢でスケーラブルなメッセージパッシングベースの推論を実行するためのフレームワークとして、リアクティブメッセージパッシング(RMP)を紹介します。 RMPは、ファクタグラフのノードが接続ノードの変化にどのように反応するかを記述したリアクティブプログラミングスタイルに基づいている。 また、制約されたBethe自由エネルギーの最小化により、RMPを実現するためのJuliaパッケージであるReactiveMP.jlを提案する。
• 参考スコア（独自算出の注目度）: 5.238864474148862
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce Reactive Message Passing (RMP) as a framework for executing schedule-free, robust and scalable message passing-based inference in a factor graph representation of a probabilistic model. RMP is based on the reactive programming style that only describes how nodes in a factor graph react to changes in connected nodes. The absence of a fixed message passing schedule improves robustness, scalability and execution time of the inference procedure. We also present ReactiveMP.jl, which is a Julia package for realizing RMP through minimization of a constrained Bethe free energy. By user-defined specification of local form and factorization constraints on the variational posterior distribution, ReactiveMP.jl executes hybrid message passing algorithms including belief propagation, variational message passing, expectation propagation, and expectation maximisation update rules. Experimental results demonstrate the improved performance of ReactiveMP-based RMP in comparison to other Julia packages for Bayesian inference across a range of probabilistic models. In particular, we show that the RMP framework is able to run Bayesian inference for large-scale probabilistic state space models with hundreds of thousands of random variables on a standard laptop computer.
• Abstract（参考訳）: 確率モデルの因子グラフ表現において、スケジュールのない、堅牢でスケーラブルなメッセージパッシングベースの推論を実行するためのフレームワークとして、リアクティブメッセージパッシング(RMP)を導入する。 RMPは、ファクタグラフのノードが接続ノードの変化にどのように反応するかを記述したリアクティブプログラミングスタイルに基づいている。 固定メッセージパッシングスケジュールがないと、推論手順の堅牢性、スケーラビリティ、実行時間が向上する。 また、制約されたBethe自由エネルギーの最小化によりRMPを実現するためのJuliaパッケージであるReactiveMP.jlを提案する。 局所形式のユーザ定義と変分後分布の因子化制約により、reactivemp.jlは信念伝播、変分メッセージ通過、期待伝播、期待最大化更新ルールを含むハイブリッドメッセージパッシングアルゴリズムを実行する。 ベイズ推定のための他のJuliaパッケージと比較して,ReactiveMPベースのRMPの性能が改善したことを示す実験結果が得られた。 特に、RMPフレームワークは、標準ラップトップコンピュータ上で数十万のランダム変数を持つ大規模確率的状態空間モデルに対してベイズ推定を実行可能であることを示す。

関連論文リスト

• Simplification of Risk Averse POMDPs with Performance Guarantees [6.129902017281406]
  部分的に観測可能な領域における不確実性の下でのリスク回避意思決定は、AIの基本的問題であり、信頼性の高い自律エージェントにとって不可欠である。 この場合、値関数がリターンの条件値(CVaR)である場合、問題は部分的に観測可能なマルコフ決定プロセス(POMDP)を用いてモデル化される。 POMDPの最適解を計算することは、一般に計算的に計算可能である。 我々は,性能保証を提供しながら,値関数の評価を高速化する簡易化フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-06-05T07:05:52Z)
• Training and Inference on Any-Order Autoregressive Models the Right Way [97.39464776373902]
  Any-Order Autoregressive Models (AO-ARMs) のファミリは、任意の条件付きタスクにおいてブレークスルーのパフォーマンスを示している。 我々は、AO-ARMの以前の定式化に対して行うべき重要な改善について確認する。 本手法はトラクタビリティを損なうことなく性能を向上する。
  論文  参考訳（メタデータ） (2022-05-26T18:00:02Z)
• Distributional Gradient Boosting Machines [77.34726150561087]
  私たちのフレームワークはXGBoostとLightGBMをベースにしています。 我々は,このフレームワークが最先端の予測精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-04-02T06:32:19Z)
• GFlowNet Foundations [66.69854262276391]
  Generative Flow Networks (GFlowNets) は、多様な候補をアクティブな学習コンテキストでサンプリングする方法として導入された。 GFlowNetのさらなる理論的性質について述べる。
  論文  参考訳（メタデータ） (2021-11-17T17:59:54Z)
• A visual introduction to Gaussian Belief Propagation [22.02770204949673]
  本稿では、任意に構造化された因子グラフのノード間でメッセージを渡すことによって、近似確率推論アルゴリズムの視覚的導入を提案する。 ループ的信念伝播の特別な場合として、GBP更新はローカル情報のみに依存し、メッセージスケジュールとは独立して収束する。 我々の重要な論点は、最近のコンピューティングハードウェアのトレンドを考えると、GBPは将来の機械学習システムのためのスケーラブルな分散確率的推論フレームワークとして機能する適切な計算特性を持っているということです。
  論文  参考訳（メタデータ） (2021-07-05T22:43:27Z)
• Sparse Bayesian Learning via Stepwise Regression [1.2691047660244335]
  我々は、RMP(Relevance Matching Pursuit)と呼ばれるSBLのための座標加算アルゴリズムを提案する。 ノイズ分散パラメータがゼロになるにつれて、RMPはステップワイド回帰と驚くべき関係を示す。 ステップワイド回帰アルゴリズムの新たな保証を導き、RMPにも光を当てる。
  論文  参考訳（メタデータ） (2021-06-11T00:20:27Z)
• Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression [51.770998056563094]
  PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。 既存の最先端手法と比較してPGBMの利点を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-03T08:32:13Z)
• Efficient semidefinite-programming-based inference for binary and multi-class MRFs [83.09715052229782]
  分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。 一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
  論文  参考訳（メタデータ） (2020-12-04T15:36:29Z)
• Accelerating Metropolis-Hastings with Lightweight Inference Compilation [1.2633299843878945]
  推論コンパイル(英: Inference Compilation, lic)は、オープン・ユニバース確率型プログラミング言語において、アモータイズされた推論を実装している。 licは、ベイズネットワーク上で直接運用することを好んで、線形実行トレースのサンプリングを重要視している。 実験結果から,パラメータが少なく,ニュアンス確率変数に対するロバスト性が向上し,後続サンプリングが改善された。
  論文  参考訳（メタデータ） (2020-10-23T02:05:37Z)
• Polynomial-Time Exact MAP Inference on Discrete Models with Global Dependencies [83.05591911173332]
  ジャンクションツリーアルゴリズムは、実行時の保証と正確なMAP推論のための最も一般的な解である。 本稿では,ノードのクローン化による新たなグラフ変換手法を提案する。
  論文  参考訳（メタデータ） (2019-12-27T13:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。