論文の概要: Automatic structured variational inference

• arxiv url: http://arxiv.org/abs/2002.00643v3
• Date: Wed, 10 Feb 2021 18:52:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-04 08:21:59.153665
• Title: Automatic structured variational inference
• Title（参考訳）: 自動構造化変分推論
• Authors: Luca Ambrogioni, Kate Lin, Emily Fertig, Sharad Vikram, Max Hinne, Dave Moore, Marcel van Gerven
• Abstract要約: 自動構造化変分推論(ASVI)を導入する。 ASVIは、構造化変動族を構築するための完全に自動化された方法である。 私たちは、ASVIは他の一般的なアプローチと比較して、パフォーマンスが明らかに改善されていることに気付きました。
• 参考スコア（独自算出の注目度）: 12.557212589634112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic variational inference offers an attractive option as a default method for differentiable probabilistic programming. However, the performance of the variational approach depends on the choice of an appropriate variational family. Here, we introduce automatic structured variational inference (ASVI), a fully automated method for constructing structured variational families, inspired by the closed-form update in conjugate Bayesian models. These convex-update families incorporate the forward pass of the input probabilistic program and can therefore capture complex statistical dependencies. Convex-update families have the same space and time complexity as the input probabilistic program and are therefore tractable for a very large family of models including both continuous and discrete variables. We validate our automatic variational method on a wide range of low- and high-dimensional inference problems. We find that ASVI provides a clear improvement in performance when compared with other popular approaches such as the mean-field approach and inverse autoregressive flows. We provide an open source implementation of ASVI in TensorFlow Probability.
• Abstract（参考訳）: 確率変動推論は、微分可能確率プログラミングのデフォルトメソッドとして魅力的な選択肢を提供する。 しかしながら、変分アプローチの性能は、適切な変分族の選択に依存する。 本稿では,共役ベイズモデルにおける閉形式更新に触発された構造的変分族構築のための完全自動化手法であるautomatic structured variational inference (asvi)を提案する。 これらの凸更新ファミリーは入力確率プログラムの前方パスを組み込んでおり、複雑な統計的依存関係を捉えることができる。 convex-updateファミリは入力確率プログラムと同じ空間と時間複雑性を持ち、従って連続変数と離散変数の両方を含む非常に大きなモデルで扱いやすい。 低次元および高次元の様々な問題に対して, 自動変分法の有効性を検証する。 平均場アプローチや逆自己回帰フローなど,他の一般的なアプローチと比較して,ASVIはパフォーマンスを著しく向上させることがわかった。 TensorFlow ProbabilityにおけるASVIのオープンソース実装を提供する。

関連論文リスト

• Nonparametric Automatic Differentiation Variational Inference with Spline Approximation [7.5620760132717795]
  複雑な構造を持つ分布に対するフレキシブルな後続近似を可能にする非パラメトリック近似法を開発した。 広く使われている非パラメトリック推論手法と比較して,提案手法は実装が容易であり,様々なデータ構造に適応する。 実験では, 複雑な後続分布の近似における提案手法の有効性を実証し, 不完全データを用いた生成モデルの性能向上を図った。
  論文  参考訳（メタデータ） (2024-03-10T20:22:06Z)
• Rethinking Variational Inference for Probabilistic Programs with Stochastic Support [23.07504711090434]
  本稿では,確率的プログラムのための新しい変分推論(VI)アプローチであるSDVI(Support Decomposition Vari Inference)を導入する。 SDVIは、プログラムを静的サポート付きサブプログラムに分割し、個別のサブガイドを自動的に作成する。 この分解は適切な変分族の構築に大いに役立ち、推論性能が大幅に向上する。
  論文  参考訳（メタデータ） (2023-11-01T15:38:51Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Training and Inference on Any-Order Autoregressive Models the Right Way [97.39464776373902]
  Any-Order Autoregressive Models (AO-ARMs) のファミリは、任意の条件付きタスクにおいてブレークスルーのパフォーマンスを示している。 我々は、AO-ARMの以前の定式化に対して行うべき重要な改善について確認する。 本手法はトラクタビリティを損なうことなく性能を向上する。
  論文  参考訳（メタデータ） (2022-05-26T18:00:02Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)
• d3p -- A Python Package for Differentially-Private Probabilistic Programming [16.91407609966877]
  我々は,差分プライバシー保証の下で,実行時の効率の良いベイズ推論のフィールド化を支援するソフトウェアパッケージd3pを提案する。 d3pは微分プライベート変分推論アルゴリズムを実装して、広範囲の確率的モデリング問題に適用可能である。
  論文  参考訳（メタデータ） (2021-03-22T08:15:58Z)
• Automatic variational inference with cascading flows [6.252236971703546]
  フォワードパスを埋め込んだ変分プログラムのファミリーを新たに提示する。 カスケードフロープログラムは、前プログラムの条件分布の間に新しく設計されたハイウェイフローアーキテクチャを介する。 我々は,一連の構造的推論問題において,新しい変分プログラムの性能を評価する。
  論文  参考訳（メタデータ） (2021-02-09T12:44:39Z)
• Conditional independence by typing [30.194205448457385]
  確率型プログラミング言語(PPL)の中心的な目標は、推論からモデリングを分離することである。 パラメータ間の条件独立(CI)関係は確率論的モデルの重要な側面である。 システム内の十分に型付けされたプログラムでは、その実装するディストリビューションは特定のCI関連性を持つことが保証されている。
  論文  参考訳（メタデータ） (2020-10-22T17:27:22Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
  PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。 本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。 このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
  論文  参考訳（メタデータ） (2020-09-29T12:50:33Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。