論文の概要: Probabilistic Programming with Programmable Variational Inference

• arxiv url: http://arxiv.org/abs/2406.15742v1
• Date: Sat, 22 Jun 2024 05:49:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 20:45:08.382084
• Title: Probabilistic Programming with Programmable Variational Inference
• Title（参考訳）: プログラム可能な変分推論による確率計画法
• Authors: McCoy R. Becker, Alexander K. Lew, Xiaoyan Wang, Matin Ghavami, Mathieu Huot, Martin C. Rinard, Vikash K. Mansinghka,
• Abstract要約: 本稿では,構成プログラム変換に基づくPPLの変分推論を支援するための,よりモジュラーなアプローチを提案する。 我々の設計は、自動微分、密度、トレーシング、偏りのない勾配推定戦略の適用など、多くの相互作用する関心事に関するモジュラー推論を可能にする。 我々は、JAXで実装されたGen確率型プログラミングシステム(genjax.vi)の拡張として、我々のアプローチを実装し、いくつかの深い生成モデリングタスクを評価する。
• 参考スコア（独自算出の注目度）: 45.593974530502095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compared to the wide array of advanced Monte Carlo methods supported by modern probabilistic programming languages (PPLs), PPL support for variational inference (VI) is less developed: users are typically limited to a predefined selection of variational objectives and gradient estimators, which are implemented monolithically (and without formal correctness arguments) in PPL backends. In this paper, we propose a more modular approach to supporting variational inference in PPLs, based on compositional program transformation. In our approach, variational objectives are expressed as programs, that may employ first-class constructs for computing densities of and expected values under user-defined models and variational families. We then transform these programs systematically into unbiased gradient estimators for optimizing the objectives they define. Our design enables modular reasoning about many interacting concerns, including automatic differentiation, density accumulation, tracing, and the application of unbiased gradient estimation strategies. Additionally, relative to existing support for VI in PPLs, our design increases expressiveness along three axes: (1) it supports an open-ended set of user-defined variational objectives, rather than a fixed menu of options; (2) it supports a combinatorial space of gradient estimation strategies, many not automated by today's PPLs; and (3) it supports a broader class of models and variational families, because it supports constructs for approximate marginalization and normalization (previously introduced only for Monte Carlo inference). We implement our approach in an extension to the Gen probabilistic programming system (genjax.vi, implemented in JAX), and evaluate on several deep generative modeling tasks, showing minimal performance overhead vs. hand-coded implementations and performance competitive with well-established open-source PPLs.
• Abstract（参考訳）: 現代の確率的プログラミング言語 (PPL) でサポートされている高度なモンテカルロ法と比較すると、PPLは変分推論 (VI) をサポートしていない: ユーザーは通常、PPLバックエンドでモノリシックに実装される変分目的と勾配推定器の事前定義された選択に制限される。 本稿では,構成プログラム変換に基づくPPLの変分推論を支援するための,よりモジュラーなアプローチを提案する。 提案手法では,変動目的をプログラムとして表現し,ユーザが定義したモデルと変分族の下での期待値の密度の計算に一級構成を用いる。 次に、これらのプログラムを体系的に非バイアス勾配推定器に変換し、それらが定義する目的を最適化する。 我々の設計は、自動微分、密度蓄積、トレーシング、非バイアス勾配推定戦略の適用など、多くの相互作用する関心事に関するモジュラー推論を可能にする。 さらに,PPL における VI の既存サポートと比較して,その設計は3つの軸に沿った表現性の向上を図っている。(1) オプションの固定メニューではなく,ユーザ定義の変動目標のオープンなセットのサポート,(2) 現在の PPL では自動化されていない勾配推定戦略の組合せ空間のサポート,(3) 近似境界化と正規化(モンテカルロ推論のみに導入)のための構成をサポートするため,より広範なモデルと変動家族のクラスをサポートする。 我々は、Gen確率型プログラミングシステムの拡張(JAXで実装されたgenjax.vi)にアプローチを実装し、いくつかの深い生成モデリングタスクを評価し、手書き実装と比較してパフォーマンスのオーバーヘッドが最小限であり、オープンソースのPPLと競合する性能を示す。

関連論文リスト

• Optimization-Driven Adaptive Experimentation [7.948144726705323]
  実世界の実験には、バッチで遅延したフィードバック、非定常性、複数の目的と制約、そして(時には)パーソナライゼーションが含まれる。 これらの課題にプロブレム単位で対処するための適応的手法の調整は不可能であり、静的設計はデファクトスタンダードのままである。 本稿では,多種多様な目的,制約,統計的手順を柔軟に組み込む数学的プログラミングの定式化について述べる。
  論文  参考訳（メタデータ） (2024-08-08T16:29:09Z)
• Machine Learning Optimized Orthogonal Basis Piecewise Polynomial Approximation [0.9208007322096533]
  Piecewise Polynomials (PP) は、軌道計画のようないくつかの工学分野において、点の集合の形で与えられる位置プロファイルを近似するために用いられる。
  論文  参考訳（メタデータ） (2024-03-13T14:34:34Z)
• Higher-Order Generalization Bounds: Learning Deep Probabilistic Programs via PAC-Bayes Objectives [0.0]
  DPP法を用いてPAC-Bayes一般化境界をプログラムとして表現するためのフレームワークを提供する。 特に, DPP の手法は DPP 表現の構成性に基づく一般化境界の導出に有効であることを示す。 そこで本研究では,高次確率的プログラムに対する原則的学習目標について紹介する。
  論文  参考訳（メタデータ） (2022-03-30T01:14:56Z)
• Differentiable Spline Approximations [48.10988598845873]
  微分プログラミングは機械学習のスコープを大幅に強化した。 標準的な微分可能なプログラミング手法(autodiffなど)は、通常、機械学習モデルが微分可能であることを要求する。 この再設計されたヤコビアンを予測モデルにおける微分可能な「層」の形で活用することで、多様なアプリケーションの性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-10-04T16:04:46Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• Scalable Control Variates for Monte Carlo Methods via Stochastic Optimization [62.47170258504037]
  本稿では,制御,カーネル,ニューラルネットワークを用いた既存のアプローチを包含し,一般化するフレームワークを提案する。 新たな理論的結果は、達成可能な分散還元に関する洞察を与えるために提示され、ベイズ推定への応用を含む経験的評価が支持される。
  論文  参考訳（メタデータ） (2020-06-12T22:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。