論文の概要: Stochastically Differentiable Probabilistic Programs

• arxiv url: http://arxiv.org/abs/2003.00704v2
• Date: Thu, 5 Mar 2020 14:06:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 04:21:29.093797
• Title: Stochastically Differentiable Probabilistic Programs
• Title（参考訳）: 確率微分可能確率プログラム
• Authors: David Tolpin, Yuan Zhou, Hongseok Yang
• Abstract要約: 離散確率変数の存在は、多くの基本的な勾配に基づく推論エンジンを禁止している。 我々はマルコフ・チェイン・モンテカルロのアルゴリズム群を用いて,このようなプログラムにおいて推論を効率的かつ堅牢に実行するための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 18.971852464650144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Probabilistic programs with mixed support (both continuous and discrete latent random variables) commonly appear in many probabilistic programming systems (PPSs). However, the existence of the discrete random variables prohibits many basic gradient-based inference engines, which makes the inference procedure on such models particularly challenging. Existing PPSs either require the user to manually marginalize out the discrete variables or to perform a composing inference by running inference separately on discrete and continuous variables. The former is infeasible in most cases whereas the latter has some fundamental shortcomings. We present a novel approach to run inference efficiently and robustly in such programs using stochastic gradient Markov Chain Monte Carlo family of algorithms. We compare our stochastic gradient-based inference algorithm against conventional baselines in several important cases of probabilistic programs with mixed support, and demonstrate that it outperforms existing composing inference baselines and works almost as well as inference in marginalized versions of the programs, but with less programming effort and at a lower computation cost.
• Abstract（参考訳）: 多くの確率的プログラミングシステム(PPS)において、混合サポート(連続変数と離散確率変数の両方)を持つ確率的プログラムが一般的に現れる。 しかし、離散確率変数の存在は、多くの基本的な勾配に基づく推論エンジンを禁止しており、そのようなモデルでの推論手順は特に困難である。 既存のPSは、ユーザが手動で個別変数を疎外するか、個別変数と連続変数を別々に推論することで構成推論を実行する必要がある。 前者はほとんどの場合不可能であるが、後者には根本的な欠点がある。 本稿では,確率勾配マルコフ連鎖モンテカルロ系アルゴリズムを用いたプログラムにおいて,効率的かつロバストな推論手法を提案する。 確率的勾配に基づく推論アルゴリズムを,混合サポートを持つ確率的プログラムのいくつかの重要なケースにおいて従来のベースラインと比較し,既存の構成的推論ベースラインよりも優れており,プログラムの辺縁化バージョンでの推論と同様に動作することを示した。

関連論文リスト

• Numerical Methods for Convex Multistage Stochastic Optimization [86.45244607927732]
  最適化プログラミング(SP)、最適制御(SOC)、決定プロセス(MDP)に焦点を当てる。 凸多段マルコフ問題の解決の最近の進歩は、動的プログラミング方程式のコスト対ゴー関数の切断面近似に基づいている。 切削平面型法は多段階問題を多段階的に扱えるが、状態(決定)変数は比較的少ない。
  論文  参考訳（メタデータ） (2023-03-28T01:30:40Z)
• $\omega$PAP Spaces: Reasoning Denotationally About Higher-Order, Recursive Probabilistic and Differentiable Programs [64.25762042361839]
  $omega$PAP 空間は表現的微分可能および確率的プログラミング言語についての推論のための空間である。 我々の意味論は、最も実践的な確率的で微分可能なプログラムに意味を割り当てるのに十分である。 確率プログラムのトレース密度関数のほぼすべての微分可能性を確立する。
  論文  参考訳（メタデータ） (2023-02-21T12:50:05Z)
• Training and Inference on Any-Order Autoregressive Models the Right Way [97.39464776373902]
  Any-Order Autoregressive Models (AO-ARMs) のファミリは、任意の条件付きタスクにおいてブレークスルーのパフォーマンスを示している。 我々は、AO-ARMの以前の定式化に対して行うべき重要な改善について確認する。 本手法はトラクタビリティを損なうことなく性能を向上する。
  論文  参考訳（メタデータ） (2022-05-26T18:00:02Z)
• Program Analysis of Probabilistic Programs [3.299672391663527]
  プログラム解析を用いて確率的プログラミングを改善するための3つの新しい手法を提案する。 このテクニックは確率的プログラムを分析し、推論をより効率的にするためにそれを適用する。
  論文  参考訳（メタデータ） (2022-04-14T10:40:54Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• flip-hoisting: Exploiting Repeated Parameters in Discrete Probabilistic Programs [25.320181572646135]
  本稿では、離散確率的プログラムにおいて繰り返しパラメータを分解し、推論性能を向上させるプログラム解析とそれに伴う最適化について述べる。 既存の確率型プログラミング言語でフリップホスティングを実装し,推論性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-10-19T22:04:26Z)
• Bias-Variance Tradeoffs in Single-Sample Binary Gradient Estimators [100.58924375509659]
  ストレートスルー (ST) 推定器はその単純さと効率性から人気を得た。 計算の複雑さを低く保ちながら、STよりも改善するいくつかの手法が提案された。 我々は、トレードオフを理解し、元来主張された特性を検証するために、これらの手法のバイアスとばらつきの理論解析を行う。
  論文  参考訳（メタデータ） (2021-10-07T15:16:07Z)
• Generating Random Logic Programs Using Constraint Programming [12.47276164048813]
  本稿では,制約プログラミングを用いてランダムな論理プログラムを生成する手法を提案する。 モデルがパラメータ値とどのようにスケールするかを示し、そのモデルを用いて確率的推論アルゴリズムを様々な合成問題で比較する。
  論文  参考訳（メタデータ） (2020-06-02T19:12:53Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)
• Stochastic Probabilistic Programs [1.90365714903665]
  本稿では,確率的プログラムの概念を導入し,プログラムの仕様と推論を支援する確率的プログラミング施設のリファレンス実装を提案する。 確率プログラムのいくつかの例を示し、モデル仕様と推論の観点から、決定論的確率プログラムと対応する決定論的確率プログラムを比較した。
  論文  参考訳（メタデータ） (2020-01-08T17:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。