論文の概要: Conditional independence by typing
- arxiv url: http://arxiv.org/abs/2010.11887v2
- Date: Fri, 18 Feb 2022 14:19:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 06:14:17.800214
- Title: Conditional independence by typing
- Title（参考訳）: タイピングによる条件独立
- Authors: Maria I. Gorinova, Andrew D. Gordon, Charles Sutton, Matthijs
V\'ak\'ar
- Abstract要約: 確率型プログラミング言語(PPL)の中心的な目標は、推論からモデリングを分離することである。
パラメータ間の条件独立(CI)関係は確率論的モデルの重要な側面である。
システム内の十分に型付けされたプログラムでは、その実装するディストリビューションは特定のCI関連性を持つことが保証されている。
- 参考スコア（独自算出の注目度）: 30.194205448457385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A central goal of probabilistic programming languages (PPLs) is to separate
modelling from inference. However, this goal is hard to achieve in practice.
Users are often forced to re-write their models in order to improve efficiency
of inference or meet restrictions imposed by the PPL. Conditional independence
(CI) relationships among parameters are a crucial aspect of probabilistic
models that capture a qualitative summary of the specified model and can
facilitate more efficient inference. We present an information flow type system
for probabilistic programming that captures conditional independence (CI)
relationships, and show that, for a well-typed program in our system, the
distribution it implements is guaranteed to have certain CI-relationships.
Further, by using type inference, we can statically deduce which CI-properties
are present in a specified model. As a practical application, we consider the
problem of how to perform inference on models with mixed discrete and
continuous parameters. Inference on such models is challenging in many existing
PPLs, but can be improved through a workaround, where the discrete parameters
are used implicitly, at the expense of manual model re-writing. We present a
source-to-source semantics-preserving transformation, which uses our CI-type
system to automate this workaround by eliminating the discrete parameters from
a probabilistic program. The resulting program can be seen as a hybrid
inference algorithm on the original program, where continuous parameters can be
drawn using efficient gradient-based inference methods, while the discrete
parameters are inferred using variable elimination. We implement our CI-type
system and its example application in SlicStan: a compositional variant of
Stan.
- Abstract（参考訳）: 確率型プログラミング言語(PPL)の中心的な目標は、推論からモデリングを分離することである。
しかし、この目標を実際に達成することは困難である。
ユーザはしばしば、推論の効率を改善したり、PPLが課した制限を満たすために、モデルを書き換えざるを得ない。
パラメータ間の条件独立性(CI)関係は、特定のモデルの質的な要約をキャプチャし、より効率的な推論を容易にする確率モデルの重要な側面である。
本稿では,条件付き独立性(CI)関係をキャプチャする確率型プログラミングのための情報フロー型システムを提案する。
さらに、型推論を用いることで、指定されたモデルにどのCIプロパティが存在するかを静的に推定することができる。
実用的応用として,離散パラメータと連続パラメータを混合したモデル上での推論を行う方法について検討する。
このようなモデルの推論は、既存のpplの多くでは難しいが、手動モデルの再書き込みを犠牲にして、離散パラメータが暗黙的に使用されるような回避策によって改善することができる。
確率的プログラムから離散パラメータを取り除き,ci型システムを用いてこの回避策を自動化した,ソース対ソースセマンティクス保存変換を提案する。
結果として得られたプログラムは、効率的な勾配に基づく推論手法を用いて連続パラメータを描画し、離散パラメータは変数除去を用いて推論できる、元のプログラム上のハイブリッド推論アルゴリズムと見なすことができる。
我々は,CI型システムとそのサンプルアプリケーションをSlicStan(Stanの合成変種)に実装した。
関連論文リスト
- Correct-by-Construction Control for Stochastic and Uncertain Dynamical
Models via Formal Abstractions [44.99833362998488]
我々は、様々なモデリングの前提の下でこの問題を解決するために使用できる抽象フレームワークを開発する。
我々は、与えられた仕様を満たすための保証とともに、iMDPの最適ポリシーを計算するために最先端の検証技術を使用します。
そして、このポリシーを構築によって、これらの保証が動的モデルに受け継がれるフィードバックコントローラに改良できることを示します。
論文 参考訳（メタデータ） (2023-11-16T11:03:54Z) - Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である
DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文 参考訳（メタデータ） (2023-11-01T12:17:05Z) - Variable Importance Matching for Causal Inference [73.25504313552516]
これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。
Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。
LASSO を用いて Model-to-Match フレームワークを運用する。
論文 参考訳（メタデータ） (2023-02-23T00:43:03Z) - Training and Inference on Any-Order Autoregressive Models the Right Way [97.39464776373902]
Any-Order Autoregressive Models (AO-ARMs) のファミリは、任意の条件付きタスクにおいてブレークスルーのパフォーマンスを示している。
我々は、AO-ARMの以前の定式化に対して行うべき重要な改善について確認する。
本手法はトラクタビリティを損なうことなく性能を向上する。
論文 参考訳（メタデータ） (2022-05-26T18:00:02Z) - d3p -- A Python Package for Differentially-Private Probabilistic
Programming [16.91407609966877]
我々は,差分プライバシー保証の下で,実行時の効率の良いベイズ推論のフィールド化を支援するソフトウェアパッケージd3pを提案する。
d3pは微分プライベート変分推論アルゴリズムを実装して、広範囲の確率的モデリング問題に適用可能である。
論文 参考訳（メタデータ） (2021-03-22T08:15:58Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳（メタデータ） (2020-10-24T07:01:24Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳（メタデータ） (2020-10-22T05:04:38Z) - Deep Conditional Transformation Models [0.0]
特徴集合上の結果変数条件の累積分布関数(CDF)を学習することは依然として困難である。
条件変換モデルは、条件付きCDFの大規模なクラスをモデル化できる半パラメトリックなアプローチを提供する。
我々は,新しいネットワークアーキテクチャを提案し,異なるモデル定義の詳細を提供し,適切な制約を導出する。
論文 参考訳（メタデータ） (2020-10-15T16:25:45Z) - Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。
連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文 参考訳（メタデータ） (2020-07-11T19:44:09Z) - Automatic structured variational inference [12.557212589634112]
自動構造化変分推論(ASVI)を導入する。
ASVIは、構造化変動族を構築するための完全に自動化された方法である。
私たちは、ASVIは他の一般的なアプローチと比較して、パフォーマンスが明らかに改善されていることに気付きました。
論文 参考訳（メタデータ） (2020-02-03T10:52:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。