論文の概要、ライセンス

# (参考訳) 期待プログラミング [全文訳有]

Expectation Programming ( http://arxiv.org/abs/2106.04953v1 )

ライセンス: CC BY 4.0
Tim Reichelt, Adam Goli\'nski, Luke Ong, Tom Rainforth(参考訳) 確率的プログラミングのアイデアに基づいて,期待の計算を自動化する予測プログラミングフレームワーク(EPF)の概念を導入する。 確率的プログラムに類似して、予測プログラムは確率的構成と変数上の条件分布を定義する決定論的計算の混合からなる。 しかし、EPFにおける推論エンジンの焦点は、条件分布自体を近似するのではなく、プログラムの戻り値の期待結果を直接見積もることである。 この区別により、私たちが関心を持っている正確な期待に合わせた推論をすることで、標準的な確率的プログラミングパイプラインよりも大幅にパフォーマンスが向上します。 確率型プログラミング言語 Turing を拡張して,EPF の概念の特定のインスタンス化を実現し,いわゆるターゲット認識推論を自動実行可能にする。

Building on ideas from probabilistic programming, we introduce the concept of an expectation programming framework (EPF) that automates the calculation of expectations. Analogous to a probabilistic program, an expectation program is comprised of a mix of probabilistic constructs and deterministic calculations that define a conditional distribution over its variables. However, the focus of the inference engine in an EPF is to directly estimate the resulting expectation of the program return values, rather than approximate the conditional distribution itself. This distinction allows us to achieve substantial performance improvements over the standard probabilistic programming pipeline by tailoring the inference to the precise expectation we care about. We realize a particular instantiation of our EPF concept by extending the probabilistic programming language Turing to allow so-called target-aware inference to be run automatically, and show that this leads to significant empirical gains compared to conventional posterior-based inference.
公開日: Wed, 9 Jun 2021 09:57:18 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
1 2 0 2 n u J 1 2 0 2 n u J 0.85
9 ] G L . 9 ] G L。 0.81
s c [ 1 v 3 5 9 4 0 sc [ 1 v 3 5 9 4 0 0.68
. 6 0 1 2 : v i X r a . 6 0 1 2 : v i X r a 0.85
Expectation Programming Tim Reichelt1, 2 期待プログラミング Tim Reichelt1, 2 0.86
Adam Goli´nski1 アダム・ゴリ(Adam Goli) 0.30
Luke Ong2 Tom Rainforth1 ルークオング2 Tom Rainforth1 0.67
1 Department of Statistics, University of Oxford オックスフォード大学統計学1科 0.55
2 Department of Computer Science, University of Oxford オックスフォード大学計算機科学科2科 0.59
Abstract Building on ideas from probabilistic programming, we introduce the concept of an expectation programming framework (EPF) that automates the calculation of expectations. 概要 確率的プログラミングのアイデアに基づいて,期待の計算を自動化する予測プログラミングフレームワーク(EPF)の概念を導入する。 0.62
Analogous to a probabilistic program, an expectation program is comprised of a mix of probabilistic constructs and deterministic calculations that define a conditional distribution over its variables. 確率的プログラムに類似して、予測プログラムは確率的構成と変数上の条件分布を定義する決定論的計算の混合からなる。 0.83
However, the focus of the inference engine in an EPF is to directly estimate the resulting expectation of the program return values, rather than approximate the conditional distribution itself. しかし、EPFにおける推論エンジンの焦点は、条件分布自体を近似するのではなく、プログラムの戻り値の期待結果を直接見積もることである。 0.76
This distinction allows us to achieve substantial performance improvements over the standard probabilistic programming pipeline by tailoring the inference to the precise expectation we care about. この区別により、私たちが関心を持っている正確な期待に合わせた推論をすることで、標準的な確率的プログラミングパイプラインよりも大幅にパフォーマンスが向上します。
訳抜け防止モード: この区別により、標準的な確率的プログラミングパイプラインよりも大幅にパフォーマンスが向上します。 推測を我々が気にする 正確な予想に合わせること
0.70
We realize a particular instantiation of our EPF concept by extending the probabilistic programming language Turing to allow so-called target-aware inference to be run automatically, and show that this leads to significant empirical gains compared to conventional posterior-based inference. 確率型プログラミング言語 Turing を拡張して,EPF の概念の特定のインスタンス化を実現し,いわゆるターゲット認識推論を自動実行可能にする。
訳抜け防止モード: 確率型プログラミング言語 Turing を拡張して,EPF の概念の特定インスタンス化を実現している。 -ターゲットと呼ばれる 推論を自動で実行し これは、従来の-ベース推論と比較して、大きな経験的利益をもたらす。
0.68
1 Introduction Calculating expectations is at the center of many scientific workflows. 1 はじめに 期待の計算は多くの科学的なワークフローの中心にある。 0.69
For example, the decision theoretic foundations of most statistical paradigms, e g Bayesian modeling, are rooted in calculating the expectation of a loss function [1]. 例えば、統計パラダイム(例えばベイズモデリング)の決定論の基礎は、損失関数 [1] の期待値を計算することに根ざしている。 0.74
Moreover, these expectations are often taken with respect to distributions that require inference to draw samples from or evaluate the density of. さらに、これらの期待は、サンプルを引いたり、密度を評価するために推論を必要とする分布に関してしばしば取られる。 0.68
One such context is probabilistic programming [2, 3]. そのような文脈の1つは確率的プログラミング[2, 3]です。 0.64
Here our program is typically specified (often indirectly) through an unnormalized density γ(x). ここで、我々のプログラムは典型的には(しばしば間接的に)非正規化密度 γ(x) で指定される。 0.65
The role of system’s inference engine is now to approximate the distribution specified by the normalized density π(x) = γ(x)/Z, where Z is an unknown normalizing constant. システム推論エンジンの役割は、z が未知の正規化定数である正規化密度 π(x) = γ(x)/z によって指定された分布を近似することである。 0.85
Here the standard pipeline to calculate some expectation Eπ(x)[f (x)] is to construct such an approximation ˆπ(x) independently of f (x), before using this approximation to, in turn, estimate the expectation. ここで、ある期待値 Eπ(x)[f(x)] を計算するための標準的なパイプラインは、この近似を用いて予想値を推定する前に、f(x) とは独立にそのような近似を構成することである。 0.82
Sometimes f (x) is not yet known at the point of inference, such that this pipeline is inevitable. f (x) が推論の時点でまだ分かっていない場合もあり、このパイプラインは避けられない。 0.70
However, if f (x) is known upfront, then we can improve on this pipeline [4–13]. しかし、もし f (x) が事前に知られているなら、このパイプライン [4–13] で改善できる。 0.79
In particular, substantial gains can be achieved by using information in f (x) to construct target-aware Bayesian inference (TABI) estimators directly geared towards the target expectation [14, 15]. 特に、f(x) の情報を用いて、目標期待 [14, 15] に直接向けられた目標認識ベイズ推論(tabi)推定器を構築することで、実質的な利益を得ることができる。 0.70
At the moment, none of the contemporary probabilistic programming languages (PPL) (e g [16–30]) allow one to explicitly incorporate the function f (x) into their inference calculations for a given program. 現時点では、現代の確率的プログラミング言語(ppl)(例:16–30])では、与えられたプログラムの推論計算に関数 f (x) を明示的に組み込むことはできない。 0.80
Namely, they all implicitly rely on the standard pipeline of approximating π(x) and then separately using this approximation in turn to estimate expectations. すなわち、それぞれがπ(x) を近似する標準的なパイプラインに暗黙的に依存し、予測を推定するためにこの近似を別々に使用する。 0.73
As such, no existing PPLs currently automate the estimation of expectations in a target-aware fashion. そのため、既存のPPLは、現在、目標を意識した予測を自動化していない。 0.49
To address this, we introduce, and formalize, the concept of an expectation programming framework (EPF): a framework that allows users to easily define expectations directly, and then automate their estimation using target-aware inference algorithms. これに対処するために、私たちは、期待プログラミングフレームワーク(epf)の概念を紹介し、形式化します。これは、ユーザが期待を直接定義し、ターゲットを認識した推論アルゴリズムを使って見積もりを自動化するフレームワークです。
訳抜け防止モード: これに対処する。 我々は、期待プログラミングフレームワーク(EPF)の概念を導入し、形式化する。 ユーザは期待を直接定義し、ターゲット - 認識された推論アルゴリズムを使って見積を自動化することができる。
0.70
In a manner analogous to how PPLs can be viewed as tools for assisting and automating the process of approximate Bayesian inference, EPFs PPLを近似ベイズ推論(EPF)のプロセスの支援と自動化のツールとみなす方法に類似した方法で 0.73
英語(論文から抽出)日本語訳スコア
assist and automate the estimation of conditional expectations. 条件付き予測の見積もりを 支援し 自動化します 0.73
They further provide a convenient and expressive mechanism for expressing such problems in a programmatic manner. さらに、このような問題をプログラム的に表現する便利な表現機構を提供する。 0.75
To demonstrate this, we further introduce a specific implementation of an EPF, called EPT (Expectation Programming in Turing), built upon the Turing PPL [19]. これを実証するために,チューリングPL [19] 上に構築されたEPF(Expectation Programming in Turing)と呼ばれるEPFの実装についても紹介する。 0.81
EPT takes as input a Turing-style program and uses program transformations to create a new set of three valid Turing programs that can be used to construct target-aware estimators via the TABI approach of [15]. EPTはチューリングスタイルのプログラムを入力として、[15]のTABIアプローチを通じてターゲット認識推定器を構築するのに使用できる3つの有効なチューリングプログラムのセットを作成するために、プログラム変換を使用する。 0.69
Estimates are generated for these new programs separately, before being recombined into an overall estimate. これらの新しいプログラムの見積もりは、全体見積に再結合する前に、別々に生成される。 0.64
As the transformations result in valid Turing programs, we can repurpose any native Turing inference algorithm that provides a marginal likelihood estimate into a target-aware inference strategy. 変換が有効なチューリングプログラムとなると、最小推定値を与える任意のネイティブチューリング推論アルゴリズムをターゲット認識推論戦略に再利用することができる。 0.67
To fully realize the potential of EPT, we further implement an annealed importance sampling (AnIS) [31] inference engine for Turing. eptの可能性を完全に実現するために、チューリングのためのアニール化重要サンプリング(anis)[31]推論エンジンをさらに実装する。 0.60
This allows for effective marginal likelihood estimation in a much wider array of problems than Turing’s previous support inference strategies. これにより、チューリングの以前のサポート推論戦略よりもはるかに広い範囲の問題を効果的に辺縁推定することができる。 0.61
Using this, we show that EPT can be used to express and run effective inference for a number of problems, finding that it produces empirical estimates that are significantly more accurate than conventional usage of Turing. これを用いて,多くの問題に対して効率的な推論を表現し,実行するためにEPTを用いることで,従来のチューリング法よりもはるかに精度の高い経験的推定値が得られることを示す。 0.74
We further confirm the statistical soundness of EPT theoretically, showing that it produces consistent estimates under nominal assumptions. さらに、理論的にETPの統計的健全性を確認し、定性的な仮定の下で一貫した推定を行うことを示す。 0.53
2 Background and Preliminaries We are concerned with computing expectation of the form Eπ(x)[f (x)] where f (x) is known, but π(x) cannot be directly evaluated or sampled from. 2 背景と予備として、f(x) が知られている eπ(x)[f(x)] という形式の期待値を計算することに関心があるが、π(x) は直接評価もサンプリングもできない。 0.77
Namely, π(x) = γ(x)/Z where γ(x) is a known unnormalized distribution, but Z is an unknown normalization constant (also sometimes referred to as the marginal likelihood). すなわち、π(x) = γ(x)/Z であって、γ(x) は既知の非正規化分布であるが、Z は未知の正規化定数である(余剰確率とも呼ばれる)。 0.80
The standard approach to estimating Eπ(x)[f (x)] is to first approximate π(x) (e g with Monte Carlo samples) and then, in turn, use this to approximate the expectation. eπ(x)[f(x)] を推定するための標準的なアプローチは、まず π(x) を近似し(モンテカルロサンプルの場合など)、次にこれを期待値の近似に利用する。 0.76
2.1 Target-Aware Bayesian Inference 2.1 ターゲット対応ベイズ推論 0.61
Unfortunately, this standard pipeline ignores information about f and is therefore suboptimal if this information is available at inference time [14]. 残念なことに、この標準パイプラインはfに関する情報を無視しており、[14] でこの情報が利用可能であれば最適ではない。 0.56
The recently proposed Target-Aware Bayesian Inference (TABI) framework of [15] provides a means of getting around this by directly creating an estimator for Eπ(x)[f (x)] that incorporates relevant information in f. It does this by breaking down the expectation into three parts: 最近提案された [15] の Target-Aware Bayesian Inference (TABI) フレームワークは、f に関連情報を組み込んだ Eπ(x)[f(x)] の推定器を直接作成することで、この問題を回避する手段を提供する。
訳抜け防止モード: 最近提案された [ 15 ] の Target - Aware Bayesian Inference ( TABI ) フレームワークは、Eπ(x)[f ( x ) ] の推定器を直接作成することで、この問題を回避する手段を提供する。 fに関連情報を組み込む これは、期待を3つに分割することで実現している。
0.73
Eπ(x)[f (x)] = (Z + Eπ(x)[f(x)] = (Z +) 0.83
1 − Z− 1 )/Z2 1 − Z− 1 )/Z2 0.86
(cid:90) γ(x)f +(x)dx, Z− (cid:90) γ(x)f +(x)dx, Z− 0.85
1 = f +(x) = max(f (x), 0), 1 = f +(x) = max(f(x), 0) である。 0.85
γ(x)f−(x)dx, Z2 = f−(x) = − min(f (x), 0). γ(x)f−(x)dx, z2 = f−(x) = − min(f(x), 0) である。 0.94
where Z + 1 = どこに Z+ 1 = 0.78
(cid:90) (cid:90) (cid:90) (cid:90) 0.78
(1) γ(x)dx, (1) γ(x)dx, 0.85
1 − ˆZ− 1 )/ ˆZ2. 1 − Z− 1)/z2。 0.82
1 (x) ∝ γ(x)f +(x), γ− 1 (x) ] γ(x)f +(x), γ− 0.84
To estimate the original expectation one separately estimates each term and then recombines these estimates to an overall estimator as Eπ(x)[f (x)] ≈ ( ˆZ + Critically, each individual term can often be estimated more accurately in isolation than the original expectation. 元の予想を推定するために、各項を別々に推定し、これらの推定値を全体推定子に再結合する。
訳抜け防止モード: 元の予想を推定するために、各項を別々に推定し、それからこれらの推定値を全体推定子に再結合する。 + 批判的に、個々の項は元の予想よりも正確に独立に推定できることが多い。
0.62
To see this, first note that the three subcomponents can be seen as the normalization 1 (x) ∝ γ(x)f−(x), and γ2(x) = γ(x) constants of the three densities γ+ respectively. これを見るためには、3つの部分成分はそれぞれ正規化 1 (x) = γ(x)f−(x) であり、3つの密度 γ+ のγ2(x) = γ(x) 定数である。 0.77
The TABI framework now allows us to define a separate estimator tailored to each of these problems. TABIフレームワークにより、これらの問題に合わせた別の推定器を定義することができます。
訳抜け防止モード: TABIフレームワークが利用可能になった それぞれの問題に合わせて 個別の推定器を定義します
0.67
For example, in an importance sampling context we can use distinct proposals designed to be as accurate as possible for each. 例えば、重要なサンプリングコンテキストでは、それぞれに可能な限り正確であるように設計された異なる提案を使用できる。 0.71
By contrast, targeting the original expectation directly with a single sampler is implicitly using the same proposal for each component and this proposal cannot simultaneously be optimal for all of them. 対照的に、元の期待を単一のサンプルで直接ターゲットすることは、各コンポーネントに対して同じ提案を暗黙的に使用しており、この提案はすべてのコンポーネントに対して同時に最適化できない。
訳抜け防止モード: 対照的に、元の期待を単一サンプルで直接ターゲットする それぞれのコンポーネントに同じ提案を 暗黙的に使っていて この提案は 同時に すべてに最適とは言えません
0.86
More generally, the TABI framework allows us to repurpose any algorithm which provides estimates of the normalization constant into a target-aware inference algorithm separately applying it to each of γ+ TABI’s most significant theoretical property is that it can achieve an arbitrarily low error for any fixed sample budget (≥ 3). より一般に、tabiフレームワークにより、γ+ tabi の最も重要な理論特性に別々に適用する目標認識推論アルゴリズムに正規化定数の見積もりを提供する任意のアルゴリズムを再利用することができ、任意の固定されたサンプル予算 (≥ 3) に対して任意に低い誤差を達成できる。 0.84
This is in stark contrast to standard approaches such as self-normalized importance sampling (SNIS) or Markov Chain Monte Carlo (MCMC); their expected error is lower bounded, even when using an optimal proposal/sampler. これは、自己正規化重要度サンプリング (snis) やマルコフ連鎖モンテカルロ (mcmc) のような標準的なアプローチとは全く対照的であり、最適な提案/サンプルを使用する場合でも、期待誤差は低い。 0.72
[15] further show that TABI methods can provide substantial empirical gains in practice, often even outperforming theoretically optimal traditional estimators, with gains increasing with the degree of mismatch between π(x) and π(x)f (x). さらに [15] TABI法は、理論上最適な従来の推定値よりも優れている場合が多く、π(x) と π(x)f(x) のミスマッチの度合いでゲインが増加することを示す。 0.64
1 (x), and γ2(x). 1(x)とγ2(x)である。 0.90
1 (x), γ− 2 1(x)、γ− 2 0.88
英語(論文から抽出)日本語訳スコア
2.2 Turing Programs as Densities 2.2 密度としてのチューリングプログラム 0.48
@model function model(y) model function model(y) 0.67
end x ∼ Normal(0, 1) @addlogprob! 終わり x > Normal(0, 1) @addlogprob! 0.74
(0.1) y ∼ Normal(x, 1) (0.1) y > 正規(x, 1) 0.88
Figure 1: Turing example. 図1: チューリングの例。 0.76
We now present a brief overview of the Turing PPL [19] (see https://turing.ml/de v/docs/using-turing/ for full documentation). 現在、turing ppl [19]の概要について簡単に説明する(完全なドキュメントはhttps://turing.ml/de v/docs/using-turing/ を参照)。 0.49
We will use the simple Turing program in Figure 1 as a running example. 図1の単純なチューリングプログラムを実行例として使用します。 0.70
We further provide our own new precise formalism for the densities of Turing programs by extending the approach of [32, §4.3], necessitated by some technical intricacies of the expectation programming approach. さらに、期待プログラミングアプローチの技術的な複雑さによって必要となる[32, >4.3]のアプローチを拡張することにより、チューリングプログラムの密度に対する新たな正確な形式性を提供する。 0.62
A Turing program is defined similarly to a normal Julia function [33]: the @model macro indicates the definition of a Turing model which means we can use tilde statements inside the function body, e g x∼Normal(0, 1), to denote probabilistic model components. チューリングプログラムは通常のジュリア関数 [33] と同様に定義される: @model macro はチューリングモデルの定義を表しており、これは函数体の内部でタイル式 e g x = Normal (0, 1) を使って確率的モデル成分を表現できることを意味する。 0.72
Observed data can be passed in as a formal argument to the function. 観測されたデータは関数の正式な引数として渡すことができる。 0.74
If the variable name on the left-hand side of the tilde statement is not part of the arguments of the functions then it is interpreted as a random variable. tilde文の左側にある変数名が関数の引数の一部ではない場合、確率変数として解釈される。 0.64
Let x1:n denote the set of direct outputs from sampling statements and y1:m the observed data. x1:n はサンプリング文からの直接出力の集合を表し、y1:m は観測データを表す。 0.79
We can view Turing programs as defining an unnormalized density γ(x1:n) (with an implicit appropriate reference measure). チューリングプログラムは非正規化密度 γ(x1:n) を定義することができる(暗黙の適切な基準測度で)。 0.75
For a given x1:n, the density gets computed by executing the program just like a normal Julia program, while keeping track of the density of the current execution. 与えられたx1:nに対して、現在の実行密度を追跡しながら、通常のjuliaプログラムのようにプログラムを実行することで密度が計算される。 0.81
More specifically, when Turing reaches a tilde statement corresponding to a random variable it samples a value for xi, evaluates the density of this draw, and factors this into the overall execution density. より具体的には、チューリングが確率変数に対応するチルデステートメントに達すると、xi の値をサンプリングし、このドローの密度を評価し、これを全体の実行密度に分解する。 0.73
We denote the density of the draw as gi(xi|ηi), where gi denotes the form of the sampling statement and ηi its parameters (which are a subset of the variables currently in scope). ドローの密度を gi(xi|ηi) と表現し、gi はサンプリング文の形式を表し、ηi はそのパラメータ(これは現在スコープにある変数の部分集合)を表す。 0.72
For the tilde statements corresponding to the observed data, it simply evaluates the density function hj(yj|φj)—where hj and φj are analogous to gi and ηi respectively—and factors the overall density accordingly. 観測データに対応するチルドステートメントに対しては、単に密度関数 hj(yj|φj) を評価できる(ここで hj と φj はそれぞれ gi と ηi に類似している)。 0.74
Sometimes a user might want to add additional factors to the density without using a tilde statement. tilde文を使用せずに、密度に追加の要素を追加したい場合もあります。 0.64
For this, Turing provides the @addlogprob! このために、turingは@addlogprobを提供する。 0.63
(log_p) primitive which multiplies the density of the current execution by an arbitrary value exp(log_p). (log_p) 任意の値exp(log_p) で電流実行の密度を乗算するプリミティブ。 0.83
We use ψ1, . 私たちは ψ1 を使います。 0.59
. . , ψK to denote all the terms that are added to the density using @addlogprob!. . . ψk は @addlogprob! を使って密度に追加されるすべての項を表す。 0.83
Putting these together, the density defined by any valid program trace can be written as これらをまとめると、任意の有効なプログラムトレースによって定義される密度が書ける。 0.66
γ(x1:n) = (2) Figure 1 thus defines the density γ(x) = exp(0.1)N(x; 0, 1)N(y; x, 1), with a fixed input y. γ(x1:n) = (2) 図 1 は、固定入力 y を持つ密度 γ(x) = exp(0.1)n(x; 0, 1)n(y; x, 1) を定義する。 0.86
Note here that everything (i.e. ここでは、すべて(つまり)に注意してください。 0.49
n, x1:n, η1:n, g1:n, m, y1:m, φ1:m, h1:m, K, ψ1:K) can be a random variable because of potential stochasticity in the program path. n, x1:n, η1:n, g1:n, m, y1:m, φ1:m, h1:m, K, φ1:K) は、プログラムパスの確率性のため確率変数である。 0.88
However, using the program itself, everything is deterministically calculable from x1:n, which can thus be thought of as the ‘raw’ random draws that dictate all the randomness of the program; everything else is a pushforward of these. しかし、プログラム自体を使用すると、すべてがx1:nから決定論的に計算可能であるため、プログラムのすべてのランダム性を規定する“raw”ランダムドローと考えることができる。 0.71
exp(ψk). k=1 exp(ψk)。 k=1 0.76
i=1 j=1 gi(xi|ηi) i=1 j=1 gi (複数形 gis) 0.60
hj(yj|φj) (cid:89)n hj(yj|φj) (cid:89)n 0.79
(cid:89)m (cid:89)K (cid:89)m (cid:89)k 0.83
3 Expectation Programming 3 期待プログラミング 0.77
We now introduce the concept of an expectation programming framework (EPF). 現在、期待プログラミングフレームワーク(EPF)の概念を導入しています。 0.77
At a high level, this is a system that helps automate the estimation of expectations in a target-aware manner. 高いレベルでは、これは目標を意識した予測の自動化を支援するシステムである。 0.70
More precisely, we introduce the concept of an expectation program as being analogous to a probabilistic program, but where the quantity of interest is the expectation of its return values under the program’s conditional distribution, rather than the conditional distribution itself. より正確には、期待プログラムの概念を確率的プログラムに類似したものとして紹介するが、関心の量は条件分布そのものではなく、プログラムの条件分布の下での帰納値の期待である。 0.82
We then define an EPF as a system which provides automated inference engines that estimate this expectation in a target-aware manner. 次にepfを,目標認識方式で推定する自動推論エンジンを提供するシステムとして定義する。 0.62
In mathematical notation, if the unnormalized conditional distribution of a program is γ(x) and its return value is f (x), then the expectation program defines the expectation Eπ(x)[f (x)] where π(x) = γ(x)/Z is the normalized version of γ(x). 数学的表記法において、プログラムの非正規化条件分布が γ(x) でその帰納値が f(x) であれば、期待プログラムは期待値 eπ(x)[f(x)] を定義する(ただし π(x) = γ(x)/z は γ(x) の正規化バージョンである)。 0.84
We will assume that f (x) is a scalar for now. f(x) が今のところスカラーであると仮定する。 0.68
3.1 Expectation Programming in Turing 3.1 チューリングにおける期待プログラミング 0.58
Our particular realization of the EPF concept, Expectation Programming in Turing (EPT), allows users to specify γ(x) as they normally would using Turing’s @model macro, and it interprets the return semantics as (implicitly) defining f (x). EPFの概念の具体化である期待プログラミング(EPT)は、ユーザーが通常チューリングの@modelマクロを使うようにγ(x)を指定できるようにし、返却意味論をf(x)の定義として(単純に)解釈する。 0.71
We then use information about f (x) contained in the program itself to construct TABI–based estimators. 次にプログラム自体に含まれる f (x) に関する情報を用いて TABI ベースの推定器を構築する。 0.74
Using the return values provides a very convenient mechanism of defining f (x) as it automatically ensures all required input variables are in scope and allows arbitrary functions to be defined by the deterministic components of the program. 戻り値を用いることで、必要な全ての入力変数がスコープ内にあることを自動的に保証し、プログラムの決定論的コンポーネントによって任意の関数が定義できるので、f(x)を定義する非常に便利なメカニズムを提供する。 0.73
3 3 0.85
英語(論文から抽出)日本語訳スコア
@expectation function expt_prog(y) expectation function expt_prog(y) 0.84
x ∼ Normal(0, 1) y ∼ Normal(x, 1) return x^3 x > Normal(0, 1) y > Normal(x, 1) は x^3 を返す 0.83
# x ∼ N (x; 0, 1) # y ∼ N (y; x, 1) # f (x) = x3 #x は n (x; 0, 1) # y は n (y; x, 1) # f (x) = x3 である。 0.81
end expct_estimate, diagnostics = estimate_expectation (expt_prog(2), TABI( end expct_estimate, diagnostics = estimate_expectation (expt_prog(2), tabi( 0.84
marginal_likelihood_ estimator=TuringAlgorithm(AnIS (), num_samples=1000))) marginal_likelihood_ estimator=TuringAlgorithm(AnIS (), num_samples=1000)) 0.71
1 (x), γ− Figure 2: An example of estimating an expectation with EPT. 1(x)、γ− 図2:eptで期待値を推定する例。 0.77
Here estimate_expectation is our “do inference” call which takes in expectation program expt_prog (which itself is given input y = 2) and an inference method to apply (here a TABI estimator using annealed importance sampling with 1000 samples), and returns an estimate for expected return value of expt_prog. ここでの推定_expectationは、予測プログラムexpt_prog(それ自体が入力 y = 2 を与えられる)と適用する推論メソッド(1000サンプルのアニールされた重要度サンプリングを用いたTABI推定器)を取り込み、expt_progの期待戻り値に対する推定値を返します。 0.88
Appendix C shows how to estimate this expectation using plain Turing in a non-target-aware manner. appendix c はこの期待値を非ターゲティングな方法で平易なチューリングを使って見積もる方法を示している。 0.52
The key component of the EPT implementation is to split up the estimation of the desired expectation as per the TABI framework introduced in Section 2.1. EPT実装の鍵となるコンポーネントは、第2.1節で導入されたTABIフレームワークに従って、望まれる期待の見積もりを分割することである。
訳抜け防止モード: EPT実装の鍵となるコンポーネントは 第2.1節で導入されたTABIフレームワークにより、所望の期待値の推定を分割する。
0.77
To do so we use source-code transformations to generate three different Turing programs, one for each of the densities γ+ 1 (x), and γ2(x). そのため、ソースコード変換を用いて3つの異なるチューリングプログラムを生成し、それぞれが γ+ 1 (x) と γ2(x) である。 0.78
We then estimate the expectation by individually estimating the normalization constant of each of these densities and then combining them as per Equation (1). 次に、各密度の正規化定数を個別に推定し、それらを式(1)に従って組み合わせて期待値を推定する。 0.73
Generating valid Turing programs has the advantage that we are able to leverage any inference algorithm in Turing that provides marginal likelihood estimates to estimate the quantities Z + 1 , and Z2. 有効なチューリングプログラムを生成することは、Z + 1 , Z2 を推定するために限界推定量を与えるチューリングの任意の推論アルゴリズムを活用できるという利点がある。 0.74
This modularity means that we do not have to implement custom inference algorithms that would only work with EPT. このモジュール化は、EPTでのみ動作するカスタム推論アルゴリズムを実装する必要がないことを意味します。 0.74
Estimating expectations with EPT is done in two stages. EPTによる期待推定は2段階で行われる。 0.85
First, users define an expectation program, say expt_prog, with the @expectation macro, which is a drop-in replacement for @model. まず、ユーザーは@modelのドロップイン置換である@expectationマクロを使ってexpt_progのような期待プログラムを定義する。 0.76
Using code transformations, @expectation automatically generates the three Turing programs representing the densities γ+ 1 (x), and γ2(x). コード変換を用いて、@expectationは、密度 γ+ 1 (x) と γ2(x) を表す3つのチューリングプログラムを自動的に生成する。 0.70
This happens behind the scenes and the user does not need to deal with the transformed programs directly. これは舞台裏で発生し、ユーザは変換されたプログラムを直接扱う必要はない。 0.78
To estimate the expectation, the user then calls estimate_expectation (expt_prog, method), where method specifies the estimation approach to be used. 期待値を推定するために、ユーザは estimate_expectation (expt_prog, method)を呼び出す。
訳抜け防止モード: 期待値を推定するために、ユーザは estimate_expectation (expt_prog, method )を呼び出す。 whereメソッドは、使用する推定アプローチを指定する。
0.79
At present, the only supported class of methods is TABI, which implements the previously explained TABI estimators, but the syntax is designed to allow for easy addition of hypothetical other approaches (e g control variates). 現在サポートされているメソッドの唯一のクラスはTABIであり、TABI推定器を実装しているが、この構文は仮説上の他のアプローチ(例えば制御変数)を簡単に追加できるように設計されている。 0.72
EPT then estimates the different normalization constants (Z + 1 , and Z2) by running a Turing inference algorithm on each Turing program generated by @expectation and combining the normalization constant estimates to form an estimate of the expectation. EPT は、@expectation によって生成されたチューリングプログラム上でチューリング推論アルゴリズムを実行し、正規化定数の推定値を組み合わせて期待値の見積もりを作成することにより、異なる正規化定数 (Z + 1 , Z2) を推定する。
訳抜け防止モード: EPTは次に異なる正規化定数を推定する (Z+1、Z2) Expectationによって生成された各チューリングプログラム上でチューリング推論アルゴリズムを実行する 正規化定数の推定値と 期待を見積もっています
0.81
In the example in Figure 2, we use TABI with annealed importance sampling AnIS, which is a new plain Turing inference algorithm that we have added to the system for the purposes of this paper. In the example in the example in the Figure 2 we use TABI with annealed importance sample AnIS, which is a new plain Turing inference algorithm that we have added to the system for the purpose of this paper。 0.86
TuringAlgorithm is a thin-wrapper object storing the necessary information that allows TABI to use a Turing inference method. TuringAlgorithmは、TABIがチューリング推論方法を使用するために必要な情報を格納する薄いラッパーオブジェクトである。 0.75
AnIS can be substituted with any other Turing inference algorithm that returns a marginal likelihood estimate. AnISは、他の任意のチューリング推定アルゴリズムに代えて、限界推定値を返すことができる。 0.62
Here AnIS() implies the use of some arbitrary default AnIS parameters regarding the Markov chain transition kernel, and the number and spacing of intermediate potentials used. ここでAnIS()は、マルコフ連鎖遷移カーネルと使用される中間ポテンシャルの数と間隔に関する任意のデフォルトのAnISパラメータの使用を意味する。 0.84
1 (x), γ− 1 , Z− 1(x)、γ− 1 , Z− 0.93
1 , Z− 3.2 Program Transformations 1 , Z− 3.2 プログラム変換 0.83
We now consider how to generate the Turing programs corresponding to each of the TABI densities. 現在,各TABI密度に対応するチューリングプログラムの生成方法について検討している。
訳抜け防止モード: 私たちはどのように考えるか 各TABI密度に対応するチューリングプログラムを生成する。
0.62
Note that expectation programs in EPT are also valid Turing models, i.e., replacing @expectation with @model yields a valid Turing program. EPT の期待プログラムも有効なチューリングモデルであり、例えば @expectation を @model に置き換えると、有効なチューリングプログラムが得られる。 0.66
Such a program corresponds to the unnormalized density γ2(x) = γ(x) without requiring any transformation. そのようなプログラムは変換を必要としない非正規化密度 γ2(x) = γ(x) に対応する。 0.78
To create a Turing program corresponding to γ+ 1 (x), we need to multiply the unnormalized density of the unaltered Turing program γ(x) by max(f (x), 0). γ+ 1 (x) に対応するチューリングプログラムを作成するためには、未修正チューリングプログラム γ(x) の非正規化密度を max(f(x, 0) で乗算する必要がある。 0.76
This is achieved using Turing’s aforementioned @addlogprob! これは、Turingの前述の@addlogprob! 0.52
primitive, such that we can think of it as adding a new exp(ψK+1) = max(f (x1:n), 0) factor to the program density definition in (2). プリミティブ、つまり、(2) のプログラム密度定義に新しい exp(ψk+1) = max(f (x1:n), 0) 因子を加えることができる。
訳抜け防止モード: プリミティブ、つまり、新しい exp(ψk+1 ) = max(f) を追加することができる。 (x1 : n ), 0 ) は (2 ) におけるプログラム密度の定義に対する係数である。
0.84
Our transformations are pattern matching procedures that find all the return expr statements in the function body and then a) create a new local variable tmp = expr (where tmp is a unique identifier generated using Julia’s gensym()), b) insert a statement @addlogprob! 私たちの変換は、関数本体内のすべての戻り expr 文を見つけるパターンマッチング手順で、a) 新しいローカル変数 tmp = expr を生成します(tmp は Julia の gensym() を使って生成されるユニークな識別子です)、b) 文 @addlogprob! 0.84
(log(max(tmp, 0))) before the return, and c) change the return statement itself to return tmp. (log(max(tmp, 0)) before the return, and c) return文自体を変更して tmp を返す。 0.83
A concrete example of the transformation is presented in Figure 3. 変換の具体的な例を図3に示します。 0.71
The transformation for γ− Users can define multiple expectations by specifying multiple return values, while each individual return value needs to almost surely be a numerical scalar. γ− ユーザの変換は、複数の戻り値を指定することで複数の期待値を定義することができるが、個々の戻り値は、ほぼ確実に数値スカラーである必要がある。 0.66
This ensures that each target expectation is well defined and individually identified. これにより、それぞれの目標期待が適切に定義され、個別に識別される。 0.57
For each return expression, we apply our program 各戻り式に対して、プログラムを適用する。 0.67
1 (x) is analogous but inserts a statement @addlogprob! 1 (x) は類似しているが、@addlogprob! 0.76
(log(-min(tmp, 0))) instead. (log(-min(tmp, 0)) ではなく。 0.86
4 4 0.85
英語(論文から抽出)日本語訳スコア
@expectation function expt_prog(y) expectation function expt_prog(y) 0.84
x ∼ Normal(0, 1) y ∼ Normal(x, 1) return x^3 x > Normal(0, 1) y > Normal(x, 1) は x^3 を返す 0.83
end @model function expt_prog(y) 終わり model function expt_prog(y) 0.80
x ∼ Normal(0, 1) y ∼ Normal(x, 1) tmp = x^3 @addlogprob! x は正規(0, 1) y は正規(x, 1) tmp = x^3 @addlogprob! 0.69
(log(max(tmp, 0))) return tmp (log(max(tmp, 0)) は tmp を返す。 0.89
end Figure 3: The results of one of the three program transformations applied to the EPT @expectation program from Figure 2 [left]. 終わり 図3: 図2[左]からEPT@expectationプログラムに適用された3つのプログラム変換のうちの1つの結果。 0.76
Presented is the transformation into a valid Turing @model program 1 (x) ∝ γ(x)f +(x). 有効なチューリング@モデルプログラム 1 (x) > γ(x)f +(x) への変換が提示される。 0.70
The transformed code fragment is [right] corresponding to the density γ+ highlighted. 変換されたコードフラグメントは、γ+が強調された密度に対応する[右]。 0.68
The full transformation is slightly more complex due to Turing’s internals. チューリングの内部構造のため、完全なトランスフォーメーションはやや複雑である。 0.67
Appendix D shows the full source code transformation for this model. Appendix Dはこのモデルの完全なソースコード変換を示している。 0.77
transformation separately and derive a corresponding TABI estimator for each. 変換を別々に行い、それぞれに対応するTABI推定器を導出する。 0.54
For example, if we have return expr1, expr2, expr3, the program transformation for {γ+ 1 (x)}2 would add the statement @addlogprob! 例えば、return expr1, expr2, expr3があれば、{γ+ 1 (x)}2 のプログラム変換には @addlogprob! 0.77
(log(max(expr2, 0))). (log(max(expr2, 0))) 0.81
Appendix I shows a full example of how to estimate multiple expectations with EPT. Appendix Iは、EPTで複数の期待を見積もる方法の完全な例を示している。 0.67
3.3 Demonstration of Validity 3.3 妥当性の実証 0.61
We now demonstrate the statistical correctness of the EPT approach. 我々はeptアプローチの統計的正確性を示す。 0.61
For simplicity, we will assume throughout that programs almost surely return a single scalar value.1 Generalization to programs with multiple return values is straightforward (provided the number of return values is fixed) by considering each return value separately in isolation (as EPT does itself). 単純さのために、プログラム全体を通して、複数の戻り値を持つプログラムへの1つのスカラー値の一般化は、各戻り値を個別に考慮することで(ept自身がそうであるように)単純である、と仮定する。 0.76
To start, we formally define probabilistic programs and how they define expectations in an EPF. まず、確率的プログラムとEPFにおける期待をどのように定義するかを正式に定義する。 0.59
Definition 1. A probabilistic program P in a probabilistic programming language defines an unnormalized density γ(x1:n) over the raw random draws x1:n ∈ X of the program, which collectively we refer to as the program trace,2 along with an implicitly defined reference measure µ. X γ(x1:n)dµ(x1:n). 定義1。 確率的プログラミング言語における確率的プログラムPは、プログラムの生ランダムな描画 x1:n ∈ X 上の非正規化密度 γ(x1:n) を定義する。
訳抜け防止モード: 定義1。 確率的プログラミング言語における確率的プログラムpは、プログラムの生ランダム描画 x1 : n ∈ x 上の非正規化密度 γ(x1 : n ) を定義する。 暗黙的に定義された参照測度 μ.x γ(x1 : n)dμ(x1 : n ) と共にプログラムトレース,2 と呼ぶ。
0.78
π(x1:n) and µ combined implicitly define the probability distribution specified by P, which we denote A π(x1:n)dµ(x1:n). π(x1:n) と μ を組み合わせて P で指定された確率分布を暗黙的に定義し、A π(x1:n)dμ(x1:n) と表す。 0.81
Additionally, P defines a mapping from the raw random draws to the return values which we denote f : X → R. Most PPLs, including Turing, focus solely on approximating π(x1:n) and ignore the definition of f (x1:n). さらに、p は生のランダムなドローから f : x → r を表す戻り値への写像を定義する: チューリングを含むほとんどの ppls は π(x1:n) の近似のみに焦点を合わせ、f (x1:n) の定義を無視する。 0.77
However, we can view probabilistic programs as defining a random variable over return values, which we denote as F := f (x1:n), and the expectation of this random variables is しかし、確率的プログラムは戻り値上の確率変数を定義するもので、f := f (x1:n) と表記され、この確率変数の期待値である。 0.72
π(x1:n) = γ(x1:n)/Z denotes the normalized density with Z = (cid:82) P(A) =(cid:82) π(x1:n) = γ(x1:n)/Z は Z = (cid:82) P(A) = (cid:82) の正規化密度を表す。 0.86
(cid:90) X (cid:90) X 0.82
(cid:90) X (cid:90) X 0.82
E[F ] = f (x1:n)dP(x1:n) = E[F ] = f (x1:n)dP(x1:n) = 0.91
f (x1:n)π(x1:n)dµ(x1:n), f(x1:n)π(x1:n)dμ(x1:n) 0.95
(3) which is how they are interpreted under EPF. (3) これがEPFで解釈される方法である。 0.70
Note that the formal definition of the function we are taking the expectation of is that it is the full mapping from the raw random draws to the returned values rather than what is lexically written in the return statement(s). 私たちが期待している関数の正式な定義は、返却ステートメント(s)で語彙的に記述されているものよりも、生のランダムな引き数から返却された値への完全なマッピングであることです。 0.79
This is why, for instance, it is still valid to have multiple different return statements in a program, provided each return statement defines the same number of return values. これは、例えば、各戻り値が同じ数の戻り値を定義する場合、プログラム内に複数の異なる戻り値を持つことが依然として有効である理由である。 0.83
In practice, this is not something we need to worry about when writing either models or inference engines as the law of the unconscious statistician relieves us from explicitly delineating the random variable defined by our function (the expectation of this random variable does not vary if we change the parameterization of our model). 実際には、無意識統計学の法則としてモデルまたは推論エンジンを書けば、我々の関数によって定義される確率変数が明示的に記述されることがなくなる(我々のモデルのパラメータ化を変更すると、この確率変数の期待は変わらない)。 0.72
However, the distinction is important for ensuring validity and understanding the breakdown TABI uses (i.e. しかし,この区別は,タブーの動作の妥当性の確認や理解において重要である。 0.55
γ±). To ensure that the induced probability measure of a program is well-defined we generally assume that we have a valid unnormalized density. γ±). プログラムの帰納確率測度が適切に定義されていることを保証するため、我々は一般に有効な非正規化密度を持つと仮定する。 0.79
In the case of Turing, this guarantees that there is a valid probability distribution the inference algorithm can converge to. チューリングの場合、このことは推論アルゴリズムが収束できる有効な確率分布が存在することを保証している。 0.82
We formalize this as follows. これを次のように形式化します。 0.45
Definition 2 (Valid Turing Program). 定義2(Valid Turing Program)。 0.76
A Turing program P is valid (and defines a valid unnormalized probabilistic program density γ(x1:n)) if all of the following hold: γ(x1:n) ≥ 0,∀x1:n ∈ X ; チューリングプログラム P が有効(かつ有効な非正規化確率的プログラム密度 γ(x1:n)) であるとは、次のすべてのホールドが成り立つことである: γ(x1:n) ≥ 0,\x1:n ∈ X ; 0.82
X γ(x1:n)dµ(x1:n) < ∞; and γ(x1:n) factorizes according to Equation (2). X γ(x1:n)dμ(x1:n) < ∞; γ(x1:n) は方程式 (2) に従って分解する。 0.88
0 <(cid:82) 0 <(cid:82) 0.88
1That is, the probability that the return value fails to be a well-defined scalar (e g that it returns a char) is 0. 1That is, the probability of the return value fail to be well-defined scalar (eg that it return a char) is 0。
訳抜け防止モード: 1That is, the probability of the return value fails to be a well-defined scalar (e g that it return a char ) 0である。
0.95
2Here it suffices to assume that all program traces have the same length, but the semantic framework extends 2 すべてのプログラムトレースが同じ長さであると仮定すれば十分ですが、セマンティックフレームワークは拡張します。 0.66
to programs with stochastic support that generate traces of varying (even unbounded) lengths. 様々な長さの痕跡を生成する確率的支援を有するプログラムを提供する。 0.68
5 5 0.85
英語(論文から抽出)日本語訳スコア
{ ˆZ± 1 }n p→ {-Z± 1 }n p→ 0.76
X γ± 1 (x1:n)dµ(x1:n), X γ± 1 (x1:n)dμ(x1:n) 0.90
Programs in EPT are largely equivalent to Turing programs but because they define expectations they require a slightly different set of assumptions to ensure that a given EPT program is valid. EPT のプログラムはチューリングプログラムと大半等価であるが、期待を定義するため、ある EPT プログラムが有効であることを保証するために少し異なる仮定を必要とする。 0.79
Definition 3 (Valid EPT Program). 定義3(Valid EPT Program)。 0.71
An EPT program E with density γ(x1:n) on program traces x1:n ∈ X and return value F = f (x1:n) is valid if both of the following hold: γ(x1:n) is a valid unnormalized probabilistic program density; and F is integrable, i.e. プログラムトレース x1:n ∈ X 上の密度 γ(x1:n) と戻り値 F = f(x1:n) を持つ EPT プログラム E が有効である: γ(x1:n) が有効な非正規化確率的プログラム密度であり、F は可積分である。 0.84
E[|F|] < ∞. E[|F|] < ∞。 0.80
The assumptions in Definition 3 are actually strictly weaker than those made implicitly by most existing PPLs (cf. 定義 3 の仮定は、既存のほとんどの PPL (cf) によって暗黙的になされた仮定よりも厳密に弱い。 0.65
Appendix B). Note that the integrability of F implies both E[F +] and E[F −] are finite. 付録b)。 F の可積分性は E[F +] と E[F −] の両方が有限であることを意味する。 0.67
This is important to establish the statistical correctness of the EPT approach as follows. これは EPT アプローチの統計的正当性を確立する上で重要である。 0.76
Theorem 1. Let E be a valid expectation program in EPT with unnormalized density γ(x1:n), defined on possible traces x1:n ∈ X , and return value F = f (x1:n). 理論1。 E を非正規化密度 γ(x1:n) を持つ EPT の有効な期待プログラムとし、可能なトレース x1:n ∈ X 上で定義し、返却値 F = f (x1:n) とする。 0.70
Then γ+ 1 (x1:n) := 1 (x1:n) := −γ(x1:n) min(0, f (x1:n)), and γ2(x1:n) := γ(x1:n) are γ(x1:n) max(0, f (x1:n)), γ− all valid unnormalized probabilistic program densities. このとき γ+ 1 (x1:n) := 1 (x1:n) := −γ(x1:n) min(0, f (x1:n)) と γ2(x1:n) := γ(x1:n) は γ(x1:n) max(0, f (x1:n)) である。 0.83
Further, if { ˆZ + 1 }n, { ˆZ2}n are (cid:90) sequences of estimators for n = N+ such that さらに、 { sz + 1 }n であれば、 { sz2}n は n = n+ に対して (cid:90) 個の推定子列である。 0.71
1 }n, { ˆZ− 1 }n, { >Z− 0.86
(cid:90) 1 }n)/{ ˆZ2}n (cid:90) 1 }n)/{ >Z2}n 0.84
γ2(x1:n)dµ(x1:n) X where p→ means convergence in probability as n → ∞, then ({ ˆZ + p→ E[F ]. γ2(x1:n)dμ(x1:n) X ここで p→ は n → ∞ の確率収束を意味する。
訳抜け防止モード: γ2(x1 : n)dμ(x1 : n ) x ここで p→ は確率収束を n → ∞ と表す。 すると ( { a z + p→ e[f ] となる。
0.81
1 }n − { ˆZ− Theorem 1, which is proved in Appendix B, shows that if we have programs with the desired densities and we use consistent marginal likelihood estimators for each, then our resulting expectation estimates will themselves be consistent. Appendix B で証明された 1 − { sZ− Theorem 1 は、所望の密度を持つプログラムを持ち、各プログラムに対して一貫した辺縁確率推定器を使用すれば、結果の予想推定はそれ自体一貫したものになることを示している。 0.64
The latter requirement is covered by the consistency of Turing’s own inference engines. 後者の要件は、turing自身の推論エンジンの一貫性によってカバーされている。 0.59
The former requires that our transformed programs are valid Turing programs with the intended densities. 前者は変換プログラムが意図した密度を持つチューリングプログラムであることを要求する。
訳抜け防止モード: 前者はそれを要求する 我々の変換プログラムは チューリングプログラムを 意図した密度で
0.73
This is indeed the case as we now show. これは、我々が現在示しているとおりです。 0.75
Given an input EPT program E we apply transformations to get the three Turing programs P + 1 , P− 1 , and P2 with γ+ 1 (x1:n), and γ2(x1:n) as their respective densities. 入力 EPT プログラム E が与えられたとき、3つのチューリングプログラム P + 1 , P− 1 , P2 に γ+ 1 (x1:n) と γ2(x1:n) をそれぞれ密度とする変換を適用する。 0.87
To ensure that the transformations for γ+ 1 (x1:n) are correct, we need to ensure that a) the inserted code in our transformations is itself valid, b) the transformation does not have any unintended side effects, and c) the new density terms add valid factors to the program density. γ+ 1 (x1:n) の変換が正しいことを保証するためには、a) 変換中の挿入コード自体が有効であること、b) 変換が意図しない副作用を持たないこと、c) 新しい密度項はプログラム密度に有効な要素を加えることを保証する必要がある。 0.83
The first is true as the operation of the transformed sections of code are identical to the originals except for the new @addlogprob! コードの変換されたセクションの操作は、新しい@addlogprobを除いてオリジナルと同一である。
訳抜け防止モード: 一つは真実です 変換されたコードセクションの操作は、新しい@addlogprobを除いて、オリジナルと同一である。
0.77
terms, which themselves produce no outputs and, by construction, use only the variables that are in scope. 用語は、それ自体が出力を生成せず、構成上、スコープにある変数のみを使用する。 0.60
The second is guaranteed by ensuring that the tmp variables are given unique identifiers that cannot clash with each other or any other variables in the program. 2つめは、tmp変数が、プログラム内の他の変数と衝突できないユニークな識別子を与えられることを保証することで保証される。 0.74
The third follows from the restriction that each return value must almost surely be a numerical scalar, coupled with the fact that the added density factors (namely max(tmp, 0) and -min(tmp, 0)) are non-negative by construction. 3つめは、各戻り値がほぼ確実に数値スカラーでなければならないという制限と、付加された密度係数(max(tmp, 0) と -min(tmp, 0) )が構成によって非負であるという事実から従う。 0.74
Thus, we see that EPT will produce a consistent estimation of program expectations, under the assumptions of Definition 3 and the consistency of the Turing base inference algorithms. このようにして、EPTは定義3の仮定とチューリングベース推論アルゴリズムの整合性に基づいて、プログラム期待を一貫した推定を行う。 0.76
1 (x1:n), γ− 1 (x1:n) and γ− 1(x1:n)、γ−1(x1:n)、γ− 0.89
{ ˆZ2}n p→ 4 Related Work ‐Z2}n p→ 4 関連作業 0.76
Though a few papers [2, 34] have formalized the expectation defined by a probabilistic program, none does this from the perspective of directly targeting this expectation as the quantity to estimate. いくつかの論文 [2, 34] は確率的プログラムによって定義された期待を定式化したが、この期待を直接見積もる量として対象とする観点からは、そうはならない。 0.68
As a pedagogical example, [2] introduce a small PPL which exemplifies how return statements can be interpreted as defining expectations. 教育的な例として[2]は、返却ステートメントを期待の定義として解釈する方法を例示する小さなPPLを導入している。 0.64
Their main goal, however, is still posterior inference. しかし、彼らの主な目標はまだ後部推論である。 0.67
Hakaru [29] provides the primitive expect(m, f) [34] which takes as input a program defining a measure and a function and returns a program that denotes the integral of the function w.r.t. Hakaru [29] は、測度と関数を定義するプログラムを入力として取り、関数 w.r.t の積分を表すプログラムを返すプリミティブ expect(m, f) [34] を提供する。 0.84
the measure. This primitive is then used to construct algorithms for posterior inference. 測度だ このプリミティブは後続推論のためのアルゴリズムを構築するために使われる。 0.56
The end goal of Hakaru is to provide a modular interface for inference algorithms by computing conditional distributions analytically. Hakaruの最終目標は、条件分布を解析的に計算することで、推論アルゴリズムのためのモジュラーインターフェースを提供することである。
訳抜け防止モード: ハカルの最終目標は 条件分布を解析的に計算して推論アルゴリズムのためのモジュールインターフェースを提供する。
0.72
In contrast, our framework has the goal of computing expectations as accurately as possible via automated target-aware inference. 対照的に、我々のフレームワークは、自動目標認識推論により、できるだけ正確に予測を計算することを目的としています。 0.52
Some PPLs provide syntactic sugars for forming expectation estimates from the samples produced by inference, but these do not adjust the inference itself to exploit target function information. いくつかのPPLは、推論によって生成されたサンプルから期待される見積を形成するための構文的糖を提供するが、これらはターゲット関数情報を利用するために推論自体を調整することはない。 0.52
For example, in Stan [17] users can apply target functions to posterior samples using the generated_quantities block. 例えば、stan[17]では、gened_quantitiesブロックを使用して、ターゲット関数を後方サンプルに適用することができる。 0.64
Similarly, in Pyro [16] the return values are stored along with MCMC posterior samples, thus allowing expectations to be estimated by taking empirical averages. 同様にpyro [16]では、戻り値はmcmcの後方サンプルと共に格納されるため、平均的な平均値を用いて期待値を推定できる。 0.68
PyMC3 [20] allows users to track deterministic transformations of the latent variables. PyMC3[20]は、潜在変数の決定論的変換を追跡することができる。 0.64
Turing itself also provides a generated_quantities function, similar to Stan (see Appendix C for an example). チューリング自体は、Stanに似た生成_quantities関数も提供する(例はAppendix Cを参照)。 0.75
6 6 0.85
英語(論文から抽出)日本語訳スコア
Figure 4: Relative squared error and effective sample size for the Gaussian posterior predictive experiment. 図4: ガウス後方予測実験における相対二乗誤差と有効サンプルサイズ 0.78
The solid lines show the median of the estimator while the shaded region show the 25 % and 75 % quantiles. 固体線は推定値の中央値を示す一方、日陰領域は25 %および75 %の定量値を示す。 0.74
Medians and quantiles are computed over 10 separate runs with different random seed for the posterior predictive problem. 媒体と量子は、後続予測問題に対して異なるランダムシードを持つ10個の別々のランで計算される。 0.61
For the ESS plot we are plotting min(ESSZ1, ESSZ2) for TAAnIS and min(ESSAnIS retargeted, ESSAnIS) for AnIS. ESSプロットでは、TAAnISのmin(ESSZ1, ESSZ2)とAnISのmin(ESSAnIS再ターゲット、ESSAnIS)をプロットします。 0.77
5 Experiments We demonstrate the effectiveness of the EPT target-aware inference methods on three problems: a synthetic numerical example, an SIR epidemiology model, and a Bayesian hierarchical model of Radon concentration. 5 実験 本研究では, 合成数値例, SIR疫学モデル, ラドン濃度のベイズ階層モデルという3つの問題に対するEPTターゲット認識推論手法の有効性を示す。 0.81
The code for all experiments can be found at https://git.io/JZOqN . すべての実験のコードは、https://git.io/jzoqn で見ることができる。 0.57
The performance of EPT depends on the performance of the chosen marginal likelihood estimator. EPTの性能は、選択された限界確率推定器の性能に依存する。 0.71
At the time of writing, Turing provides implementations (only with the prior as the proposal) of Sequential Monte Carlo [35] and Importance Sampling (IS) as inference algorithms that provide marginal likelihood estimates. 執筆時点で、チューリングはSequential Monte Carlo [35]とImportance Sampling (IS)の実装を、限界推定推定を提供する推論アルゴリズムとして提供しています。 0.64
We implemented a new Turing inference engine that uses Annealed Importance Sampling (AnIS) [31] (see Appendix A). 我々はAnnealed Importance Smpling (AnIS) [31] を用いた新しいチューリング推論エンジンを実装した(Appendix A 参照)。 0.78
We chose AnIS because it has proved to be effective at estimating the normalization constant even for high-dimensional models [36–38]. 我々は,高次元モデル [36-38] においても正規化定数を推定できることが証明された anis を選んだ。 0.65
AnIS requires setting two hyperparameters: an annealing schedule and a transition kernel. AnISでは、アニーリングスケジュールとトランジションカーネルという、2つのハイパーパラメータを設定する必要がある。 0.49
Currently, users can choose between two transition kernels: Metropolis-Hastings (MH) implemented in AdvancedMH.jl [39] and Hamiltonian Monte Carlo (HMC) [40–42] in AdvancedHMC.jl [43]. 現在、ユーザーはMetropolis-Hastings (MH) を AdvancedMH.jl [39] で実装し、 Hamiltonian Monte Carlo (HMC) [40–42] を AdvancedHMC.jl [43] で実装している。 0.69
We will use AnIS and TAAnIS to refer to the non-target-aware and the target-aware AnIS, respectively. 我々は, AnIS と TAAnIS を用いて, ターゲット認識されていない AnIS とターゲット認識された AnIS をそれぞれ参照する。 0.58
To ensure a fair comparison we use the same setup and hyperparameters for each estimator. 公平な比較を保証するため、各推定器に同じ設定とハイパーパラメータを使用します。
訳抜け防止モード: 公正な比較を保証する 推定器ごとに同じ設定とハイパーパラメータを使います
0.78
We also compare directly to MCMC targeting the posterior and using the same type of transition kernel as AnIS and TAAnIS. また、後部をターゲットとしたMCMCと直接比較し、AnISやTAAnISと同じタイプの遷移カーネルを使用する。 0.68
This transition kernel is MH in Section 5.1 and HMC elsewhere. この遷移核はセクション5.1 と hmc の mh である。 0.71
Detailed configurations for each experiment are given in Appendix F. To compare the performance of the estimators we look at the effective sample size (ESS) and the relative squared error (RSE) ˆδ := (ˆµ − µ)2/µ2 , where µ denotes the ground-truth value and ˆµ is the estimate. 実効的なサンプルサイズ(ESS)と相対2乗誤差(RSE)の2乗誤差(英語版)(英語版)(英語版)(RSE)を比べると、μは基底真実の値を表し、μは推定値(英語版)(推定値)である。 0.63
All our experiments correspond to target functions which are always positive, so henceforth we use Z1 to refer to Z + 1 = 0. すべての実験は、常に正となる対象関数に対応するので、Z1 を用いて Z + 1 = 0 となる。 0.89
Appendix E shows how to configure EPT to avoid the computation for Z− Both TAAnIS and AnIS produce unnormalized weighted samples wi so the ESS is calculated as i . Appendix Eは、Z− TAAnIS と AnIS の計算を避けるために EPT を設定する方法を示している。
訳抜け防止モード: Appendix E は Z- TAAnIS と AnIS の計算を避けるために EPT の設定方法を示している。 ESS は i として計算されます。
0.74
For MCMC we omit the ESS comparison and focus solely on the RSE, as MCMC ESS estimates, which are based on autocorrelation [44], are not directly comparable with those based on importance weights, and unreliable if the RSE is large. MCMCでは,自己相関 [44] に基づく EMMC ESS 見積は重要度に基づくものと直接比較されず,かつ RSE が大きければ信頼できないため, ESS 比較を省略し, RSE のみに焦点を当てる。 0.79
For TAAnIS we can look at the ESS of the two AnIS runs which we denote ESSZ1 and ESSZ2. TAAnISでは、ESSZ1とESSZ2を示す2つのAnIS実行のESSを見ることができます。 0.79
Similarly, ESSAnIS is the ESS for AnIS. 同じように、ESSAnISはAnISのESSである。 0.74
We use ESSAnIS retargeted to denote what the ESS would be if we use the AnIS samples to estimate Z1 by multiplying the AnIS importance weights by f (x). ESSAnISの重みをf(x)に乗じて、AnISサンプルを用いてZ1を推定した場合、ESSがどのようなものかを示すためにESSAnISを再ターゲットとした。 0.69
When comparing our estimators based on RSE and ESS we ensure that we give each estimator the same computational budget i.e. RSE と ESS に基づく推定値を比較すると、各推定値に同じ計算予算を与える。
訳抜け防止モード: RSE と ESS に基づく推定値を比較すると、それを保証する。 それぞれの推定器に同じ計算予算を与えます
0.68
same number of likelihood evaluations. 同じ確率で評価します 0.57
Thus if we have an AnIS estimator with n intermediate distributions and K samples, then we compare it to the TAAnIS estimator which uses n intermediate distributions and K/2 samples for each of the two separate terms. したがって、n 個の中間分布と K 個のサンプルを持つ AnIS 推定器があれば、n 個の中間分布と K/2 個のサンプルをそれぞれ用いた TAAnIS 推定器と比較する。 0.81
In turn, we compare AnIS and TAAnIS to an MCMC estimator with n · K samples. その結果, AnIS と TAAnIS を MCMC 推定器と n · K サンプルと比較した。 0.79
((cid:80) i wi)2/(cid:80) ((cid:80) i wi)2/(cid:80) 0.83
i w2 1 as we always have Z− 私はw2 1は常にZ−である。 0.57
1 when this is the case. 7 1 の場合である。 7 0.71
英語(論文から抽出)日本語訳スコア
Figure 5: Relative squared error and effective sample size for the SIR experiment. 図5: SIR実験における相対2乗誤差と有効試料サイズ。 0.83
Conventions as in Figure 4. Results are computed over 5 runs for different random seeds. 図4のように。 結果は、異なるランダムシードに対して5回以上計算される。 0.53
5.1 Gaussian Posterior Predictive 5.1 ガウス後部予測 0.63
The first problem considered is calculating the posterior predictive distribution of a Gaussian model with an unknown mean, where γ(x) = N (x; 0, I)N (y; x, I) and f (x) = N (−y; x, 1 2 I) are the √ unnormalised density and target function, respectively. 最初の問題は、γ(x) = n (x; 0, i)n (y; x, i) と f (x) = n (−y; x, 1 2 i) がそれぞれ非正規化密度と対象関数であるような、未知の平均を持つガウスモデルの後方予測分布を計算することである。 0.80
We assume our observed data is y = 10)1 where 1 is a 10-dimensional vector of ones. 観測データは y = 10)1 と仮定し、1 は 1 の10次元ベクトルである。 0.80
Using EPT we can express this expectation (3.5/ in just 5 lines of code—the full model is given in Appendix J. EPTを使用することで、この期待値(3.5/をたった5行のコードで表現できます。
訳抜け防止モード: EPT この期待(3.5/をたった5行のコードで表現できます。 完全モデルは Appendix J で与えられる。
0.79
This problem is amenable to an analytic solution so allows us to compute the error of the estimates. この問題は解析解に対処可能であり、推定値の誤差を計算することができる。 0.67
Figure 4 compares the performance of TAAnIS, AnIS, and MCMC (here MH). 図4は、TAAnIS、AnIS、MCMC(以下MH)のパフォーマンスを比較します。 0.68
We see a clear benefit to using the target-aware inference algorithm to estimate the expectation. 予測を推定するためにターゲット認識推論アルゴリズムを使用することには明らかなメリットがある。 0.66
TAAnIS achieves a lower RSE, and the ESS highlights the advantage of using separate marginal likelihood estimators for Z1 and Z2. TAAnIS は低い RSE を実現し、ESS は Z1 と Z2 に対して別個の限界確率推定器を使用することの利点を強調している。 0.59
5.2 SIR Epidemiological Model Our second problem setting is a more applied example based on the Susceptible-Infected -Recovered (SIR) model of [45] from the field of epidemiology. 5.2 疫学モデル 第2の問題は、疫学の分野から[45]のSIR(Susceptible-Infe cted-Recovered)モデルに基づく、より応用的な例である。 0.76
Assume we face an outbreak of a contagious disease. 私たちは伝染病の流行に直面していると仮定する。 0.56
The government has provided us with a function yielding the expected cost of the disease which depends on the basic reproduction rate R0, which indicates the expected number of people one infected person will infect in a population where everyone is susceptible. 政府は、感染した人が感染しやすい人口に感染する可能性のある人の数を示す基本再現率r0に依存する、疾病の想定費用を算定する機能を提供した。
訳抜け防止モード: 政府は、基本的な再現率r0に依存する疾患の期待コストを発生させる機能を提供した。 これは、感染した1人が感染しやすい人口で感染すると予想される人数を示している。
0.71
We seek to infer R0 and the expected cost of the outbreak. 我々は、R0とアウトブレイクの予想コストを推測する。 0.69
The SIR model divides the population into three compartments: people who are susceptible to the disease, those who are currently infected, and those who have already recovered. SIRモデルでは、人口を病気に罹患する人、現在感染している人、すでに回復している人という3つの区画に分けている。 0.74
The dynamics of the outbreak are modelled by a set of differential equations with parameters β and γ: 発生のダイナミクスは、パラメータβとγを持つ微分方程式の集合によってモデル化される。 0.74
= βS − γI, I N =βS -γI, I N 0.84
dR dt = γI, dR dt =γI。 0.83
(4) dS dt = −βS (4) dS dt =-βS 0.83
I N , dI dt I N , dI dt 0.85
where S, I and R correspond to the number of people susceptible, infected and recovered, respectively. S、I、Rは、それぞれ、感受性、感染、および回復する人の数に対応する。 0.70
The size of the total population is N = S + I + R. Roughly, β models the constant rate of infectious contact between people, while γ is the constant recovery rate of infected individuals. 人口の合計は n = s + i + r であり、大まかに、β は人の感染率を一定にモデル化し、γ は感染した個体の一定回復率である。 0.74
From these parameters we can calculate the basic reproduction rate R0 = β/γ. これらのパラメータから、基本再生率 R0 = β/γ を計算することができる。 0.66
We assume γ to be known, and we want to infer β and the initial number of infected people I0. γが知られていると仮定し、βと初期感染者数I0を推測したい。 0.67
The full statistical model along with the cost function which is defined with respect to R0 is given in Appendix G. This scenario is a good use case for EPT because we are interested in estimating a specific expectation with high accuracy. Appendix Gでは、R0に関して定義されたコスト関数とともに、完全な統計モデルが与えられています。
訳抜け防止モード: Appendix Gでは、R0に関して定義されたコスト関数とともに、完全な統計モデルが与えられている。 特定の予想を高い精度で予測することに興味があります
0.67
Furthermore, our cost function has some outcomes which might have low probability under the posterior but which incur a very high cost. さらに, コスト関数には, 後方の確率は低いが, 極めて高いコストが伴う結果がいくつかある。 0.70
These are liable to be missed by non-target-aware schemes, leading to skew estimators that tend to underestimate the expectation. これらはターゲットを意識しないスキームでは見逃されやすいため、期待を過小評価する傾向がある。 0.62
Figure 5 compares the performance of the estimators. 図5は、推定器の性能を比較します。 0.67
Since this problem is not amenable to an analytic solution, we estimate the ground-truth using a customized IS estimator with orders of magnitude more samples than estimates presented in the plot (see Appendix F). この問題は解析解には適さないので、プロットに提示される推定値よりも桁違いに多くのサンプルを持つカスタマイズIS推定器を用いて、基礎構造を推定する(Appendix F参照)。 0.71
We see that our approach substantially improves on the baselines, with MCMC (here HMC) failing to provide any meaningful estimate; it produces no samples where f (x) is significant. 我々のアプローチはベースライン上で大幅に改善され、mcmc(以下、hmc)は有意義な見積もりを提供していない。
訳抜け防止モード: 私たちのアプローチはベースラインを大幅に改善します。 MCMC(以下HMC)は、有意義な見積もりを提供していない f ( x ) が重要なサンプルは生成しない。
0.79
EPT with TAAnIS overcomes this through its use of a separate estimator for γ(x)f (x). TAAnIS と EPT は γ(x)f (x) の別個の推定器を用いてこれを克服する。 0.77
The fact that MCMC does far worse than AnIS, despite neither being target-aware, stems from the latter producing a greater diversity of (weighted) samples, a small number of which land in regions of high f (x) by chance (cf. MCMCがターゲットを意識していないにもかかわらず、AnISよりもはるかに悪いという事実は、後者がより多様な(重み付けされた)サンプルを産出することに由来する。
訳抜け防止モード: MCMCは標的にされていないにもかかわらず、AnISよりもはるかに悪い。 後者の茎は(重み付けされた)サンプルの大きな多様性を生み出す。 チャンス (cf ) によって高い f ( x ) の領域に着陸する少数のもの。
0.73
Appendix L). 8 略称はL。 8 0.65
英語(論文から抽出)日本語訳スコア
5.3 Hierarchical Model of Radon Concentration 5.3 ラドン濃度の階層モデル 0.76
Our third problem setting is a Bayesian hierarchical model for the radon concentration in households in different counties, adapted from [46]. 第3の問題は, [46] から適応した異なる郡の世帯におけるラドン濃度のベイズ階層モデルである。 0.77
In this, we observe data from N counties which are indexed by i and there are Mi houses in the ith county. ここでは、iでインデックス付けされたN郡からのデータを観察し、ith郡にはMiハウスがある。 0.67
For the jth house in county i, we would like to predict the log radon concentration yij inside the house. i.i.のj.ハウスでは、家の中のログラドン濃度yijを予測したいと思います。 0.56
For each house we have a covariate xij which is 0 if the house has a basement, and 1 if it does not. 各家には共変量 xij があり、その家が地下にある場合 0 であり、そうでない場合は 1 である。 0.72
With this setup, the model is defined as この設定で、モデルは定義されます 0.80
(5a) (5b) µα ∼ N (0, 10), βi ∼ N (µβ, σβ), (5a)(5b) μα,N(0,10),βi,N(μβ,σβ) 0.80
αi ∼ N (µα, σα),  ∼ HalfCauchy(0, 5), αi は n (μα, σα) であり、半コーシー (0, 5) である。 0.57
µβ ∼ N (0, 10), yij ∼ N (αi + βixij, ). μβ > N (0, 10), yij > N (αi + βixij, y) である。 0.82
METHOD TAANIS ANIS MCMC アニスMCMCのタニス方法 0.71
FINAL ESTIMATE 3.74e−8 ± 2.39e−9 1.15e−9 ± 3.02e−9 7.79e−18 ± 2.46e−17 FINAL ESTIMATE 3.74e−8 ± 2.39e−9 1.15e−9 ± 3.02e−9 7.79e−18 ± 2.46e−17 0.34
Table 1: Final estimates for the Radon experiments. 表1:Radon実験の最終見積もり。 0.62
The mean and standard deviation are estimated over 10 runs. 平均と標準偏差は10ラン以上と推定される。 0.81
We set σα = 0.12 and σβ = 0.22, with these values informed by preliminary analysis of the data. σα = 0.12 と σβ = 0.22 と設定し、これらの値はデータの予備分析によって示される。 0.69
We are interested in a decision problem similar to the one presented in [47, Chapter 9]. 私たちは[47, Chapter 9]で提示されたような決定問題に興味があります。 0.73
Concretely, we want to find out whether the radon level in all households is below an acceptable level. 具体的には、すべての世帯のラドンレベルが許容レベル以下であるかどうかを確認したい。 0.59
Informed by [47] we assume that a radon concentration below 4pCi/L does not require an intervention. 4pCi/L以下のラドン濃度は介入を必要としないと仮定した。 0.54
The probability of this event is equal to the expectation under the posterior of a step function f (x). この事象の確率はステップ関数 f(x) の後部における期待値と等しい。 0.67
However, to allow the use of HMC transition kernels we use a logistic function as a continuous relaxation of this step function. しかし、HMC遷移カーネルの使用を可能にするために、このステップ関数の連続緩和としてロジスティック関数を用いる。 0.80
See Appendix H for details. 詳細はAppendix Hを参照。 0.79
This problem cannot be solved analytically and, unlike before, estimating the ground-truth with sufficient accuracy is computationally infeasible. この問題は解析的には解けず、従来とは違い、十分な精度で地平線を推定することは計算不可能である。
訳抜け防止モード: この問題は解析的には解けず 以前と異なり 地面の推定 -十分な精度の真理は計算上不可能である。
0.66
We, therefore, resort to comparing TAAnIS (i.e. したがって、TAANIS(TAAnIS)と比較する。 0.64
EPT) and AnIS based on their ESSs, noting that a low ESS almost exclusively means a poor inference estimate, while a high ESS is a strong (but not absolute) indicator of good performance. EPT) と AnIS は ESS に基づいており、低い ESS は基本的に推論の見積もりが貧弱なことを意味するが、高い ESS は優れたパフォーマンスを示す強い(しかし絶対ではない)指標である。 0.81
As we can see in Figure 6, EPT outperforms standard AnIS by several orders of magnitude. 図6に示すように、EPTは標準的なAnISよりも数桁優れています。 0.71
Additionally, Table 1 presents the final expectation estimates for each method. さらに、テーブル1は各メソッドの最終的な期待値を示す。 0.73
All methods differ in their estimates. すべての方法が見積で異なる。 0.70
However, TAAnIS is the only one where the standard deviation of the estimate is small relative to its mean estimate, which, coupled with our ESS results, provides strong evidence that it is significantly outperforming the baselines. しかし,評価値の標準偏差が平均推定値と比較して小さいのはTAAnISのみであり,ESSの結果と合わせて,基準値が著しく上回っていることを示す強い証拠が得られている。 0.81
In particular, it seems clear that the MCMC (here HMC) estimate is very poor, as its estimate is many orders of magnitude smaller than the others, indicating it has failed to produce any samples in regions where f (x) is non-negligible. 特に、mcmc(以下 hmc)の推定値が他の値よりも桁違いに小さいため、f(x) が無視できない領域でサンプルを生成できなかったことを示しているため、非常に貧弱であることが明らかである。 0.67
Figure 6: ESS plots for the Radon experiment. 図6: Radon実験のためのESSプロット。 0.79
Conventions as in Figure 4. Results are computed over 10 runs/seeds. 図4のように。 結果は10回のラン/シードで計算される。 0.51
6 Discussion Limitations. The efficiency and ease of use of EPT depend largely on the underlying marginal likelihood estimator. 議論の制限は6つ。 EPTの効率性と使いやすさは、基礎となる限界確率推定器に大きく依存する。 0.59
AnIS is a powerful algorithm but it has several hyperparameters that need to be adjusted for a given model. AnISは強力なアルゴリズムだが、与えられたモデルのために調整する必要があるいくつかのハイパーパラメータを持つ。 0.64
This is not a fundamental limitation of EPT, because any new marginal likelihood estimators that emerge, which are more efficient and have fewer free parameters, can easily be incorporated into EPT. これはEPTの基本的な制限ではない、なぜなら、より効率的で自由パラメータの少ない新しい辺縁推定器は、簡単にEPTに組み込むことができるからである。 0.79
However, marginal likelihood estimation can itself sometimes be a more challenging task than generating posterior samples, as MCMC methods are suitable for the latter but not the former. しかし、MCMC法は後者に適しているが前者には適さないため、限界推定は後部サンプルを生成するよりも難しい場合がある。 0.69
As mentioned in Section 2.1, EPT inherits the property of TABI that its performance gain depends on the degree of mismatch between π(x) and π(x)f (x). 第2.1節で述べたように、ETP は π(x) と π(x)f(x) の間のミスマッチの度合いに依存するという TABI の性質を継承する。 0.74
Consequently, its use of TABI-based estimators may not always be beneficial for problems where this mismatch is low. したがって、TABIに基づく推定器の使用は、このミスマッチが低い問題に対して必ずしも有益であるとは限らない。 0.53
Conclusions. We have introduced the concept of an expectation programming framework (EPF). 結論。 我々は期待プログラミングフレームワーク(EPF)の概念を導入した。 0.64
An EPF allows users to encode expectations through the return values of a probabilistic program and then employs target-aware inference strategies to automatically estimate this effectively. EPFにより、ユーザは確率的プログラムの戻り値を通じて期待を符号化し、ターゲット認識推論戦略を用いてこれを効果的に見積もることができる。 0.72
We have presented a specific realization of an EPF, called EPT, based on Turing and shown that it accurately estimates expectations in practice, through a combination of program transformations and TABI-based estimators. 我々はチューリングに基づくEPF(EPP)の具体的実現を提案し、プログラム変換とTABIに基づく推定器の組み合わせにより、実際に期待されていることを正確に見積もっている。 0.70
The modularity of EPT means that it can easily be built on by others through alternative base inference algorithms or target-aware strategies. EPTのモジュラリティは、代替のベース推論アルゴリズムやターゲット認識戦略を通じて、他人によって簡単に構築できることを意味する。 0.72
All in all, we believe the general concept of EPF is an exciting addition to the literature that paves the way for further advancements. 全体として、EPFの一般的な概念は、さらなる進歩の道を開く文学へのエキサイティングな追加であると考えています。 0.73
9 9 0.85
英語(論文から抽出)日本語訳スコア
Acknowledgments We would like to thank Sheheryar Zaidi for helpful discussions on configuring Annealed Importance Sampling. 承認 私たちは、Annealed Importance Smplingの設定に関する有益な議論に、Sheheryar Zaidi氏に感謝します。 0.51
Tim Reichelt and Adam Goli´nski are supported by the UK EPSRC CDT in Autonomous Intelligent Machines and Systems. Tim Reichelt と Adam Goli ́nski は、イギリス EPSRC CDT の自律知能マシンとシステムでサポートされている。 0.79
References [1] Christian Robert and George Casella. 参照 [1] クリスチャン・ロバートとジョージ・カゼラ。 0.78
Monte Carlo Statistical Methods. モンテカルロ統計学。 0.53
Springer Texts in Statistics. Springer Texts in Statistics を参照。 0.83
Springer-Verlag, New York, second edition, 2004. springer-verlag, new york, second edition, 2004年。 0.71
ISBN 978-0-387-21239-5. doi: 10.1007/978-1-4757-4 145-2. ISBN 978-0-387-21239-5. doi: 10.1007/978-1-4757-4 145-2 0.30
[2] Andrew D. Gordon, Thomas A. Henzinger, Aditya V. Nori, and Sriram K. Rajamani. [2] andrew d. gordon, thomas a. henzinger, aditya v. nori, sriram k. rajamani。 0.73
Probabilistic Programming. 確率的プログラミング。 0.77
In Future of Software Engineering Proceedings, FOSE 2014, pages 167–181, New York, NY, USA, May 2014. In Future of Software Engineering Proceedings, FOSE 2014 page 167–181, New York, NY, USA, May 2014 0.82
Association for Computing Machinery. アソシエーション・フォー・コンピューティング・マシンズ(Association for Computing Machinery)の略。 0.36
ISBN 978-1-4503-2865-4. doi: 10.1145/2593882.2593 900. ISBN 978-1-4503-2865-4. doi: 10.1145/2593882.2593 900 0.38
[3] Jan-Willem van de Meent, Brooks Paige, Hongseok Yang, and Frank Wood. [3]Jan-Willem van de Meent、Brooks Paige、Hongseok Yang、Frank Wood。 0.75
An Introduction to Probabilistic Programming. 特集にあたって 確率的プログラミング。 0.65
arXiv:1809.10756 [cs, stat], September 2018. arXiv:1809.10756 [cs, stat], September 2018. 0.92
[4] G.M. Torrie and J.P. Valleau. [4]G.M. トーリーとj・p・ヴァロー 0.63
Nonphysical Sampling Distributions in Monte Carlo FreeEnergy Estimation: Umbrella Sampling. モンテカルロ自由エネルギー推定における非物理サンプリング分布:傘サンプリング 0.78
Journal of Computational Physics, 23(2):187 – 199, 1977. journal of computational physics, 23(2):187 – 199, 1977年。 0.85
ISSN 0021-9991. doi: https://doi.org/10.1 016/0021-9991(77)901 21-8. ISSN 0021-9991. doi: https://doi.org/10.1 016/0021-9991(77)901 21-8 0.51
URL http://www.sciencedi rect.com/science/art icle/pii/00219991779 01218. URL http://www.sciencedi rect.com/science/art icle/pii/002 1999177901218 0.35
[5] Timothy Classen Hesterberg. 5]Timothy Classen Hesterberg。 0.63
Advances in Importance Sampling. 重要度サンプリングの進歩。 0.70
PhD thesis, Stanford Univer- スタンフォード・ユニバー博士論文- 0.74
sity, 1988. 1988年、Sity。 0.74
[6] Robert L Wolpert. 6] ロバート・ル・ウルパート 0.67
Monte Carlo Integration in Bayesian Statistical Analysis. ベイズ統計解析におけるモンテカルロ積分 0.67
Contemporary Mathematics, 115:101–116, 1991. 現代 115:101–116, 1991年。 0.66
[7] Man-Suk Oh and James O Berger. [7]Man-Suk OhとJames O Berger。 0.93
Adaptive Importance Sampling in Monte Carlo Integration. モンテカルロ統合における適応的重要度サンプリング 0.73
Journal of Statistical Computation and Simulation, 41(3-4):143–168, 1992. Journal of Statistical Computation and Simulation, 41(3-4):143–168, 1992。 0.87
[8] Michael Evans, Tim Swartz, et al Methods for Approximating Integrals in Statistics with Special Emphasis on Bayesian Integration Problems. 8] Michael Evans, Tim Swartz, et al Methods for Approximating Integrals in Statistics with Special Em emphasissis on Bayesian Integration Problems。 0.78
Statistical science, 10(3):254–272, 1995. 統計学 10(3):254–272, 1995。 0.85
[9] Xiao-Li Meng and Wing Hung Wong. [9]Xiao-Li MengとWing Hung Wong。 0.83
Simulating Ratios of Normalizing Constants via a Simple 単純による正規化定数の比のシミュレーション 0.75
Identity: a Theoretical Exploration. アイデンティティ:理論的な探索。 0.77
Statistica Sinica, pages 831–860, 1996. シニカ統計 (1996年) 831-860頁。 0.59
[10] Ming-Hui Chen, Qi-Man Shao, et al On Monte Carlo Methods for Estimating Ratios of [10]Ming-Hui Chen, Qi-Man Shao, et al on Monte Carlo Methods for Estimating Ratios 0.96
Normalizing Constants. The Annals of Statistics, 25(4):1563–1594, 1997. 定数の正規化。 The Annals of Statistics, 25(4):1563–1594, 1997。 0.75
[11] Andrew Gelman and Xiao-Li Meng. 11]Andrew GelmanとXiao-Li Meng。 0.81
Simulating Normalizing Constants: From Importance 定数の正規化のシミュレーション:重要度から 0.57
Sampling to Bridge Sampling to Path Sampling. ブリッジサンプリングからパスサンプリングへのサンプリング。 0.71
Statistical science, pages 163–185, 1998. 統計学、163-185頁、1998年。 0.74
[12] Simon Lacoste-Julien, Ferenc Huszár, and Zoubin Ghahramani. 12] Simon La Coste-Julien, Ferenc Huszár, Zoubin Ghahramani 0.64
Approximate Inference for the Loss-Calibrated Bayesian. Loss-Calibrated Bayesianに対する近似推論 0.73
In International Conference on Artificial Intelligence and Statistics (AISTATS), pages 416–424, 2011. International Conference on Artificial Intelligence and Statistics (AISTATS) において、2011年416-424頁。 0.86
[13] Art B. Owen. 13] アート・b・オーウェン 0.59
Monte Carlo Theory, Methods and Examples. モンテカルロ理論、方法論、実例。 0.65
2013. [14] Adam Golinski, Frank Wood, and Tom Rainforth. 2013. 14]アダム・ゴリンスキー、フランク・ウッド、トム・レインフォース 0.68
Amortized Monte Carlo Integration. モンテカルロ統合 - モンテカルロ統合。 0.66
In International Conference on Machine Learning (ICML), pages 2309–2318. 国際機械学習会議(ICML)では2309–2318頁。 0.78
PMLR, May 2019. 2019年5月、PMLR。 0.66
[15] Tom Rainforth, Adam Golinski, Frank Wood, and Sheheryar Zaidi. Tom Rainforth氏、Adam Golinski氏、Frank Wood氏、Sheheryar Zaidi氏。 0.64
Target–Aware Bayesian Inference: How to Beat Optimal Conventional Estimators. Target–Aware Bayesian Inference: How to Beat Optimal Conventional Estimators。 0.92
Journal of Machine Learning Research, 21(88):1–54, 2020. Journal of Machine Learning Research, 21(88):1–54, 2020 0.94
[16] Eli Bingham, Jonathan P. Chen, Martin Jankowiak, Fritz Obermeyer, Neeraj Pradhan, Theofanis Karaletsos, Rohit Singh, Paul Szerlip, Paul Horsfall, and Noah D. Goodman. 16] Eli Bingham, Jonathan P. Chen, Martin Jankowiak, Fritz Obermeyer, Neeraj Pradhan, Theofanis Karaletsos, Rohit Singh, Paul Szerlip, Paul Horsfall, Noah D. Goodman。 0.81
Pyro: Deep Universal Probabilistic Programming. Pyro: Deep Universal Probabilistic Programming。 0.83
Journal of Machine Learning Research, 20(28):1–6, 2019. Journal of Machine Learning Research, 20(28):1-6, 2019 0.85
ISSN 1533-7928. ISSN 1533-7928。 0.76
10 10 0.85
英語(論文から抽出)日本語訳スコア
[17] Bob Carpenter, Andrew Gelman, Matthew D Hoffman, Daniel Lee, Ben Goodrich, Michael Betancourt, Marcus Brubaker, Jiqiang Guo, Peter Li, and Allen Riddell. Bob Carpenter氏、Andrew Gelman氏、Matthew D Hoffman氏、Daniel Lee氏、Ben Goodrich氏、Michael Betancourt氏、Marcus Brubaker氏、Jikiang Guo氏、Peter Li氏、Allen Riddell氏。 0.79
Stan: A probabilistic programming language. Stan: 確率的プログラミング言語です。 0.85
Journal of statistical software, 76(1), 2017. journal of statistical software, 76(1), 2017年。 0.77
[18] Marco F. Cusumano-Towner, Feras A. Saad, Alexander K. Lew, and Vikash K. Mansinghka. [18]Marco F. Cusumano-Towner, Feras A. Saad, Alexander K. Lew, Vikash K. Mansinghka 0.91
Gen: A General-Purpose Probabilistic Programming System with Programmable Inference. Gen: プログラマブル推論を備えた汎用確率型プログラミングシステム。 0.78
In Proceedings of the 40th ACM SIGPLAN Conference on Programming Language Design and Implementation, PLDI 2019, pages 221–236, New York, NY, USA, June 2019. 第40回ACM SIGPLAN Conference on Programming Language Design and Implementation, PLDI 2019, page 221–236, New York, NY, USA, June 2019 に参加して 0.86
Association for Computing Machinery. アソシエーション・フォー・コンピューティング・マシンズ(Association for Computing Machinery)の略。 0.36
ISBN 978-1-4503-6712-7. doi: 10.1145/3314221.3314 642. ISBN 978-1-4503-6712-7. doi: 10.1145/3314221.3314 642 0.39
[19] Hong Ge, Kai Xu, and Zoubin Ghahramani. [19]Hong Ge, Kai Xu, Zoubin Ghahramani 0.56
Turing: A Language for Flexible Probabilistic Inference. turing: 柔軟な確率的推論のための言語。 0.67
In International Conference on Artificial Intelligence and Statistics (AISTATS), pages 1682–1690. International Conference on Artificial Intelligence and Statistics (AISTATS) 1682–1690頁。 0.78
PMLR, March 2018. 2018年3月、PMLR。 0.64
[20] John Salvatier, Thomas V Wiecki, and Christopher Fonnesbeck. John Salvatier氏、Thomas V Wiecki氏、Christopher Fonnesbeck氏。 0.60
Probabilistic Programming in 確率的プログラミング 0.71
Python Using PyMC3. pymc3を使用するpython。 0.62
PeerJ Computer Science, 2:e55, 2016. PeerJ Computer Science, 2:e55, 2016 0.82
[21] Dustin Tran, Alp Kucukelbir, Adji B Dieng, Maja Rudolph, Dawen Liang, and David M Blei. [21]Dustin Tran、Alp Kucukelbir、Adji B Dieng、Maja Rudolph、Dawen Liang、David M Blei。 0.63
Edward: A Library for Probabilistic Modeling, Inference, and Criticism. Edward: 確率的モデリング、推論、批判のためのライブラリ。 0.72
arXiv preprint arXiv:1610.09787, 2016. arXiv preprint arXiv:1610.09787, 2016 0.80
[22] Frank Wood, Jan Willem Meent, and Vikash Mansinghka. 22]フランク・ウッド、ヤン・ウィレム・ミエント、ヴィカシュ・マンシンカ 0.49
A New Approach to Probabilistic Programming Inference. 確率的プログラミング推論への新しいアプローチ。 0.79
In International Conference on Artificial Intelligence and Statistics (AISTATS), pages 1024–1032. International Conference on Artificial Intelligence and Statistics (AISTATS) において、1024-1032頁。 0.87
PMLR, April 2014. 2014年4月、PMLR。 0.64
[23] Vikash K. Mansinghka, Daniel Selsam, and Yura N. Perov. [23] Vikash K. Mansinghka, Daniel Selsam, Yura N. Perov 0.80
Venture: a higher-order probabilistic programming platform with programmable inference. venture: プログラム可能な推論を備えた高階確率プログラミングプラットフォーム。 0.78
CoRR, abs/1404.0099, 2014. CoRR, abs/1404.0099, 2014 0.77
URL http://arxiv.org/abs /1404.0099. URL http://arxiv.org/abs /1404.0099 0.46
[24] Noah D. Goodman, Vikash K. Mansinghka, Daniel Roy, Keith Bonawitz, and Joshua B. TenenIn Proceedings of the Twenty-Fourth baum. [24]Noah D. Goodman, Vikash K. Mansinghka, Daniel Roy, Keith Bonawitz, Joshua B. TenenIn Proceedings of the Twenty-4th baum。 0.94
Church: A language for generative models. 教会: 生成モデルのための言語。 0.86
Conference on Uncertainty in Artificial Intelligence, UAI’08, page 220–229, Arlington, Virginia, USA, 2008. Conference on Uncertainty in Artificial Intelligence, UAI’08, page 220–229, Arlington, Virginia, USA, 2008 0.87
AUAI Press. AUAI Press 0.54
ISBN 0974903949. ISBN 0974903949。 0.81
[25] Noah D Goodman and Andreas Stuhlmüller. 25]noah d goodmanとandreas stuhlmüller。 0.51
The Design and Implementation of Probabilistic Programming Languages. 確率論の設計と実装 プログラミング言語。 0.74
http://dippl.org, 2014. http://dippl.org, 2014 0.77
Accessed: 2021-5-21. 2021-5-21頁。 0.60
[26] Zenna Tavares, Xin Zhang, James Koppel, Ria Das, and Armando Solar Lezama. [26]Zenna Tavares氏、Xin Zhang氏、James Koppel氏、Ria Das氏、Armando Solar Lezama氏。 0.73
A language for counterfactual generative models. 言語 対物生成モデルです 0.48
2019. [27] Daan Fierens, Guy Van den Broeck, Joris Renkens, Dimitar Shterionov, Bernd Gutmann, Ingo Thon, Gerda Janssens, and Luc De Raedt. 2019. Daan Fierens氏、Guy Van den Broeck氏、Joris Renkens氏、Dimitar Shterionov氏、Bernd Gutmann氏、Ingo Thon氏、Gerda Janssens氏、Luc De Raedt氏。
訳抜け防止モード: 2019. [27 ]Daan Fierens, Guy Van den Broeck, Joris Renkens, Dimitar Shterionov, Bernd Gutmann, Ingo Thon, Gerda Janssens Luc De Raedt氏。
0.81
Inference and learning in probabilistic logic programs using weighted boolean formulas. 重み付きブール式を用いた確率論理プログラムの推論と学習 0.80
Theory and Practice of Logic Programming, 15(3):358–401, 2015. doi: 10.1017/S14710684140 00076. 論理プログラミングの理論と実践 15(3):358–401, 2015 doi: 10.1017/s14710684140 00076 0.83
[28] Lawrence M. Murray and Thomas B. Schön. 28]ローレンス・m・マレーとトーマス・b・シェーン 0.66
Automated learning with a probabilistic programming language: Birch. 確率的プログラミング言語による自動学習: Birch。 0.84
Annual Reviews in Control, 46:29–43, 2018. 年次レビュー・イン・コントロール、2018年46:29-43。 0.52
ISSN 1367-5788. doi: https://doi.org/10.1 016/j.arcontrol.2018 .10.013. ISSN 1367-5788. doi: https://doi.org/10.1 016/j.arcontrol.2018 .10.013 0.36
URL https://www.scienced irect.com/ science/article/pii/ S1367578818301202. URL https://www.scienced irect.com/ science/article/pii/ S1367578818301202 0.41
[29] Praveen Narayanan, Jacques Carette, Wren Romano, Chung-Chieh Shan, and Robert Zinkov. Praveen Narayanan, Jacques Carette, Wren Romano, Chung-Chieh Shan, Robert Zinkov。 0.63
Probabilistic Inference by Program Transformation in Hakaru (System Description). ハ軽におけるプログラム変換による確率的推論(システム記述) 0.67
In Oleg Kiselyov and Andy King, editors, Functional and Logic Programming, volume 9613, pages 62–79. oleg kiselyov と andy king, editors, functional and logic programming, volume 9613, pages 62-79 において。 0.86
Springer International Publishing, Cham, 2016. Springer International Publishing, Cham, 2016 (英語) 0.86
ISBN 978-3-319-29603-6 978-3-31929604-3. doi: 10.1007/978-3-319-29 604-3_5. ISBN 978-3-319-29603-6 978-3-31929604-3. doi: 10.1007/978-3-319-29 604-3_5 0.26
[30] Tom Minka, John M. Winn, John P. Guiver, Yordan Zaykov, Dany Fabian, and John Bronskill. Tom Minka氏、John M. Winn氏、John P. Guiver氏、Yordan Zaykov氏、Dani Fabian氏、John Bronskill氏。 0.81
/Infer.NET 0.3, 2018. /Infer.NET 0.3, 2018 0.64
Microsoft Research Cambridge. microsoft research cambridge所属。 0.75
http://dotnet.github .io/infer. http://dotnet.github .io/infer。 0.44
[31] Radford M. Neal. 31] ラドフォード・m・ニール 0.51
Annealed Importance Sampling. Annealed Importance Smpling の略。 0.56
Statistics and Computing, 11(2):125–139, April 2001. 統計と計算, 11(2):125-139, April 2001 0.87
ISSN 0960-3174. doi: 10.1023/A:1008923215 028. ISSN 0960-3174. doi: 10.1023/A:1008923215 028 0.53
URL https://doi.org/10. URL https://doi.org/10。 0.58
1023/A:1008923215028 . 1023/A:1008923215028 。 0.49
11 11 0.85
英語(論文から抽出)日本語訳スコア
[32] Tom Rainforth. トム・レインフォース(Tom Rainforth)。 0.60
Automating Inference, Learning, and Design Using Probabilistic Programming. 確率的プログラミングを用いた推論、学習、設計の自動化。 0.72
http://purl.org/dc/d cmitype/Text, University of Oxford, 2017. オックスフォード大学、2017年、dc/dcmitype/Text。 0.75
[33] Jeff Bezanson, Alan Edelman, Stefan Karpinski, and Viral B. Shah. [33]Jeff Bezanson、Alan Edelman、Stefan Karpinski、Viral B. Shah。 0.73
Julia: A Fresh Approach to Numerical Computing. Julia: 数値コンピューティングへの新たなアプローチ。 0.77
SIAM Review, 59(1):65–98, January 2017. SIAM Review, 59(1):65–98, January 2017 0.92
ISSN 0036-1445. doi: 10.1137/141000671. ISSN0036-1445. doi:10.1137/14100067 1 0.54
[34] Robert Zinkov and Chung-Chieh Shan. [34]Robert ZinkovとChung-Chieh Shan。 0.86
Composing Inference Algorithms as Program Transfor- プログラムトランスフォーメーションとしての合成推論アルゴリズム- 0.56
mations. Proceedings of Uncertainty in Artificial Intelligence (UAI), page 10, 2017. マッツ Proceedings of Uncertainty in Artificial Intelligence (UAI) 2017年10月10日閲覧。 0.62
[35] Pierre Del Moral, Arnaud Doucet, and Ajay Jasra. [35]Pierre Del Moral、Arnaud Doucet、Ajay Jasra。 0.67
Sequential Monte Carlo Samplers. モンテカルロ・サンプラー(Monte Carlo Samplers)。 0.52
Journal of the Royal Statistical Society: Series B (Statistical Methodology), 68(3):411–436, 2006. 日誌 the royal statistical society: series b (statistical methodology), 68(3):411–436, 2006 (英語) 0.79
[36] Hanna M. Wallach, Iain Murray, Ruslan Salakhutdinov, and David Mimno. Hanna M. Wallach氏、Iain Murray氏、Ruslan Salakhutdinov氏、David Mimno氏。 0.74
Evaluation Methods for Topic Models, page 1105–1112. トピックモデルの評価方法 1105–1112頁。 0.77
Association for Computing Machinery, New York, NY, USA, 2009. Association for Computing Machinery, New York, NY, USA, 2009 (英語) 0.86
ISBN 9781605585161. ISBN 9781605585161。 0.82
URL https://doi.org/10.1 145/1553374.1553515. URL https://doi.org/10.1 145/1553374.1553515 0.41
[37] Ruslan Salakhutdinov and Hugo Larochelle. [37]Ruslan Salakhutdinov氏とHugo Larochelle氏。 0.82
Efficient Learning of Deep Boltzmann Machines. ディープボルツマンマシンの効率的な学習 0.54
In Yee Whye Teh and Mike Titterington, editors, International Conference on Artificial Intelligence and Statistics (AISTATS), volume 9 of Proceedings of Machine Learning Research, pages 693– 700, Chia Laguna Resort, Sardinia, Italy, 13–15 May 2010. Yee Whye Teh and Mike Titterington, editors, International Conference on Artificial Intelligence and Statistics (AISTATS), Volume 9 of Proceedings of Machine Learning Research, pages 693–700, Chia Laguna Resort, Sardinia, Italy, 13–15 May 2010 0.83
JMLR Workshop and Conference Proceedings. JMLRワークショップと会議の開催。 0.82
URL http://proceedings.m lr.press/v9/salakhut dinov10a.html. URL http://proceedings.m lr.press/v9/salakhut dinov10a.html 0.35
[38] Yuhuai Wu, Yuri Burda, R. Salakhutdinov, and Roger B. Grosse. [38]ユフアイ・ウー、ユリ・ブルダ、R. Salakhutdinov、Roger B. Grosse。 0.63
On the Quantitative Analysis of Decoder-Based Generative Models. デコーダに基づく生成モデルの定量的解析について 0.74
International Conference on Learning Representations (ICLR), 2017. ICLR(International Conference on Learning Representations) 2017年。 0.75
[39] The Turing Development Team. [39] チューリング開発チームです。 0.62
TuringLang/AdvancedM H.jl. TuringLang/AdvancedM H.jl 0.56
The Turing Language, October チューリング語 10月 0.37
2020. URL https://github.com/T uringLang/AdvancedMH .jl. 2020. URL https://github.com/T uringLang/AdvancedMH .jl 0.66
[40] Radford M. Neal. 40] ラドフォード・m・ニール 0.52
MCMC Using Hamiltonian Dynamics. ハミルトニアン・ダイナミクスを用いたMCMC。 0.58
In Handbook of Markov Chain Monte マルコフ連鎖モンテのハンドブックで 0.59
Carlo, pages 113–162. Caro, page 113–162。 0.63
Chapman & Hall / CRC Press, 2011. Chapman & Hall / CRC Press, 2011 0.70
[41] M. Hoffman and A. Gelman. 41]m.ホフマンとa.ゲルマン 0.63
The No-U-turn Sampler: Adaptively Setting Path Lengths in ノーターンサンプリング機:パス長を適宜設定する 0.71
Hamiltonian Monte Carlo. ハミルトン・モンテ・カルロ所属。 0.62
Journal of Machine Learning Research, 15:1593–1623, 2014. Journal of Machine Learning Research, 15:1593–1623, 2014 0.87
[42] Michael Betancourt. マイケル・ベトンコート(Michael Betancourt)。 0.59
A Conceptual Introduction to Hamiltonian Monte Carlo, 2018. A Conceptual Introduction to Hamiltonian Monte Carlo, 2018。 0.81
[43] Kai Xu, Hong Ge, Will Tebbutt, Mohamed Tarek, Martin Trapp, and Zoubin Ghahramani. [43]Kai Xu、Hong Ge、Will Tebbutt、Mohamed Tarek、Martin Trapp、Zoubin Ghahramani。 0.64
AdvancedHMC.jl: A Robust, Modular and Efficient Implementation of Advanced HMC Algorithms. advancedhmc.jl: a robust, modular and efficient implementation of advanced hmc algorithms。 0.80
In Symposium on Advances in Approximate Bayesian Inference (AABI), pages 1–10. In Symposium on Advances in Approximate Bayesian Inference (AABI) 1-10頁。 0.75
PMLR, February 2020. PMLR、2020年2月。 0.77
[44] Aki Vehtari, Andrew Gelman, Daniel Simpson, Bob Carpenter, and Paul-Christian Bürkner. 44]Aki Vehtari氏、Andrew Gelman氏、Daniel Simpson氏、Bob Carpenter氏、Paul-Christian Bürkner氏。 0.79
Rank-Normalization, Folding, and Localization: An Improved (cid:98)R for Assessing Convergence of ランクNormalization, Folding and Localization: An Improved (cid:98) R for Assessing Convergence of Convergence 0.94
MCMC. Bayesian Analysis, 2020. doi: 10.1214/20-BA1221. MCMC。 Bayesian Analysis, 2020. doi: 10.1214/20-BA1221. 0.73
URL https://doi.org/10. URL https://doi.org/10。 0.58
1214/20-BA1221. 1214/20-BA1221。 0.40
Advance publication. [45] William Ogilvy Kermack, A. G. McKendrick, and Gilbert Thomas Walker. 先行出版。 45]ウィリアム・オギルビー・カーマック、a・g・マッケンドリック、ギルバート・トーマス・ウォーカー。 0.60
A Contribution to the Mathematical Theory of Epidemics. 流行の数学的理論への貢献。 0.60
Proceedings of the Royal Society of London. ロンドン王立協会 (Royal Society of London) の略。 0.62
Series A, Containing Papers of a Mathematical and Physical Character, 115(772):700–721, August 1927. doi: 10.1098/rspa.1927.01 18. 連載 A, Containing Papers of a Mathematical and Physical Character, 115(772):700–721, August 1927. doi: 10.1098/rspa.1927.01 18 0.77
[46] Andrew Gelman and Jennifer Hill. アンドリュー・ゲルマンとジェニファー・ヒル。 0.48
Data Analysis Using Regression and Multilevel/Hierarchi cal Models. 回帰モデルと階層モデルを用いたデータ解析 0.80
Analytical Methods for Social Research. 社会研究のための分析方法。 0.76
Cambridge University Press, 2006. doi: 10.1017/CBO978051179 0942. ケンブリッジ大学出版局, 2006. Doi: 10.1017/CBO978051179 0942 0.59
[47] Andrew Gelman, John B Carlin, Hal S Stern, David B Dunson, Aki Vehtari, and Donald B [47]Andrew Gelman、John B Carlin、Hal S Stern、David B Dunson、Aki Vehtari、Donald B 0.73
Rubin. Bayesian Data Analysis. Rubin ベイジアンデータ分析。 0.61
CRC press, 2013. CRC、2013年。 0.64
[48] Leo Grinsztajn, Elizaveta Semenova, Charles C. Margossian, and Julien Riou. He48] Leo Grinsztajn, Elizaveta Semenova, Charles C. Margossian, Julien Riou 0.72
Bayesian Workflow for Disease Transmission Modeling in Stan, 2020. ベイジアン 2020年、stanにおける疾病伝達モデリングのワークフロー。 0.64
12 12 0.85
英語(論文から抽出)日本語訳スコア
A Annealed Importance Sampling A Annealed Importance Smpling 0.77
Annealed importance sampling (AnIS) [31] is an inference algorithm which was developed with the goal of efficiently estimating the normalization constant Z of an unnormalized density γ(x). Annealed importance sample (AnIS) [31] は非正規化密度 γ(x) の正規化定数 Z を効率的に推定する目的で開発された推論アルゴリズムである。 0.86
It works by defining a sequence of annealing distributions π0(x), . これはアニーリング分布 π0(x) の列を定義することで機能する。 0.63
. . , πn(x) which interpolate between a simple base distribution π0(x) (typically the prior for a Bayesian model) and the complex target density πn(x) = γ(x). . . πn(x) は単純基底分布 π0(x) と複素対象密度 πn(x) = γ(x) の間を補間する。
訳抜け防止モード: . . 単純な基底分布 π0(x ) の間に補間する ,πn(x ) (典型的にはベイズ模型の事前) そして、複素対象密度 πn(x ) = γ(x ) である。
0.86
The most common scheme is to take 最も一般的なスキームは 0.58
πi(x) ∝ λi(x) = π0(x)1−βn γ(x)βn , πi(x) > λi(x) = π0(x)1−βn γ(x)βn , 0.88
(6) with 0 = β0 < . (6) with 0 = β0 < . 0.91
. . < βn = 1. . . <βn = 1。 0.86
The algorithm further requires the definition of Markov chain transition kernels τ1(x, x(cid:48)), . このアルゴリズムはさらにマルコフ連鎖遷移核 τ1(x, x(cid:48)) の定義を必要とする。 0.80
. . , τn−1(x, x(cid:48)) and proceed to generate the jth weighted sample as follows First, j ,·) and, sample initial particle x(1) finally, return sample x(n) . . , τn−1(x, x(cid:48)) とすると、第1, j ,·) の j 重み付きサンプルを生成し、サンプル初期粒子 x(1) が最終的にサンプル x(n) を返す。 0.86
j ∼ π0(x), then for i = 1, . i = 1 の場合、j は π0(x) である。 0.81
. . , (n − 1), generate x(i+1) j with weight . . , (n − 1), generate x(i+1) j with weight 0.87
∼ τi(x(i) は τi(x(i)) 0.83
j wj = λ1(x(1) π0(x(1) j wj = λ1(x(1) π0(x(1)) 0.88
j )λ2(x(2) j )λ1(x(2) j )λ2(x(2) j )λ1(x(2)) 0.99
j ) . . . λn(x(n) ) j ) . J)。 . . λn(x(n) ) j ) ) 。 0.81
. . λn−1(x(n) . . λn−1(x(n)) 0.81
j j ) (7) We can estimate expectations with the weights and samples just as in importance sampling. j j ) (7) 重みとサンプルによって、重要サンプリングと同様に期待を見積もることができる。 0.82
Thus we can estimate the expectation and the normalization constant as したがって、期待値と正規化定数を推定できる。 0.76
(cid:80)N (cid:80)N (cid:80)N (cid:80)N 0.81
j=1 wjf (x(n) j=1 wjf (x(n)) 0.84
j j=1 wj ) j j=1 wj ) 0.80
and Z ≈ 1 N zは 1 n である。 0.62
N(cid:88) j=1 n(cid:88) j=1 0.68
wj. Eπ(x)[f (x)] ≈ wj。 Eπ(x)[f(x)] ... 0.75
B Theoretical Details B.1 Assumptions in Definition 3 B 理論的詳細 B.1 定義3の前提 0.81
To ensure correctness most PPLs assume that a particular inference algorithm will converge to the distribution of F (i.e. 多くの PPL は正確性を確保するために、特定の推論アルゴリズムが F の分布に収束すると仮定する。 0.71
the distribution over return values). A standard PPL Monte Carlo inference engine will now produce a sequence of samples Fn, n = 1, 2, . 戻り値の分布)。 標準のPPLモンテカルロ推論エンジンがサンプルFn, n = 1, 2, の列を生成する。 0.56
. . and consistency requires that Fn converges in distribution to F as n → ∞. . . そして一貫性は、Fn が n → ∞ として F に収束することを要求する。 0.79
This is equivalent to requiring that for any integrable function h, E[h(Fn)] → E[h(F )]; and it presupposes that the distribution of F is a finite measure, i.e., E[F ] is finite. これは任意の可積分函数 h に対して E[h(Fn)] → E[h(F )] が成立することを要求し、F の分布が有限測度、すなわち E[F ] が有限であることを前提とする。 0.81
We thus see our assumption is strictly weaker than that of standard PPLs that allow return values from programs: we only need convergence in the case where h is the identity mapping, not all integrable functions. したがって、我々の仮定は、プログラムからの戻り値を可能にする標準pplよりも厳密に弱い: h が恒等写像である場合にのみ収束が必要であり、すべての可積分関数ではない。 0.71
B.2 Proof for Theorem 1 Theorem 1. B.2 Theorem 1 Theorem 1 の証明。 0.90
Let E be a valid expectation program in EPT with unnormalized density γ(x1:n), defined on possible traces x1:n ∈ X , and return value F = f (x1:n). E を非正規化密度 γ(x1:n) を持つ EPT の有効な期待プログラムとし、可能なトレース x1:n ∈ X 上で定義し、返却値 F = f (x1:n) とする。 0.82
Then γ+ 1 (x1:n) := 1 (x1:n) := −γ(x1:n) min(0, f (x1:n)), and γ2(x1:n) := γ(x1:n) are γ(x1:n) max(0, f (x1:n)), γ− all valid unnormalized probabilistic program densities. このとき γ+ 1 (x1:n) := 1 (x1:n) := −γ(x1:n) min(0, f (x1:n)) と γ2(x1:n) := γ(x1:n) は γ(x1:n) max(0, f (x1:n)) である。 0.83
Further, if { ˆZ + 1 }n, { ˆZ2}n are (cid:90) sequences of estimators for n = N+ such that さらに、 { sz + 1 }n であれば、 { sz2}n は n = n+ に対して (cid:90) 個の推定子列である。 0.71
1 }n, { ˆZ− 1 }n, { >Z− 0.86
(cid:90) γ2(x1:n)dµ(x1:n) X where p→ means convergence in probability as n → ∞, then ({ ˆZ + 1 }n − { ˆZ− (cid:90) γ2(x1:n)dμ(x1:n) x ここで p→ は n → ∞ の確率収束を意味する。
訳抜け防止モード: (cid:90) γ2(x1 : n)dμ(x1 : n ) X ここで p→ は n → ∞ として確率収束を意味する。 すると ( { >Z + 1 } n − { >Z−
0.79
1 }n)/{ ˆZ2}n 1 }n)/{ >Z2}n 0.89
X γ± 1 (x1:n)dµ(x1:n), X γ± 1 (x1:n)dμ(x1:n) 0.90
{ ˆZ2}n p→ { ˆZ± ‐Z2}n p→ {-Z± 0.71
1 }n p→ p→ E[F ]. 1 }n p→ p→E[F]。 0.78
Proof. We start by noting that as γ2(x1:n) is identical to γ(x1:n), it is by assumption a valid un1 ≥ 0,∀x1:n ∈ X . 証明。 まず、γ2(x1:n) は γ(x1:n) と同一であることから、有効な un1 ≥ 0 , x1:n ∈ x と仮定する。 0.70
normalized program density. 正規化プログラム密度 0.70
Meanwhile, by construction, γ(x1:n)+ Further, each can be written in the form of (2) by taking the correspond definition of γ(x1:n) and adding in factors exp(ψK+1) = max(0, f (x1:n)) and exp(ψK+1) = − min(0, f (x1:n)) for 1 respectively. 一方、構成により、γ(x1:n)+ は、対応する γ(x1:n) の定義を取り、それぞれ 1 に対して exp(ψk+1) = max(0, f (x1:n)) と exp(ψk+1) = − min(0, f (x1:n)) を加えることで (2) の形に書くことができる。 0.91
To finish the proof that γ±(x1:n) are valid densities, we show γ(x1:n)+ that 0 < Z± γ±(x1:n) が有効な密度であるという証明を終えるために、γ(x1:n)+ を 0 < z± とする。 0.76
1 and γ(x1:n)− 1およびγ(x1:n)− 0.92
1 , γ(x1:n)− 1 , γ(x1:n)− 0.94
1 < ∞. 13 1 < ∞. 13 0.85
英語(論文から抽出)日本語訳スコア
X X (cid:90) X X (cid:90) 0.83
X f (x1:n)dP(x1:n) = X f (x1:n)dP(x1:n) = 0.91
f +(x1:n)dP(x1:n) − f +(x1:n)dP(x1:n) − 0.96
Starting with the standard definition of an expectation for arbitrary random variables, we can express 任意の確率変数に対する期待の標準定義から始めると、私たちは表現できる。 0.80
(8) X f +(x1:n)dP(x1:n) < X f−(x1:n)dP(x1:n) < ∞. (8) X f +(x1:n)dP(x1:n) < X f−(x1:n)dP(x1:n) < ∞。 0.95
Now inserting the distribution the program defines over x1:n, (9) さて、x1:n, (9) 上でプログラムが定義するディストリビューションを挿入する。 0.68
E[F ] as(cid:90) Noting that if F is integrable then by the definition of the Lebesgue integral(cid:82) ∞ and(cid:82) (cid:90) and noting that γ(x1:n) ≥ 0 for all x1:n ∈ X and 0 <(cid:82) X f +(x1:n)γ(x1:n)dµ(x1:n) −(cid:82) (cid:82) 1 (x1:n)dµ(x1:n) −(cid:82) E[F ] as(cid:90) F が可積分であれば、ルベーグ積分(cid:82) ∞ と (cid:82) (cid:90) の定義により、すべての x1:n ∈ X と 0 <(cid:82) X f +(x1:n)γ(x1:n)dμ(x1:n) −(cid:82) (cid:82) 1 (x1:n)dμ(x1:n) −(cid:82) が定義される。 0.90
X f−(x1:n)γ(x1:n)dµ(x1:n) xf−(x1:n)γ(x1:n)dμ(x1:n) 0.94
f +(x1:n)π(x1:n)dµ(x1:n) − f +(x1:n)π(x1:n)dμ(x1:n) − 0.99
X γ(x1:n)dµ(x1:n) < ∞, X γ(x1:n)dμ(x1:n) < ∞, 0.95
f−(x1:n)π(x1:n)dµ(x1:n) f-(x1:n)π(x1:n)dμ(x1:n) 0.95
f−(x1:n)dP(x1:n). f−(x1:n)dp(x1:n) 0.90
(cid:90) (cid:90) (cid:82) (cid:82) (cid:90) (cid:90) (cid:82) (cid:82) 0.76
X γ(x1:n)dµ(x1:n) X γ(x1:n)dμ(x1:n) 0.97
1 (x1:n)dµ(x1:n) 1(x1:n)dμ(x1:n) 0.95
= X X X γ− = X X X γ− 0.86
= = X γ+ (cid:82) = = X γ+ (cid:82) 0.84
1 − Z− Z + Z2 1 − Z− Z + Z2 0.92
=: . p→ Z− 1 , and { ˆZ2}n =: . p→Z−1 と { >Z2}n 0.84
1 (10) (11) p→ Z2, 1 (10) (11)p→Z2, 0.85
(12) In our theorem statement we have assumed that { ˆZ + from which it now follows by Slutsky’s Theorem that p→ Z + (12) 定理の文の中で、我々は、現在 Slutsky's Theorem によって従う、p→Z + と仮定した。 0.84
1 }n − { ˆZ− 1 }n − { >Z− 0.87
{ ˆZ + X γ2(x1:n)dµ(x1:n) 1 }n p→ Z + 1 − Z− Z2 { >Z + X γ2(x1:n)dμ(x1:n) 1 }n p→Z + 1 − Z−Z2 0.89
1 }n 1 { ˆZ2}n 1 }n 1 ‐Z2}n 0.80
1 , { ˆZ− 1 }n 1 , { >Z− 1 }n 0.81
= E[F ] as required. = E[F ] 必要に応じて 0.80
C Estimating Expectations in Turing チューリングにおける予測Cの推定 0.49
C.1 Standard approach C.1 標準アプローチ 0.74
@model function model(y=2) model function model(y=2) 0.90
x ∼ Normal(0, 1) y ∼ Normal(x, 1) x が正規(0, 1) y が正規(x, 1)である。 0.62
end num_samples = 1000 posterior_samples = sample(model(), NUTS(0.65), num_samples) 終わり num_samples = 1000 rear_samples = sample(model(), NUTS(0.65), num_samples) 0.83
f(x) = x^3 posterior_x = Array(posterior_samp les[:x]) expectation_estimate = mean(map(f, posterior_x)) f(x) = x^3 posterior_x = array(posterior_samp les[:x]) expectation_estimate = mean(map(f, posterior_x)) 0.91
Full example of the estimation of an expectation with the Turing language. チューリング言語による期待の推定の完全な例。 0.62
The user first defines the model, then conditions it on some observed data, computes posterior samples and then uses these samples to compute a Monte Carlo estimate of the expectation. ユーザーはまずモデルを定義し、次に観測データにそれを条件付け、後続サンプルを計算し、これらのサンプルを使用して予測のモンテカルロ推定を計算する。 0.83
C.2 Using generated_quantities C.2 generated_quantities の使用 0.51
When we designed the API Turing largely ignored the return statements in the model definition. APIを設計した時、Turingはモデル定義の戻りステートメントを無視していました。 0.64
In the meantime Turing introduced a convenience function generated_quantities . その間、Turingは便利な関数生成_quantitiesを導入した。 0.54
Given a model and N samples it returns a list of the N return values generated by running the program on each sample. モデルとNサンプルが与えられたら、各サンプル上でプログラムを実行して生成されたN戻り値のリストを返す。 0.88
Note that generated_quantities reruns the entire model function for each posterior sample to compute the return value. generated_quantities は、各後方サンプルのモデル関数全体を再実行して戻り値を計算することに注意してください。 0.66
This means that for models which have an expensive likelihood computation the use of generated_quantities might incur a significant overhead. これは、コストのかかる計算量を持つモデルでは、gened_quantityの使用が大きなオーバーヘッドを負う可能性があることを意味する。 0.57
It is important to note that generated_quantities is merely a convenience function and does not change how Turing interprets model definitions. generated_quantities は単に便利な関数であり、Turing がモデル定義をどのように解釈するかは変更しない点に注意が必要だ。 0.60
In fact, the generated_quantities function provides complimentary functionality and Turing models generated with EPT can use this function without problems. 実際、 generated_quantities 関数は補完機能を提供し、ETTで生成されたチューリングモデルは問題なくこの関数を使うことができる。 0.66
The example from Section C.1 can be rewritten to use generated_quantities : C.1節の例は次のように書き直すことができる。 0.59
14 14 0.85
英語(論文から抽出)日本語訳スコア
@model function model(y=2) model function model(y=2) 0.90
x ∼ Normal(0, 1) y ∼ Normal(x, 1) return x^3 x > Normal(0, 1) y > Normal(x, 1) は x^3 を返す 0.83
end num_samples = 1000 posterior_samples = sample(model(), NUTS(0.65), num_samples) 終わり num_samples = 1000 rear_samples = sample(model(), NUTS(0.65), num_samples) 0.83
expectation_estimate = mean(generated_quant ities(model(), (cid:44)→ expectation_estimate = mean( generated_quantities (model(), (cid:44)→ 0.91
posterior_samples)) rear_samples) 0.77
D Full Example of @expectation Macro Transformation d @expectationマクロ変換の完全な例 0.74
The expectation @expectation function expt_prog(y) expectation @expectation function expt_prog(y) 0.93
x ∼ Normal(0, 1) y ∼ Normal(x, 1) return x^3 x > Normal(0, 1) y > Normal(x, 1) は x^3 を返す 0.83
end gets transformed into @model function gamma1_plus(y) end は @model 関数 gamma1_plus(y) 0.82
x ∼ Normal(0, 1) y ∼ Normal(x, 1) tmp = x^3 if _context isa Turing.DefaultContex t tmp = x^3 if _context isa Turing.DefaultContex t 0.29
@addlogprob! @addlogprob! 0.85
(log(max(tmp, 0))) (log(max(tmp, 0))) 0.85
end return tmp end return tmp 0.85
end @model function gamma1_minus(y) 終わり model function gamma1_minus(y) 0.79
x ∼ Normal(0, 1) y ∼ Normal(x, 1) tmp = x^3 if _context isa Turing.DefaultContex t tmp = x^3 if _context isa Turing.DefaultContex t 0.29
@addlogprob! @addlogprob! 0.85
(log(-min(tmp, 0))) (log(-min(tmp, 0))) 0.85
end return tmp end return tmp 0.85
end end ) @model function gamma2(y) 終わり 終わり ) model function gamma2(y) 0.77
x ∼ Normal(0, 1) y ∼ Normal(x, 1) return x^3 x > Normal(0, 1) y > Normal(x, 1) は x^3 を返す 0.83
expt_prog = Expectation( expt_prog = expectation( 0.79
gamma1_plus, gamma1_minus, gamma2 gamma1_plus, gamma1_minus, gamma2 0.54
The type Expectation is simply used to have one common object which stores the three different Turing models. タイプ期待は、単に3つの異なるチューリングモデルを格納する1つの共通オブジェクトを持つために使用される。
訳抜け防止モード: 型期待は単純に使われる 3つの異なるチューリングモデルを格納する1つの共通オブジェクトを持つ。
0.70
Notice that for gamma2 the function body is identical to the original function. ガンマ2では、函数体は元の関数と同一である。 0.75
For gamma1_plus and gamma1_minus we also have to check in what _context the model is executed in. gamma1_plus と gamma1_minus については、モデルが実行されている _context もチェックする必要があります。 0.58
Turing allows to execute the model with different contexts which change the model behaviour. turingは、モデルの振る舞いを変える異なるコンテキストでモデルを実行することができる。 0.71
For example, there is a PriorContext which essentially ignores the tilde statements which have observed 例えば、観測した tilde 文を基本的に無視する PreorContext がある。 0.63
15 15 0.85
英語(論文から抽出)日本語訳スコア
data on the LHS. This is useful for evaluating the prior probability of some parameters. LHSのデータ。 これはいくつかのパラメータの事前確率を評価するのに有用である。 0.61
However, by default the @addlogprob macro ignores the model context. しかし、デフォルトでは@addlogprobマクロはモデルコンテキストを無視する。 0.79
As a consequence if a Turing model includes an @addlogprob macro and is executed with a PriorContext then it no longer calculates the log prior probability but instead the log prior probability plus whatever value was added with the @addlogprob statement. その結果、チューリングモデルに@addlogprobマクロが含まれ、 priorcontextで実行される場合、それはもはやログの事前確率を計算せず、代わりに@addlogprobステートメントで付加された値とログの事前確率を計算します。 0.76
Since we want to use the Turing model with Annealed Importance Sampling we need to be able to extract the prior from our model and hence we need to ensure that we do not call @addlogprob when executed in a PriorContext. annealed importance samplingでチューリングモデルを使用したいので、モデルから事前値を抽出することが可能でなければならないので、predirecontextで実行すると@addlogprobを呼び出さないようにする必要があります。 0.69
This is what the added if clause ensures. これは、追加のif節が保証するものです。 0.62
E Different Estimators for Z + Z + に対する E different Estimator 0.92
1 , Z− 1 and Z2 1 , Z− 1とZ2 0.90
The target function f (x) = x2 in the following expectation is always positive: @expectation function expt_prog(y) 次の期待における対象関数 f (x) = x2 は常に正である: @expectation function expt_prog(y) 0.87
x ∼ Normal(0, 1) y ∼ Normal(x, 1) return x^2 x > Normal(0, 1) y > Normal(x, 1) は x^2 を返す 0.83
end Therefore, we already know that Z− 1 = 0, so it would be wasteful to spend computational resources on estimating Z− 1 . したがって、Z− 1 = 0 であることは既に分かっているので、Z− 1 を推定するのに計算資源を使うのは無駄である。 0.67
EPT allows users to specify the marginal likelihood estimator for each of the terms in TABI separately which means if the user knows that the target function is always positive they can specify that 0 samples should be used to estimate Z− 1 : expct_estimate, diagnostics = estimate_expectation ( eptは、ユーザがtabiの各用語について、目標関数が常に正であることを知っている場合、z−1 : expct_estimate, diagnostics = estimate_expectation ()を推定するために0サンプルを使用するように指定できる。 0.75
expt_prog(2), TABI( expt_prog(2), TABI( 0.96
TuringAlgorithm(AnIS (), num_samples=1000), # Z + # Z− 1 TuringAlgorithm(AnIS (), num_samples=0), 1 TuringAlgorithm(AnIS (), num_samples=1000) # Z2 TuringAlgorithm(AnIS (), num_samples=1000), # Z + # Z − 1 TuringAlgorithm(AnIS (), num_samples=0), 1 TuringAlgorithm(AnIS (), num_samples=1000) # Z2 0.99
)) It is easy to see how this can be adapted to the case in which we have Z + 1 = 0. ) これが z + 1 = 0 の場合にどのように適応できるかは容易にわかる。 0.58
This interface is not just useful for avoiding unnecessary computation, in some cases the user might also want to have different marginal likelihood estimators for each term. このインターフェースは、不要な計算を避けるのに有用であるだけでなく、ある場合では、ユーザーは、各用語に対して異なる限界確率推定子を欲しがるかもしれない。
訳抜け防止モード: このインターフェースは不要な計算を避けるのに有用ではない。 場合によっては 利用者は それぞれの期間の 差分推定器を欲しがるかもしれない
0.69
This allows user to further tailor the inference algorithm for the given target function f (x). これにより、ユーザは所定のターゲット関数 f (x) に対する推論アルゴリズムをさらに調整することができる。 0.76
F Hyperparameters for Experiments 実験用Fハイパーパラメータ 0.88
Target-aware annealed importance sampling (TAAnIS) runs standard annealed importance sampling twice: one time to estimate Z + 1 and the other time to estimate Z2. TAAnIS(Target-Aware Annealed importance sample)は、Z + 1を推定する1回、Z2を推定する2回、標準アニールド重要サンプリングを実行する。 0.68
For each of the problems we always use the same hyperparameters for the annealed importance sampling algorithm both to run AnIS and for the two estimates in TAAnIS. それぞれの問題に対して、AnISの実行とTAAnISの2つの推定の両方に、アニールされた重要度サンプリングアルゴリズムに、常に同じハイパーパラメータを使用します。 0.67
All of our experiments were run on a server with 56 cores and Intel(R) Xeon(R) Gold 5120 CPUs. 実験はすべて56コアとIntel(R) Xeon(R) Gold 5120 CPUを搭載したサーバ上で実行されました。 0.88
Running times for the individual scripts are given in the code supplementary. 個々のスクリプトの実行時間は、コードサプリメントで指定される。 0.71
F.1 Posterior Predictive For the annealed importance sampling, we use a MH transition kernel with an isotropic Gaussian with covariance 0.5I as a proposal and 5 MH steps on each annealing distribution. f.1 後方予測 アニーリング重要度サンプリングのために、共分散0.5iの等方ガウス型を持つmh遷移核と、各アニーリング分布の5mhステップを用いる。 0.66
We use 100 uniformly spaced annealing distributions. 均一間隔のアニール分布を100個使用する。 0.68
For the MCMC, we collect 5 · 106 samples in total. mcmcでは、合計で5 × 106 のサンプルを収集する。 0.63
To parallelise sampling we run 500 chains with 104 samples each in parallel, discarding the first 103 samples as burn-in. サンプリングを並列化するために、それぞれ104のサンプルを含む500のチェーンを並列に実行し、最初の103のサンプルをバーンインとして破棄します。 0.55
We use a MH transition kernel with standard Normal proposal. 標準正規提案でMH遷移カーネルを使用する。 0.64
F.2 SIR Model F.2 SIRモデル 0.76
For the annealed importance sampling estimators we use HMC transition kernels with a step size of 0.05, 10 leapfrog steps and 10 MCMC steps on each annealing distribution. 加熱重要度サンプリング推定器では、各アニール分布にステップサイズ0.05、跳躍ステップ10、MCMCステップ10のHMC遷移カーネルを用いる。 0.73
We use 100 geometrically spaced annealing distributions. 幾何間隔のアニーリング分布を100個使う。 0.56
16 16 0.85
英語(論文から抽出)日本語訳スコア
For the MCMC model we collect 106 samples in total with Turing’s implementation of NUTS and a target acceptance rate of 65%.3 We parallelise sampling over 102 chains with 104 samples and discard the first 103 samples as burn-in. MCMCモデルでは、チューリングのNUTS実装と目標受け入れ率65%と合わせて合計106個のサンプルを収集し、104個のサンプルを持つ102個のチェーンのサンプリングを並列化し、最初の103個のサンプルをバーンインとして破棄する。 0.72
The ground truth is computed using importance sampling with 108 samples and the prior as a proposal distribution. 基本真理は,108サンプルを用いた重要サンプリングと事前提案分布を用いて計算する。 0.80
See Equation (13) for the full SIR model including the priors. 事前を含む全sirモデルについて方程式 (13) を参照。 0.69
The observed data was generated from the model described in (13) with β = 0.25, I0 = 100, N = 104 and φ = 10 as the overdispersion parameter of the SIR model. 観測データは,SIRモデルの過分散パラメータとして,β = 0.25, I0 = 100, N = 104, φ = 10 を用いて (13) に記述されたモデルから生成した。 0.85
We generate data for 15 time steps. 15回のステップでデータを生成します。 0.68
F.3 Radon model F.3 ラドンモデル 0.62
We run TAAnIS and AnIS with 200 intermediate distributions and one step of the dynamic HMC transition kernel [42, 41] on each intermediate distribution with a step size of 0.044. 我々は,200の中間分布を持つTAAnISとAnISを,ステップサイズ0.044の各中間分布上に動的HMC遷移カーネル[42,41]の1ステップで実行する。 0.88
The step size was informed by running adaptive MCMC on the target distribution. 目標分布に適応MCMCを走らせることにより,ステップサイズを計測した。 0.72
G SIR Experiment We assume we are given data in the form of observations yi, the number of observed newly infected people on day i. Fixing γ = 0.25, this gives us the statistical model G SIR実験 γ = 0.25 を固定すると、統計モデルが得られます。
訳抜け防止モード: G SIR実験 我々は、観測の形でデータを与えられると仮定する。 当日新たに感染した 感染者の数は γ = 0.25, これは統計モデルをもたらします
0.83
β ∼ TruncatedNormal(2, 1.52, [0,∞]), S0 = 10000 − I0, x = ODESolve(β, γ, S0, I0, R0), β > TruncatedNormal(2, 1.52, [0,∞]), S0 = 10000 − I0, x = ODESolve(β, γ, S0, I0, R0) 0.87
I0 ∼ TruncatedNormal(100, 1002, [0, 10000]), R0 = 0, yi ∼ NegativeBinomial(µ = xi, φ = 0.5). i0 ~ truncated normal(100, 1002, [0, 10000]), r0 = 0, yi ] negativebinomial(μ = xi, φ = 0.5)。 0.86
(13a) (13b) (13c) (13a)(13b)(13c) 0.80
Here ODESolve indicates a call to a numerical ODE solver which solves the set of equations (4). ここでODESolveは、方程式の集合 (4) を解く数値ODEソルバへの呼び出しを示す。 0.82
It outputs xi, the predicted number of newly infected people on day i. i日に新たに感染した人の予想数であるxiを出力する。 0.69
We assume the observation process is noisy and model it using a negative binomial distribution, which is parametrised by a mean µ and an overdispersion coefficient φ. 観測過程がノイズであると考え、平均 μ と過分散係数 φ によってパラメトリ化される負の二項分布を用いてモデル化する。 0.83
For an in-depth discussion about doing Bayesian parameter inference in the SIR model we refer the reader to the case study of [48]. SIRモデルにおけるベイズパラメータ推論の実施に関する詳細な議論では、[48]のケーススタディを読者に紹介する。 0.74
We are further given a cost function in terms of R0, cost(R0) = 1012∗logistic(10R0−30). さらに、R0, cost(R0) = 1012∗logistic(10R0−30) の観点からコスト関数が与えられる。 0.79
Intuitively, the cost initially increases exponentially with R0. 直感的には、コストは当初r0で指数関数的に増加する。 0.53
However, the total cost also saturates for very large R0 (as the entire population becomes infected). しかし、総コストは(全人口が感染するにつれて)非常に大きなR0に飽和する。 0.76
H Hierarchical Radon Model The data for this problem was taken from: https://github.com/p ymc-devs/pymc-exampl es/ blob/main/examples/d ata/radon.csv (the repository uses an MIT license; the data contains no personally identifiable information). H階層ラドンモデル https://github.com/p ymc-devs/pymc-exampl es/blob/main/example s/data/radon.csv (リポジトリはMITライセンスを使用している。 0.67
The original data contains information about houses in 85 counties. 当初のデータは85郡の家屋に関する情報を含んでいる。 0.61
In order to make estimating normalization constants more tractable we reduce the number of counties to 20. 正規化定数の推定をより扱いやすくするために、郡数を20に減らす。 0.67
Our target function is a function of predicted radon levels yi for a typical house with a basement (i.e. 対象関数は, 地下(地下)を有する典型的な住宅におけるラドンレベルyiの予測関数である。 0.73
xi = 0) in county i; yi is calculated using the predictive equation given in (5b). xi = 0) in county i; yi is calculated using the predictive equation in (5b)。 0.83
We apply the function f (yi) = 関数を適用します f (yi) = 0.80
1 1 + exp(5(yi − 4)) 1 1 + exp(5(yi − 4)) 0.85
to all the predicted radon levels and then take the product of all the fi. 予測された全てのラドンレベルに到達し、すべてのfiの産物を取ります 0.60
Finally, to avoid floating point underflow we set a minimum value of 1e−200. 最後に、浮動小数点アンダーフローを避けるため、最小値は1e−200である。 0.65
I Multiple Expectations and Restrictions on f (·) f に対する複数の期待と制限 (·) 0.79
The user is not restricted to defining only one expectation per model. ユーザーはモデルごとに1つの期待しか定義できない。 0.68
By specifying multiple return values the user can specify multiple expectations. 複数の戻り値を指定することで、ユーザは複数の期待値を指定することができる。 0.58
The @expt_prog macro can recognise multiple return values and generates an expectation for each of them. expt_progマクロは複数の戻り値を認識し、それぞれに対して期待値を生成する。 0.80
The user can then estimate each expectation independently using estimate_expectation : ユーザはestimates_expectatio nを使って、各期待値を独立に見積もることができる。 0.55
3https://turing.ml/d ev/docs/library/#Tur ing.Inference.NUTS 3https://turing.ml/d ev/docs/library/#Tur ing.Inference.NUTS 0.32
17 17 0.85
英語(論文から抽出)日本語訳スコア
@expectation function expt_prog(y) expectation function expt_prog(y) 0.84
x ∼ Normal(0, 1) y ∼ Normal(x, 1) return x, x^2, x^3 x は正規(0, 1) y は正規(x, 1) を返す x, x^2, x^3 0.68
end y_observed = 3 expt_prog1, expr_prog2, expt_prog3 = expt_prog expct1 = expt_prog1(y_observe d) expct1_estimate, diagnostics = estimate_expectation ( end y_observed = 3 expt_prog1, expr_prog2, expt_prog3 = expt_prog expct1 = expt_prog1(y_observe d) expct1_estimate, diagnostics = estimate_expectation () 0.57
expct1, method=TABI(marginal_likeli hood_estimator=TuringAlgorithm( expct1, method=TABI(marginal_likeli hood_estimator=TuringAlgorithm() 0.47
AnIS(), num_samples=1000))) AnIS(), num_samples=1000)) 0.93
J Posterior Predictive Model in EPT EPTにおけるJ後部予測モデル 0.78
The expectation from Section 5.1 can be defined in just 5 lines of code with EPT: @expectation function expt_prog(y) セクション5.1からの期待は、eptで5行のコードで定義できる: @expectation function expt_prog(y) 0.86
x ∼ MvNormal(zeros(lengt h(y)), I) y ∼ MvNormal(x, I) return pdf(MvNormal(x, 0.5*I), -y) x > MvNormal(zeros(lengt h(y)), I) y > MvNormal(x, I) return pdf(MvNormal(x, 0.5*I), -y) 0.82
# x ∼ N (x; 0, I) # y ∼ N (y; x, I) # f (x) = N (−y; x, 1 #x , n (x; 0, i) # y , n (y; x, i) # f (x) = n (−y; x, 1) 0.74
2 I) end K Syntax Design 2位)。 終わり K構文設計 0.72
Prior works have considered two families of syntax design corresponding to the semantics required by EPF. 先行研究は、epfが要求する意味論に対応する構文設計の2つのファミリーを検討した。
訳抜け防止モード: 先行作品 EPFが必要とするセマンティクスに対応する構文設計の2つのファミリ。
0.71
[2] define the semantics for expectation computation via the syntax of probabilistic program’s return expression, which is the approach we adopted in the design of EPT. [2] eptの設計で私たちが採用したアプローチである、確率的プログラムの戻り表現の構文を通じて、期待計算のためのセマンティクスを定義します。 0.69
[34] take a different route and define the expectation semantics via the use of syntax expect(m, f) where m is the program defining a measure and f is the target function. [34] 異なる経路をとり、m を測度を定義するプログラムとし、f を対象関数とする構文 expect(m, f) を用いて期待意味を定義する。 0.73
While designing the interface of EPT we considered two different design for defining the target function: either letting users specify the target function implicitly through the return values of the function or allowing users to specify a target function f externally. ユーザが関数の戻り値を通じて暗黙的に対象関数を指定するか、ユーザが対象関数 f を外部に指定できるようにするかのどちらかである。
訳抜け防止モード: eptのインタフェースを設計する際、対象関数を定義するための2つの異なる設計を検討した。 ユーザが関数の戻り値を通じて目標関数を暗黙的に指定できるようにするか あるいは、ターゲット関数fを外部に指定できる。
0.77
The external function could then be passed to the estimate_expectation function explicitly. 外部関数は推測_expectation関数に明示的に渡すことができる。 0.83
For EPT, we decided to adopt the former of the two designs mainly due to the simplicity of the resulting user interface and implementation. eptについては、主にユーザインターフェースと実装の単純さから、前者の2つの設計を採用することにしました。 0.64
In particular, it allows for simple to execute program transformations of the @expectation macro into valid Turing programs to represent the individual densities, and thus the ability to use native Turing inference algorithms. 特に、@expectationマクロのプログラム変換を、個々の密度を表す有効なチューリングプログラムに簡単に実行することができるため、ネイティブチューリング推論アルゴリズムを使用することができる。 0.65
Adopting the other approach would additionally require designing and specifying the interface between the function signature f(.) 他のアプローチを採用するには、ファンクションシグネチャf(.)間のインターフェースの設計と指定が必要となる。 0.75
and the values of the named random draws performed by the model m. This would result in a more complex user-facing interface, at the slight advantage of improved compositionality of models and functions. そして、モデル m によって実行される名前付きランダムな描画の値は、モデルや関数の構成性が改善されたというわずかな利点を生かして、より複雑なユーザーインターフェイスとなる。 0.69
L SIR Discussion In the SIR experiment AnIS achieved a significantly lower RSE than MCMC even though both are non-target-aware. L SIR討論 SIR実験では、AnISはMCMCよりもかなり低いRSEを達成した。 0.66
Figure 7 shows samples from the different algorithms. 図7は、異なるアルゴリズムのサンプルを示しています。 0.70
The TAAnIS samples for Z1 visualise well in which regions of parameter space both the posterior and the target function have sufficient mass (β ∈ [0.5, 2.0]). Z1 の TAAnIS サンプルは、後方と対象関数の両方のパラメータ空間の領域が十分な質量 (β ∈ [0.5, 2.0]) を持つような、よく見える。 0.73
The samples from AnIS and MCMC suggest that most of the posterior mass is located in the interval β ∈ [0.3, 0.7]. AnISとMCMCのサンプルは、後部質量の大部分はβ ∈ [0.3, 0.7] の間隔にあることを示唆している。 0.68
However, AnIS also generates a significant amount of samples in the parameter region β ∈ [1.0, 1.5]. しかし、AnISはまたパラメータ領域 β ∈ [1.0, 1.5] にかなりの量のサンプルを生成する。 0.77
The samples in this second “mode” are directly in the region of the target-aware samples. この第2の“モード”のサンプルは、ターゲットを意識したサンプルの領域に直接配置される。 0.75
Further, the plots suggest that AnIS generates more samples in this regions than MCMC which is what allows AnIS to achieve a lower RSE. さらに、これらのプロットはAnISがMCMCよりも多くのサンプルを生成することを示唆している。
訳抜け防止モード: さらに、そのプロットが示唆される。 AnISはこの領域でMCMCよりも多くのサンプルを生成するため、AnISは低いRSEを達成することができる。
0.66
However, it seems that the AnIS represents the second “mode” disproportionally. しかし、AnISは第二の“モード”を不当に表現しているようだ。 0.69
Specifically looking at the burn-in samples from MCMC in Figure 7b shows that MCMC will converge to the parameter space in β ∈ [0.3, 0.7] even if the initial parameter samples are around β ∈ [1.0, 1.5]. 具体的には、図 7b のMCMC のバーンインサンプルを見ると、初期パラメータサンプルが β ∈ [1.0, 1.5] 付近であっても、MCMC は β ∈ [0.3, 0.7] のパラメータ空間に収束することを示している。
訳抜け防止モード: 図7bのMCMCからのサンプルでは、MCMCがβ ∈ [0.3,] のパラメータ空間に収束することを示している。 0.7 ] たとえ 初期パラメータのサンプルは β ∈ [1.0, 1.5 ] あたりです。
0.80
This indicates that this is not a failure of MCMC to detect another mode but rather that there is negligible posterior mass in これはMCMCが別のモードを検出するのに失敗したのではなく、無視可能な後部質量が存在することを示している。
訳抜け防止モード: これはMCMCが別のモードを検出する失敗ではないことを示している。 むしろ 後部質量が無視できる
0.77
18 18 0.85
英語(論文から抽出)日本語訳スコア
(a) MCMC samples. (a)MCMCサンプル。 0.70
(b) MCMC samples including burn-in samples (in black). (b)(黒)焼き込み試料を含むmcmc試料。 0.63
(c) AnIS samples. (c) AnIS サンプル。 0.72
(d) TAAnIS samples for Z1. (d)Z1のTAAnISサンプル。 0.73
Figure 7: Samples from the different algorithms for the SIR model. 図7:SIRモデルの異なるアルゴリズムからのサンプル。 0.69
Note that for Figure 7b some burn-in samples lie outside the boundaries of the plot but we adjusted the axis limits so that they are the same for all plots to allow for easier comparison. 図7bでは、いくつかのバーンインサンプルがプロットの境界外にありますが、軸制限を調整して、すべてのプロットがより簡単に比較できるようにしています。 0.65
that parameter region. そのパラメータ領域。 0.68
Therefore the better performance of AnIS compared to MCMC seems to occur mostly because AnIS got lucky by accidentally generating samples in the right parameter region. したがって, MCMCと比較して AnIS が良好な性能を示したのは, AnIS が正しいパラメータ領域のサンプルを誤って生成し, 運が良かったためと考えられる。 0.69
L.1 A Note on MCMC ESS L.1 MCMC ESSに関するノート 0.83
The SIR experiment provides a good example of how the MCMC ESS [44] is unreliable for our use case. SIR実験は、MCMC ESS[44]が我々のユースケースに対して信頼できないことを示す良い例である。 0.77
As detailed in Section F.2 for MCMC we run 100 chains with 10, 000 samples each. mcmcのセクションf.2で詳述したように、私たちはそれぞれ100,000のサンプルを持つ100のチェーンを実行します。
訳抜け防止モード: MCMCのF.2項に詳述 100の鎖と10万のサンプルを走らせます
0.73
This is replicated 5 times to get estimates on the variability in behaviour. 振る舞いのばらつきを見積もるために、これは5回複製されます。 0.56
After discarding the burn-in samples for each chain the 5 replications give us the following final ESS estimates: [631, 360; 805, 868; 873, 269; 665, 683; 5, 114]. 各チェーンのバーンインサンプルを破棄した後、5つの複製は以下の最終的なess推定値を与える: [631, 360; 805, 868; 873, 269; 665, 683; 5, 114]。 0.85
We observe that all but one replication give disproportionally high ESS estimates. 1つのレプリケーション以外はすべて、不当に高いESS推定を与えます。 0.53
We found that the replication which gives a more conservative ESS estimate of 5, 114 is the replication which generated samples in the parameter region β ∈ [1.0, 1.5] (see Figure 7a). その結果、より保守的なESS推定値である5,114は、パラメータ領域 β ∈ [1.0, 1.5] のサンプルを生成する複製であることがわかった(図7a参照)。 0.76
More importantly, the MCMC ESS estimates do not seem to show any correlation with the RSE values (see Figure 5) which is the more important metric because it directly measures the error in our estimate. さらに重要なことに、mcmc essの見積もりは、見積もりのエラーを直接測定するため、rseの値といかなる相関も示していないようです(図5参照)。
訳抜け防止モード: さらに重要なことは、MCMC ESS の見積もりは RSE の値との相関を示さないようである(図 5 参照)。 見積もりの誤差を直接測定するので、より重要な測定基準です。
0.78
Therefore, we decided against using the MCMC ESS in our evaluation because it can give the impression that MCMC is performing well when it is actually failing dramatically (in terms of RSE). したがって, MCMC ESSは, 実際に故障した場合に(RSEの観点から) MCMCが良好に機能しているという印象を与えることができるため, 評価にMCMC ESSを使用しないことを決定した。 0.71
19 19 0.85
英語(論文から抽出)日本語訳スコア
M Effective Sample Size (a) Gaussian Posterior Predictive. m 有効試料サイズ (a)gaussian posterior prediction。 0.66
Figure 8: Individual ESS values as defined in Section 5 for the three different experiments. 図8: 3つの異なる実験のセクション5で定義された個々のESS値。 0.82
Instead of taking min(ESSZ1 , ESSZ2 ) for TAAnIS and min(ESSAnIS retargeted, ESSAnIS) for AnIS we plot each value individually. TAAnIS のmin(ESSZ1 , ESSZ2 ) と AnIS のmin(ESSAnIS retargeted, ESSAnIS) を取る代わりに、それぞれの値を個別にプロットします。 0.82
Plotting each ESS value separately shows that the performance of AnIS is severely limited by its ability to generate samples in regions in which the target function f (x) is large. 各ESS値を別々に取得すると、ターゲット関数f(x)が大きい領域でサンプルを生成する能力により、AnISの性能が著しく制限されていることが分かる。
訳抜け防止モード: 各ESS値を分離する AnISの性能はその能力によって著しく制限されていることを示す 対象関数f(x)が大きい領域のサンプルを生成する。
0.87
This is indicated by the low values for ESSAnIS retargeted. これはESSAnISの再ターゲットの低い値によって示されます。 0.68
N Positive and Negative Target Functions N陽性および負のターゲット関数 0.86
(c) Radon. (b) SIR. (c)ラドン。 (b)SIR。 0.62
To demonstrate that EPT is also beneficial for target functions which are positive and negative we provide a brief description of a synthetic experiment. EPTは、正かつ負のターゲット関数にも有用であることを示すために、合成実験の簡単な記述を提供する。 0.74
We assume the following model which gives us a banana shaped density (see Figure 9): @expectation function banana() バナナの形をした密度を与える以下のモデルを仮定する(図9参照): @expectation function banana() 0.87
x1 ∼ Normal(0, 4) x2 ∼ Normal(0, 4) @addlogprob! x1 - 正規化(0, 4) x2 - 正規化(0, 4) @addlogprob! 0.79
(banana_density(x1, x2)) return banana_f(x1, x2) (banana_density(x1, x2)) return banana_f(x1, x2) 0.78
end banana_density(x1, x2) = -0.5*(0.03*x1^2+(x2/2+0.03*(x1^2-100))^2) Note that there is no observed data in this experiment which is why we chose to express the banana distribution as an unnormalized density (i.e. 終わり banana_density(x1, x2) = -0.5*(0.03*x1^2+(x2/2+0.03*(x1^2-100))^2) この実験では観測データがないため、バナナ分布を非正規化密度(すなわち、非正規化密度)として表現した。 0.70
use the @addlogprob! Addlogprobを使え! 0.51
primitive). Our target function is given by function banana_f(x1, x2) 原始的)。 対象関数は banana_f(x1, x2) 関数によって与えられる。 0.66
cond = 1 / (1 + exp(50 * (x2 + 5))) return cond * (x1 - 2)^3 cond = 1 / (1 + exp(50 * (x2 + 5))) return cond * (x1 - 2)^3 0.91
end Note that the target function can be positive and negative. 最後に、対象関数は正と負であることに注意する。 0.68
Figure 9 shows the RSE for TAAnIS and AnIS. 図9は、TAAnISとAnISのRSEを示しています。 0.70
We used an MH transition kernel and 200 intermediate potentials for the Annealed Importance Sampling estimators. 我々は、Annealed Importance Smpling 推定器にMH遷移カーネルと200中間電位を用いた。 0.77
The RSE of AnIS does not improve because it fails to generate samples in the regions in which the target f (x) is large. AnISのRSEは、ターゲット f (x) が大きい領域でサンプルを生成するのに失敗するため、改善されない。 0.73
[15] provide a comparison to MCMC on a similar problem so we omit it here. [15]同様の問題に対するMCMCとの比較を行い、ここで省略する。 0.77
Figure 9: Banana experiment. 図9: バナナの実験。 0.79
[Left] Heatmap of the density of the model. [参照]モデルの密度のヒートマップ。 0.63
[Right] Relative Squared Error for TAAnIS and AnIS. [右]TAAnISとAnISの相対正方形誤差。 0.70
20 20 0.85
                                         ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。