論文の概要: Foundation Posteriors for Approximate Probabilistic Inference
- arxiv url: http://arxiv.org/abs/2205.09735v1
- Date: Thu, 19 May 2022 17:42:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-20 12:34:56.235056
- Title: Foundation Posteriors for Approximate Probabilistic Inference
- Title（参考訳）: 近似確率推論のための基礎後根
- Authors: Mike Wu, Noah Goodman
- Abstract要約: 我々は確率的プログラムにおいて、推論をマスク付き言語モデリングとして定式化する。
ニューラルネットワークをトレーニングしてランダムな値を解き放ち、近似した後続分布を定義する。
提案手法の有効性をSTANプログラムのベンチマークで示す。
- 参考スコア（独自算出の注目度）: 11.64841553345271
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Probabilistic programs provide an expressive representation language for
generative models. Given a probabilistic program, we are interested in the task
of posterior inference: estimating a latent variable given a set of observed
variables. Existing techniques for inference in probabilistic programs often
require choosing many hyper-parameters, are computationally expensive, and/or
only work for restricted classes of programs. Here we formulate inference as
masked language modeling: given a program, we generate a supervised dataset of
variables and assignments, and randomly mask a subset of the assignments. We
then train a neural network to unmask the random values, defining an
approximate posterior distribution. By optimizing a single neural network
across a range of programs we amortize the cost of training, yielding a
``foundation'' posterior able to do zero-shot inference for new programs. The
foundation posterior can also be fine-tuned for a particular program and
dataset by optimizing a variational inference objective. We show the efficacy
of the approach, zero-shot and fine-tuned, on a benchmark of STAN programs.
- Abstract（参考訳）: 確率プログラムは生成モデルのための表現表現言語を提供する。
確率的プログラムが与えられた場合、我々は後続推論のタスクに興味を持ち、観測された変数の集合が与えられた潜在変数を推定する。
確率的プログラムにおける推論のための既存の技術は、しばしば多くのハイパーパラメータを選択し、計算コストが高く、またはプログラムの制限されたクラスでのみ機能する。
プログラムが与えられたとき、変数と代入の教師付きデータセットを生成し、代入のサブセットをランダムにマスクします。
次に,乱数を解き明かすためにニューラルネットワークを訓練し,近似的な後方分布を定義する。
プログラムの範囲で1つのニューラルネットワークを最適化することで、トレーニングのコストを減らし、新しいプログラムに対してゼロショット推論を実行できる ``foundation'' を後付けします。
基礎後部は、変動推論目標を最適化することにより、特定のプログラムやデータセットに対して微調整することもできる。
我々は、stanプログラムのベンチマークにおいて、ゼロショットと微調整によるアプローチの有効性を示す。
関連論文リスト
- Efficient Incremental Belief Updates Using Weighted Virtual Observations [2.7195102129095003]
モンテカルロ推論の文脈における漸進的信念更新問題に対するアルゴリズム的解を提案する。
このアプローチの効率性と堅牢性を示すために,多くの実践例とケーススタディにソリューションを実装し,適用する。
論文 参考訳（メタデータ） (2024-02-10T12:48:49Z) - Scalable Neural-Probabilistic Answer Set Programming [18.136093815001423]
本稿では、NPP(Neural-Probabilistic Predicates)と解集合プログラミング(ASP)を介して統合された論理プログラムからなる新しいDPPLであるSLASHを紹介する。
予測性能を犠牲にすることなく、推論を高速化し、(地上)プログラムの無意味な部分を抜粋する方法を示す。
我々は、MNIST追加のベンチマークタスクやVQA(Visual Question Answering)など、様々なタスクでSLASHを評価する。
論文 参考訳（メタデータ） (2023-06-14T09:45:29Z) - $\omega$PAP Spaces: Reasoning Denotationally About Higher-Order,
Recursive Probabilistic and Differentiable Programs [64.25762042361839]
$omega$PAP 空間は表現的微分可能および確率的プログラミング言語についての推論のための空間である。
我々の意味論は、最も実践的な確率的で微分可能なプログラムに意味を割り当てるのに十分である。
確率プログラムのトレース密度関数のほぼすべての微分可能性を確立する。
論文 参考訳（メタデータ） (2023-02-21T12:50:05Z) - Transformers Can Do Bayesian Inference [56.99390658880008]
我々はPFN(Presideed Data Fitted Networks)を提案する。
PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。
我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
論文 参考訳（メタデータ） (2021-12-20T13:07:39Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - flip-hoisting: Exploiting Repeated Parameters in Discrete Probabilistic
Programs [25.320181572646135]
本稿では、離散確率的プログラムにおいて繰り返しパラメータを分解し、推論性能を向上させるプログラム解析とそれに伴う最適化について述べる。
既存の確率型プログラミング言語でフリップホスティングを実装し,推論性能が著しく向上することを示す。
論文 参考訳（メタデータ） (2021-10-19T22:04:26Z) - Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic
Regression [51.770998056563094]
PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。
既存の最先端手法と比較してPGBMの利点を実証的に示す。
論文 参考訳（メタデータ） (2021-06-03T08:32:13Z) - Meta-Learning an Inference Algorithm for Probabilistic Programs [13.528656805820459]
本稿では,制約付き確率プログラムの後方参照アルゴリズムを学習するためのメタアルゴリズムを提案する。
このアプローチの重要な特徴は、モデル記述から直接情報を抽出するホワイトボックス推論アルゴリズムの使用である。
論文 参考訳（メタデータ） (2021-03-01T04:05:11Z) - Can We Learn Heuristics For Graphical Model Inference Using
Reinforcement Learning? [114.24881214319048]
我々は、強化学習を用いて、高次条件ランダム場(CRF)における推論を解くためのプログラム、すなわち、ポリシーを学習できることを示します。
本手法は,ポテンシャルの形式に制約を加えることなく,推論タスクを効率的に解く。
論文 参考訳（メタデータ） (2020-04-27T19:24:04Z) - Stochastically Differentiable Probabilistic Programs [18.971852464650144]
離散確率変数の存在は、多くの基本的な勾配に基づく推論エンジンを禁止している。
我々はマルコフ・チェイン・モンテカルロのアルゴリズム群を用いて,このようなプログラムにおいて推論を効率的かつ堅牢に実行するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-03-02T08:04:41Z) - Parameter Space Factorization for Zero-Shot Learning across Tasks and
Languages [112.65994041398481]
本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。
タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。
我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
論文 参考訳（メタデータ） (2020-01-30T16:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。