論文の概要: Meta-Learning an Inference Algorithm for Probabilistic Programs

• arxiv url: http://arxiv.org/abs/2103.00737v1
• Date: Mon, 1 Mar 2021 04:05:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 16:19:33.262589
• Title: Meta-Learning an Inference Algorithm for Probabilistic Programs
• Title（参考訳）: 確率的プログラムに対する推論アルゴリズムのメタラーニング
• Authors: Gwonsoo Che and Hongseok Yang
• Abstract要約: 本稿では,制約付き確率プログラムの後方参照アルゴリズムを学習するためのメタアルゴリズムを提案する。 このアプローチの重要な特徴は、モデル記述から直接情報を抽出するホワイトボックス推論アルゴリズムの使用である。
• 参考スコア（独自算出の注目度）: 13.528656805820459
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a meta-algorithm for learning a posterior-inference algorithm for restricted probabilistic programs. Our meta-algorithm takes a training set of probabilistic programs that describe models with observations, and attempts to learn an efficient method for inferring the posterior of a similar program. A key feature of our approach is the use of what we call a white-box inference algorithm that extracts information directly from model descriptions themselves, given as programs in a probabilistic programming language. Concretely, our white-box inference algorithm is equipped with multiple neural networks, one for each type of atomic command in the language, and computes an approximate posterior of a given probabilistic program by analysing individual atomic commands in the program using these networks. The parameters of these networks are then learnt from a training set by our meta-algorithm. Our empirical evaluation for six model classes shows the promise of our approach.
• Abstract（参考訳）: 本稿では,制約付き確率プログラムの後方参照アルゴリズムを学習するためのメタアルゴリズムを提案する。 meta-algorithmは、観測を伴うモデルを記述する確率的プログラムのトレーニングセットを取り、同様のプログラムの後方を推論する効率的な方法の学習を試みる。 私たちのアプローチの重要な特徴は、確率的プログラミング言語のプログラムとして与えられたモデル記述自身から直接情報を抽出するホワイトボックス推論アルゴリズムを使うことです。 具体的には、ホワイトボックス推論アルゴリズムは、言語内の各種類のアトミックコマンドに対応する複数のニューラルネットワークを備えており、これらのネットワークを用いてプログラム内の個々のアトミックコマンドを分析して、与えられた確率プログラムの近似後部を計算する。 これらのネットワークのパラメータは、メタアルゴリズムによるトレーニングセットから学習される。 6つのモデルクラスに対する経験的評価は,アプローチの有望さを示している。

関連論文リスト

• From Decoding to Meta-Generation: Inference-time Algorithms for Large Language Models [63.188607839223046]
  この調査は、推論中に計算をスケールするメリットに焦点を当てている。 我々はトークンレベルの生成アルゴリズム、メタジェネレーションアルゴリズム、効率的な生成という3つの領域を統一的な数学的定式化の下で探索する。
  論文  参考訳（メタデータ） (2024-06-24T17:45:59Z)
• Front-propagation Algorithm: Explainable AI Technique for Extracting Linear Function Approximations from Neural Networks [0.0]
  本稿では、深層ニューラルネットワークの意思決定ロジックの解明を目的とした、新しいAI技術であるフロントプロパゲーションアルゴリズムを紹介する。 積分グラディエントやシェープ値などの他の一般的な説明可能性アルゴリズムとは異なり、提案アルゴリズムはネットワークの正確で一貫した線形関数説明を抽出することができる。 公開されているベンチマークデータセットに基づいてトレーニングされた3つの異なるニューラルネットワークアーキテクチャで、正確な線形関数を提供することの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-25T14:50:23Z)
• Provably Efficient Representation Learning with Tractable Planning in Low-Rank POMDP [81.00800920928621]
  部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究 まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。 次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:04:03Z)
• Foundation Posteriors for Approximate Probabilistic Inference [11.64841553345271]
  我々は確率的プログラムにおいて、推論をマスク付き言語モデリングとして定式化する。 ニューラルネットワークをトレーニングしてランダムな値を解き放ち、近似した後続分布を定義する。 提案手法の有効性をSTANプログラムのベンチマークで示す。
  論文  参考訳（メタデータ） (2022-05-19T17:42:37Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• Scaling Neural Program Synthesis with Distribution-based Search [7.137293485620867]
  本稿では,ヒープ検索とSQRTサンプリングという2つの新しい検索アルゴリズムを紹介する。 確率的およびニューラルなテクニックとどのように統合され、並列計算環境をまたいで大規模に動作可能であるかを示す。
  論文  参考訳（メタデータ） (2021-10-24T16:46:01Z)
• pRSL: Interpretable Multi-label Stacking by Learning Probabilistic Rules [0.0]
  本稿では,確率論的命題論理則と信念伝播を用いた確率論的ルールスタックリング(pRSL)を提案し,その基礎となる分類器の予測と組み合わせる。 精度と近似推論と学習のためのアルゴリズムを導出し、様々なベンチマークデータセット上でpRSLが最先端の性能に達することを示す。
  論文  参考訳（メタデータ） (2021-05-28T14:06:21Z)
• Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
  情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。 相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
  論文  参考訳（メタデータ） (2020-09-07T16:47:30Z)
• Learning Differentiable Programs with Admissible Neural Heuristics [43.54820901841979]
  ドメイン固有言語におけるプログラムとして表現される微分可能関数の学習問題について検討する。 我々は、この最適化問題を、プログラム構文のトップダウン導出を符号化した重み付きグラフの探索として構成する。 私たちの重要なイノベーションは、さまざまなニューラルネットワークのクラスを、プログラムの空間上の連続的な緩和と見なすことです。
  論文  参考訳（メタデータ） (2020-07-23T16:07:39Z)
• Learned Factor Graphs for Inference from Stationary Time Sequences [107.63351413549992]
  定常時間列のためのモデルベースアルゴリズムとデータ駆動型MLツールを組み合わせたフレームワークを提案する。 ニューラルネットワークは、時系列の分布を記述する因子グラフの特定のコンポーネントを別々に学習するために開発された。 本稿では,学習された定常因子グラフに基づく推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-05T07:06:19Z)
• CONSAC: Robust Multi-Model Fitting by Conditional Sample Consensus [62.86856923633923]
  我々は,同じ形状の複数のパラメトリックモデルを雑音測定に適合させる頑健な推定器を提案する。 複数のモデル検出のための手作り検索戦略を利用する従来の研究とは対照的に,データから検索戦略を学習する。 探索の自己教師付き学習において,提案したアルゴリズムをマルチホログラフィー推定で評価し,最先端手法よりも優れた精度を示す。
  論文  参考訳（メタデータ） (2020-01-08T17:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。