論文の概要: $\pi$VAE: a stochastic process prior for Bayesian deep learning with MCMC

• arxiv url: http://arxiv.org/abs/2002.06873v6
• Date: Tue, 13 Sep 2022 19:02:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-31 12:08:55.993581
• Title: $\pi$VAE: a stochastic process prior for Bayesian deep learning with MCMC
• Title（参考訳）: $\pi$VAE: MCMCによるベイジアンディープラーニングに先立つ確率的プロセス
• Authors: Swapnil Mishra, Seth Flaxman, Tresnia Berah, Harrison Zhu, Mikko Pakkanen, Samir Bhatt
• Abstract要約: 先行符号化オートエンコーダ(pi$VAE)と呼ばれる新しい変分オートエンコーダを提案する。 本稿では,ガウス過程などの表現型関数クラスを正確に学習できるだけでなく,統計的推論を可能にする関数の性質も示す。 おそらく最も有用なのは、低次元分散潜在空間表現学習が、Stanのようなプログラミング言語内でプロセスの推論を行うエレガントでスケーラブルな手段を提供することを示すことである。
• 参考スコア（独自算出の注目度）: 2.4792948967354236
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic processes provide a mathematically elegant way model complex data. In theory, they provide flexible priors over function classes that can encode a wide range of interesting assumptions. In practice, however, efficient inference by optimisation or marginalisation is difficult, a problem further exacerbated with big data and high dimensional input spaces. We propose a novel variational autoencoder (VAE) called the prior encoding variational autoencoder ($\pi$VAE). The $\pi$VAE is finitely exchangeable and Kolmogorov consistent, and thus is a continuous stochastic process. We use $\pi$VAE to learn low dimensional embeddings of function classes. We show that our framework can accurately learn expressive function classes such as Gaussian processes, but also properties of functions to enable statistical inference (such as the integral of a log Gaussian process). For popular tasks, such as spatial interpolation, $\pi$VAE achieves state-of-the-art performance both in terms of accuracy and computational efficiency. Perhaps most usefully, we demonstrate that the low dimensional independently distributed latent space representation learnt provides an elegant and scalable means of performing Bayesian inference for stochastic processes within probabilistic programming languages such as Stan.
• Abstract（参考訳）: 確率過程は複雑なデータを数学的にエレガントにモデル化する。 理論上は、様々な興味深い仮定をエンコードできる関数クラスよりも柔軟な優先順位を提供する。 しかし、実際には最適化や限界化による効率的な推論は困難であり、ビッグデータや高次元入力空間でさらに悪化する。 本稿では,新しい変分オートエンコーダ (vae) である pre encoding variational autoencoder (\pi$vae) を提案する。 $\pi$VAE は有限交換可能でコルモゴロフ整合であり、したがって連続確率過程である。 関数クラスの低次元埋め込みを学習するために$\pi$VAEを使用します。 本フレームワークはガウス過程などの表現型関数クラスを正確に学習できるだけでなく,統計的推論を可能にする関数の性質(ログガウス過程の積分など)も学習できることを示す。 空間補間のような一般的なタスクでは、$\pi$VAEは精度と計算効率の両面で最先端のパフォーマンスを達成する。 おそらく最も有用なのは、低次元の独立分散潜在空間表現が、stanのような確率的プログラミング言語で確率過程のベイズ推論を行うエレガントでスケーラブルな手段を提供することである。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Tractable and Provably Efficient Distributional Reinforcement Learning with General Value Function Approximation [8.378137704007038]
  一般値関数近似を用いた分布強化学習における後悔の解析について述べる。 理論的な結果は,無限次元の戻り分布を有限個のモーメント関数で近似することが,統計情報をバイアスなく学習する唯一の方法であることを示している。
  論文  参考訳（メタデータ） (2024-07-31T00:43:51Z)
• Stochastic Q-learning for Large Discrete Action Spaces [79.1700188160944]
  離散的な行動空間を持つ複雑な環境では、強化学習(RL)において効果的な意思決定が重要である 我々は、$n$アクションの集合全体を最適化するのとは対照的に、おそらく$mathcalO(log(n)$)$のような変数の集合のみを考える。 提示された値ベースのRL手法には、Q-learning、StochDQN、StochDDQNなどが含まれる。
  論文  参考訳（メタデータ） (2024-05-16T17:58:44Z)
• Online non-parametric likelihood-ratio estimation by Pearson-divergence functional minimization [55.98760097296213]
  iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。 本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
  論文  参考訳（メタデータ） (2023-11-03T13:20:11Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Integrated Variational Fourier Features for Fast Spatial Modelling with Gaussian Processes [7.5991638205413325]
  トレーニングポイントが$N$の場合、正確な推論は$O(N3)$コストを持ち、$M ll N$機能により、アートスパース変分メソッドの状態は$O(NM2)$コストを持つ。 近年、空間モデリングのような低次元タスクにおいて優れた性能を持つ$O(M3)$コストを約束する手法が提案されているが、最もよく使われるカーネルを除いて、非常に限られた種類のカーネルでしか動作しない。 本稿では,Fourier機能の統合について提案する。これは,これらのパフォーマンスのメリットを,より広範な定常的コのクラスに拡張するものである。
  論文  参考訳（メタデータ） (2023-08-27T15:44:28Z)
• Exact Bayesian Inference on Discrete Models via Probability Generating Functions: A Probabilistic Programming Approach [7.059472280274009]
  離散統計モデルに対する正確なベイズ推定法を提案する。 我々は、離散的かつ連続的なサンプリング、離散的な観察、アフィン関数、(確率的な)分岐、離散的な事象の条件付けをサポートする確率的プログラミング言語を使用する。 我々の推論手法は確実に正確で完全に自動化されている。
  論文  参考訳（メタデータ） (2023-05-26T16:09:59Z)
• Generalized Differentiable RANSAC [95.95627475224231]
  $nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。 $nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
  論文  参考訳（メタデータ） (2022-12-26T15:13:13Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Bayesian Learning via Q-Exponential Process [10.551294837978363]
  正規化は最適化、統計、機械学習における最も基本的なトピックの1つである。 本研究では、$q$-指数分布(密度比で)$exp( frac12|u|q)$を、関数の正規化に対応する$Q$-指数(Q-EP)プロセスというプロセスに一般化する。
  論文  参考訳（メタデータ） (2022-10-14T17:37:14Z)
• Quadruply Stochastic Gaussian Processes [10.152838128195466]
  本稿では,スケーラブルなガウス過程(GP)モデルをトレーニングするための変分推論手法を提案する。この手法は,トレーニング点数,$n$,カーネル近似で使用される数基底関数,$m$のいずれにも依存しない。 GPと関連ベクトルマシンを用いた大規模分類および回帰データセットの精度を,最大で$m = 107$の基底関数で示す。
  論文  参考訳（メタデータ） (2020-06-04T17:06:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。