論文の概要: PriorCVAE: scalable MCMC parameter inference with Bayesian deep generative modelling

• arxiv url: http://arxiv.org/abs/2304.04307v1
• Date: Sun, 9 Apr 2023 20:23:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 16:23:27.650572
• Title: PriorCVAE: scalable MCMC parameter inference with Bayesian deep generative modelling
• Title（参考訳）: PreCVAE:ベイズ深部生成モデルを用いたスケーラブルMCMCパラメータ推定
• Authors: Elizaveta Semenova, Max Cairney-Leeming, Seth Flaxman
• Abstract要約: モンテカルロ推論において、学習した前者から学習した前者を引き離す方法を示す。 PriorCVAEと呼ばれる新しい手法は、近似推論手法の中で有用なツールになると信じている。
• 参考スコア（独自算出の注目度）: 0.8594140167290099
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In applied fields where the speed of inference and model flexibility are crucial, the use of Bayesian inference for models with a stochastic process as their prior, e.g. Gaussian processes (GPs) is ubiquitous. Recent literature has demonstrated that the computational bottleneck caused by GP priors or their finite realizations can be encoded using deep generative models such as variational autoencoders (VAEs), and the learned generators can then be used instead of the original priors during Markov chain Monte Carlo (MCMC) inference in a drop-in manner. While this approach enables fast and highly efficient inference, it loses information about the stochastic process hyperparameters, and, as a consequence, makes inference over hyperparameters impossible and the learned priors indistinct. We propose to resolve the aforementioned issue and disentangle the learned priors by conditioning the VAE on stochastic process hyperparameters. This way, the hyperparameters are encoded alongside GP realisations and can be explicitly estimated at the inference stage. We believe that the new method, termed PriorCVAE, will be a useful tool among approximate inference approaches and has the potential to have a large impact on spatial and spatiotemporal inference in crucial real-life applications. Code showcasing the PriorCVAE technique can be accessed via the following link: https://github.com/elizavetasemenova/PriorCVAE
• Abstract（参考訳）: 推論の速度とモデルの柔軟性が不可欠である応用分野において、確率過程が先行するモデルに対してベイズ推論を用いることは、例えばガウス過程(GP)がユビキタスである。 近年の文献では、gpプリエントやその有限実現によって生じる計算ボトルネックは変分オートエンコーダ(vaes)のような深い生成モデルを用いてエンコードでき、学習されたジェネレータはマルコフ連鎖モンテカルロ(mcmc)推論の際、元のプリエントの代わりにドロップイン方式で使用することができる。 このアプローチは高速かつ高効率な推論を可能にするが、確率過程のハイパーパラメータに関する情報を失い、その結果、ハイパーパラメータに対する推論が不可能になり、学習された事前が不明瞭になる。 本稿では,上記の課題を解決し,確率的プロセスハイパーパラメータ上でのVAEを条件付けることにより,学習前の問題を解消することを提案する。 このように、ハイパーパラメータはGP実現とともに符号化され、推論段階で明示的に推定できる。 PriorCVAEと呼ばれる新しい手法は、近似推論手法の中で有用なツールであり、重要な実生活における空間的および時空間的推論に大きな影響を与える可能性があると考えている。 precvaeのテクニックを示すコードは、以下のリンクからアクセスできる。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Conditional LoRA Parameter Generation [18.34892473337235]
  制御可能な高性能パラメータ生成の実現可能性を示す新しいアプローチであるCOND P-DIFFを提案する。 コンピュータビジョンと自然言語処理の両領域における実験結果から, COND P-DIFF が与えられたタスクに条件付き高性能なパラメータを生成できることが一貫して示されている。 我々の研究は、条件駆動パラメータ生成のさらなる探求の道を開き、ニューラルネットワークのタスク固有の適応のための有望な方向を提供する。
  論文  参考訳（メタデータ） (2024-08-02T17:43:34Z)
• Should We Learn Most Likely Functions or Parameters? [51.133793272222874]
  モデルとデータによって示唆される最も可能性の高い関数を直接推定する利点と欠点について検討する。 関数空間MAP推定は, より平坦な最小化, 一般化, オーバーフィッティングの改善につながる可能性がある。
  論文  参考訳（メタデータ） (2023-11-27T16:39:55Z)
• Data-driven Modeling and Inference for Bayesian Gaussian Process ODEs via Double Normalizing Flows [28.62579476863723]
  本稿では,ODEベクトル場を再パラメータ化するために正規化フローを導入し,データ駆動の事前分布を導出する。 また, GP ODE の後部推定に正規化フローを適用し, 強平均場仮定の問題を解く。 シミュレーション力学系と実世界の人間の動作データに対するアプローチの有効性を検証した。
  論文  参考訳（メタデータ） (2023-09-17T09:28:47Z)
• Linear Time GPs for Inferring Latent Trajectories from Neural Spike Trains [7.936841911281107]
  我々は,Hida-Mat'ernカーネルと共役変分推論(CVI)を利用した潜在GPモデルの一般的な推論フレームワークであるcvHMを提案する。 我々は任意の確率で線形時間複雑性を持つ潜在神経軌道の変分推定を行うことができる。
  論文  参考訳（メタデータ） (2023-06-01T16:31:36Z)
• FaDIn: Fast Discretized Inference for Hawkes Processes with General Parametric Kernels [82.53569355337586]
  この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。 脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。 その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-10-10T12:35:02Z)
• Scalable Gaussian Process Hyperparameter Optimization via Coverage Regularization [0.0]
  本稿では,予測の不確かさの堅牢性を改善するために,Maternカーネルのスムーズさと長大パラメータを推定するアルゴリズムを提案する。 数値実験で示すように,高いスケーラビリティを維持しつつ,残余可能性よりも改善されたUQを実現する。
  論文  参考訳（メタデータ） (2022-09-22T19:23:37Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for Safety-Critical Applications [71.23286211775084]
  未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。 提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。 実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-06T17:10:01Z)
• Physics-constrained deep neural network method for estimating parameters in a redox flow battery [68.8204255655161]
  バナジウムフローバッテリ(VRFB)のゼロ次元(0D)モデルにおけるパラメータ推定のための物理拘束型ディープニューラルネットワーク(PCDNN)を提案する。 そこで, PCDNN法は, 動作条件のモデルパラメータを推定し, 電圧の0Dモデル予測を改善することができることを示す。 また,PCDNNアプローチでは,トレーニングに使用しない操作条件のパラメータ値を推定する一般化能力が向上することが実証された。
  論文  参考訳（メタデータ） (2021-06-21T23:42:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。