論文の概要: Transformation Models for Flexible Posteriors in Variational Bayes

• arxiv url: http://arxiv.org/abs/2106.00528v1
• Date: Tue, 1 Jun 2021 14:43:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-02 14:35:01.211282
• Title: Transformation Models for Flexible Posteriors in Variational Bayes
• Title（参考訳）: 変分ベイズにおけるフレキシブル後方の変形モデル
• Authors: Sefan H\"ortling, Daniel Dold, Oliver D\"urr, Beate Sick
• Abstract要約: ニューラルネットワークでは、変分推論は、計算が難しい後部を近似するために広く使われている。 変換モデルは任意の分布に適合するほど柔軟です。 TM-VIは、1つのパラメータを持つモデルの複雑な後部を正確に近似することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The main challenge in Bayesian models is to determine the posterior for the model parameters. Already, in models with only one or few parameters, the analytical posterior can only be determined in special settings. In Bayesian neural networks, variational inference is widely used to approximate difficult-to-compute posteriors by variational distributions. Usually, Gaussians are used as variational distributions (Gaussian-VI) which limits the quality of the approximation due to their limited flexibility. Transformation models on the other hand are flexible enough to fit any distribution. Here we present transformation model-based variational inference (TM-VI) and demonstrate that it allows to accurately approximate complex posteriors in models with one parameter and also works in a mean-field fashion for multi-parameter models like neural networks.
• Abstract（参考訳）: ベイズモデルの主な課題は、モデルパラメータの後方を決定することである。 既に1つまたは少数のパラメータしか持たないモデルでは、分析後部は特別な設定でのみ決定できる。 ベイズニューラルネットワークでは、変分分布による計算が難しい後部を近似するために、変分推論が広く用いられている。 通常、ガウス分布は変分分布 (Gaussian-VI) として用いられ、その柔軟性の制限により近似の質が制限される。 一方、変換モデルはどんな分布にも適合するほど柔軟である。 ここでは、変換モデルに基づく変分推論(TM-VI)を提案し、一つのパラメータを持つモデルにおける複雑な後部を正確に近似し、ニューラルネットワークのようなマルチパラメータモデルに対して平均場的に機能することを実証する。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Bayesian Neural Network Inference via Implicit Models and the Posterior Predictive Distribution [0.8122270502556371]
  本稿では,ベイズニューラルネットワークのような複雑なモデルにおいて,近似ベイズ推論を行うための新しい手法を提案する。 このアプローチはMarkov Chain Monte Carloよりも大規模データに対してスケーラブルである。 これは、サロゲートや物理モデルのような応用に有用であると考えています。
  論文  参考訳（メタデータ） (2022-09-06T02:43:19Z)
• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• Generalised Gaussian Process Latent Variable Models (GPLVM) with Stochastic Variational Inference [9.468270453795409]
  ミニバッチ学習が可能なBayesianVMモデルの2倍の定式化について検討する。 このフレームワークが、異なる潜在変数の定式化とどのように互換性を持つかを示し、モデルの組を比較する実験を行う。 我々は、膨大な量の欠落データの存在下でのトレーニングと、高忠実度再構築の実施を実証する。
  論文  参考訳（メタデータ） (2022-02-25T21:21:51Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Variational Filtering with Copula Models for SLAM [5.242618356321224]
  より広い分布のクラスと同時局所化とマッピング(SLAM)を同時に行うことができるかを示す。 分布モデルとコプラを逐次モンテカルロ推定器に統合し、勾配に基づく最適化によって未知のモデルパラメータがいかに学習できるかを示す。
  論文  参考訳（メタデータ） (2020-08-02T15:38:23Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。