論文の概要: Multiple Importance Sampling ELBO and Deep Ensembles of Variational Approximations

• arxiv url: http://arxiv.org/abs/2202.10951v1
• Date: Tue, 22 Feb 2022 14:44:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-23 16:57:05.759945
• Title: Multiple Importance Sampling ELBO and Deep Ensembles of Variational Approximations
• Title（参考訳）: 多重重要サンプリングELBOと変分近似の深部アンサンブル
• Authors: Oskar Kviman, Harald Melin, Hazal Koptagel, V\'ictor Elvira, Jens Lagergren
• Abstract要約: 変分推論(VI)では、標準エビデンスローバウンド(ELBO)を用いて辺辺対数類似度を推定する。 そこで本研究では,テキストを多用するフレームワークであるELBO (MISELBO) を提案する。 MISELBOは、アモールト化と古典化の両方に応用でき、独立に推定される変分近似の深いアンサンブルなどのアンサンブルを使用する。
• 参考スコア（独自算出の注目度）: 4.972815847598106
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In variational inference (VI), the marginal log-likelihood is estimated using the standard evidence lower bound (ELBO), or improved versions as the importance weighted ELBO (IWELBO). We propose the multiple importance sampling ELBO (MISELBO), a \textit{versatile} yet \textit{simple} framework. MISELBO is applicable in both amortized and classical VI, and it uses ensembles, e.g., deep ensembles, of independently inferred variational approximations. As far as we are aware, the concept of deep ensembles in amortized VI has not previously been established. We prove that MISELBO provides a tighter bound than the average of standard ELBOs, and demonstrate empirically that it gives tighter bounds than the average of IWELBOs. MISELBO is evaluated in density-estimation experiments that include MNIST and several real-data phylogenetic tree inference problems. First, on the MNIST dataset, MISELBO boosts the density-estimation performances of a state-of-the-art model, nouveau VAE. Second, in the phylogenetic tree inference setting, our framework enhances a state-of-the-art VI algorithm that uses normalizing flows. On top of the technical benefits of MISELBO, it allows to unveil connections between VI and recent advances in the importance sampling literature, paving the way for further methodological advances. We provide our code at \url{https://github.com/Lagergren-Lab/MISELBO}.
• Abstract（参考訳）: 変動推論 (VI) では, 標準エビデンスローバウンド (ELBO) や, 重要重み付きELBO (IWELBO) として改良版を用いて, 限界対数類似度を推定する。 マルチプレッシブサンプリング elbo (miselbo) を提案する。これは \textit{versatile} だが \textit{simple} フレームワークである。 MISELBOは、アモールト化と古典化の両方に応用でき、独立に推定される変分近似の深いアンサンブルなどのアンサンブルを使用する。 私たちが知っている限りでは、償却第6部における深いアンサンブルの概念は確立されていない。 我々は,MISELBOが標準ELBOの平均よりも厳密な境界を提供し,IWELBOの平均よりも厳密な境界を与えることを示す。 MISELBOは、MNISTやいくつかの実データ系統樹推定問題を含む密度推定実験で評価されている。 まず、MNISTデータセット上で、MISELBOは最先端モデルであるnouveau VAEの密度推定性能を高める。 第2に、系統樹推定設定において、我々のフレームワークは正規化フローを用いた最先端VIアルゴリズムを強化する。 MISELBOの技術的利点に加えて、VIと最近の重要文献収集の進歩の関連を明らかにすることができ、さらなる方法論的進歩の道を開くことができる。 コードは \url{https://github.com/Lagergren-Lab/MISELBO} で提供します。

関連論文リスト

• Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
  一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。 オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。 このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
  論文  参考訳（メタデータ） (2024-11-04T16:12:37Z)
• Efficient Mixture Learning in Black-Box Variational Inference [50.21722672770176]
  我々は,Multiple Importance Smpling Variational Autoencoder (MISVAE)を紹介する。 BBVI中の混合物に対するELBOの新しい2つの推定器を構築し,推定時間を大幅に短縮する。 MNIST上でMISVAE実験を行い, 驚くべきSOTA結果を得た。
  論文  参考訳（メタデータ） (2024-06-11T09:16:43Z)
• Semi-Implicit Variational Inference via Score Matching [9.654640791869431]
  半単純変分推論(SIVI)は、変分家族の表現性を大いに豊かにする。 現在のSIVIアプローチでは、サロゲートエビデンスローバウンド(ELBO)を使用したり、高価なインナーループMCMCをトレーニングに使用する場合が多い。 スコアマッチングによる代替学習目標に基づくSIVI-SMを提案する。
  論文  参考訳（メタデータ） (2023-08-19T13:32:54Z)
• Improving Mutual Information Estimation with Annealed and Energy-Based Bounds [20.940022170594816]
  相互情報(英: Mutual Information、MI)は、情報理論と機械学習における基本的な量である。 重要サンプリングの観点から,既存のMI境界の統一的な視点を示す。 このアプローチに基づく3つの新しい境界を提案する。
  論文  参考訳（メタデータ） (2023-03-13T10:47:24Z)
• Contrastive variational information bottleneck for aspect-based sentiment analysis [36.83876224466177]
  CVIB(Contrastive Variational Information Bottleneck)フレームワークを用いて,アスペクトベース感情分析(ABSA)の素早い相関性を低減することを提案する。 提案するCVIBフレームワークは,元のネットワークと自走ネットワークで構成され,これら2つのネットワークは,コントラスト学習によって同時に最適化される。 提案手法は, 全体的な予測性能, 堅牢性, 一般化の点で, 強力な競合相手よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-03-06T02:52:37Z)
• Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
  本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。 我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。 我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-09-30T15:01:35Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Automatic Differentiation Variational Inference with Mixtures [4.995383193706478]
  本研究では, 混合分布を近似後部として利用するために, 層状サンプリングを用いる方法を示す。 我々は、重要重み付きオートエンコーダ(IWAE)に類似したエビデンスに基づく新しい下界を導出する。
  論文  参考訳（メタデータ） (2020-03-03T18:12:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。