論文の概要: Efficient Mixture Learning in Black-Box Variational Inference

• arxiv url: http://arxiv.org/abs/2406.07083v1
• Date: Tue, 11 Jun 2024 09:16:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 16:44:39.019233
• Title: Efficient Mixture Learning in Black-Box Variational Inference
• Title（参考訳）: ブラックボックス変分推論における効率的な混合学習
• Authors: Alexandra Hotti, Oskar Kviman, Ricky Molén, Víctor Elvira, Jens Lagergren,
• Abstract要約: 我々は,Multiple Importance Smpling Variational Autoencoder (MISVAE)を紹介する。 BBVI中の混合物に対するELBOの新しい2つの推定器を構築し,推定時間を大幅に短縮する。 MNIST上でMISVAE実験を行い, 驚くべきSOTA結果を得た。
• 参考スコア（独自算出の注目度）: 50.21722672770176
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture variational distributions in black box variational inference (BBVI) have demonstrated impressive results in challenging density estimation tasks. However, currently scaling the number of mixture components can lead to a linear increase in the number of learnable parameters and a quadratic increase in inference time due to the evaluation of the evidence lower bound (ELBO). Our two key contributions address these limitations. First, we introduce the novel Multiple Importance Sampling Variational Autoencoder (MISVAE), which amortizes the mapping from input to mixture-parameter space using one-hot encodings. Fortunately, with MISVAE, each additional mixture component incurs a negligible increase in network parameters. Second, we construct two new estimators of the ELBO for mixtures in BBVI, enabling a tremendous reduction in inference time with marginal or even improved impact on performance. Collectively, our contributions enable scalability to hundreds of mixture components and provide superior estimation performance in shorter time, with fewer network parameters compared to previous Mixture VAEs. Experimenting with MISVAE, we achieve astonishing, SOTA results on MNIST. Furthermore, we empirically validate our estimators in other BBVI settings, including Bayesian phylogenetic inference, where we improve inference times for the SOTA mixture model on eight data sets.
• Abstract（参考訳）: ブラックボックス変分推定 (BBVI) における混合変分分布は, 課題密度推定タスクにおいて顕著な結果を示した。 しかし、現在、混合成分の数を拡大することで、学習可能なパラメータの数の増加と、エビデンスローバウンド(ELBO)の評価による推論時間の2次増加につながる可能性がある。 私たちの2つの重要なコントリビューションは、これらの制限に対処しています。 まず、入力から混合パラメータ空間へのマッピングを1ホット符号化を用いて記憶する、MISVAE(Multiple Importance Smpling Variational Autoencoder)を紹介する。 幸いなことに、MISVAEでは、各混合成分がネットワークパラメータの無視的な増加を引き起こす。 第2に,BBVIの混合液に対するELBOの新しい推定器を2つ構築し,評価時間を大幅に短縮し,性能への影響も改善した。 まとめると、我々のコントリビューションは、何百もの混合コンポーネントへのスケーラビリティを可能にし、以前のMixture VAEと比較してネットワークパラメータが少なく、短時間で優れた推定性能を提供する。 MNIST上でMISVAE実験を行い, 驚くべきSOTA結果を得た。 さらに、ベイジアン系統推定を含む他のBBVI設定における推定器を実証的に検証し、8つのデータセット上でのSOTA混合モデルの推定時間を改善する。

関連論文リスト

• Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance [55.872926690722714]
  本研究では,関数形式の混合比に関するモデル性能の予測可能性について検討する。 トレーニングステップのスケーリング法則,モデルサイズ,データ混合法則のネスト利用を提案する。 提案手法は,RedPajamaにおける100Bトークンをトレーニングした1Bモデルのトレーニング混合物を効果的に最適化する。
  論文  参考訳（メタデータ） (2024-03-25T17:14:00Z)
• Fast Semi-supervised Unmixing using Non-convex Optimization [85.95119207126292]
  半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。 スパース・アンミキシングの代替手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-23T10:07:41Z)
• AMPLIFY:Attention-based Mixup for Performance Improvement and Label Smoothing in Transformer [2.3072402651280517]
  AMPLIFYはTransformer自体のアテンション機構を使用して、元のサンプルのノイズや異常値が予測結果に与える影響を低減する。 実験の結果,AMPLIFYは計算資源のコストが小さく,テキスト分類作業において他の混合手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-09-22T08:02:45Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
  本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。 我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。 我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-09-30T15:01:35Z)
• RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness [94.69774317059122]
  学習目的として使うのではなく、標準のクロスエントロピー損失に対する追加の正則化剤として利用すれば、良好なミックスアップの有効性がさらに向上できることが示される。 この単純な変更は、精度を大幅に改善するだけでなく、Mixupの予測不確実性推定の品質を大幅に改善する。
  論文  参考訳（メタデータ） (2022-06-29T09:44:33Z)
• A Statistics and Deep Learning Hybrid Method for Multivariate Time Series Forecasting and Mortality Modeling [0.0]
  Exponential Smoothing Recurrent Neural Network (ES-RNN)は、統計予測モデルとリカレントニューラルネットワークのハイブリッドである。 ES-RNNはMakridakis-4 Forecasting Competitionで絶対誤差を9.4%改善した。
  論文  参考訳（メタデータ） (2021-12-16T04:44:19Z)
• Noisy Feature Mixup [42.056684988818766]
  NFM(Noisy Feature Mixup)は,データ拡張のための安価で効果的な手法である。 NFMは特別な場合として混合と多様体の混合を含むが、決定境界の平滑化など、さらなる利点がある。 NFMでトレーニングした残差ネットワークと視覚変換器は、クリーンデータにおける予測精度と各種データに対するロバスト性との間に良好なトレードオフがあることが示される。
  論文  参考訳（メタデータ） (2021-10-05T17:13:51Z)
• Bayesian Neural Networks With Maximum Mean Discrepancy Regularization [13.97417198693205]
  画像分類タスクを含む複数のベンチマークにおいて,BNNの精度が向上することを示す。 また, ある予測に対する不確実性を推定するための新しい定式化を行い, 敵の攻撃に対してより堅牢な行動を示す。
  論文  参考訳（メタデータ） (2020-03-02T14:54:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。