論文の概要: Learning with MISELBO: The Mixture Cookbook

• arxiv url: http://arxiv.org/abs/2209.15514v1
• Date: Fri, 30 Sep 2022 15:01:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 14:49:48.841143
• Title: Learning with MISELBO: The Mixture Cookbook
• Title（参考訳）: miselboで学ぶ: the mixed cookbook
• Authors: Oskar Kviman, Ricky Mol\'en, Alexandra Hotti, Semih Kurt, V\'ictor Elvira and Jens Lagergren
• Abstract要約: 本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。 我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。 我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
• 参考スコア（独自算出の注目度）: 62.75516608080322
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Mixture models in variational inference (VI) is an active field of research. Recent works have established their connection to multiple importance sampling (MIS) through the MISELBO and advanced the use of ensemble approximations for large-scale problems. However, as we show here, an independent learning of the ensemble components can lead to suboptimal diversity. Hence, we study the effect of instead using MISELBO as an objective function for learning mixtures, and we propose the first ever mixture of variational approximations for a normalizing flow-based hierarchical variational autoencoder (VAE) with VampPrior and a PixelCNN decoder network. Two major insights led to the construction of this novel composite model. First, mixture models have potential to be off-the-shelf tools for practitioners to obtain more flexible posterior approximations in VAEs. Therefore, we make them more accessible by demonstrating how to apply them to four popular architectures. Second, the mixture components cooperate in order to cover the target distribution while trying to maximize their diversity when MISELBO is the objective function. We explain this cooperative behavior by drawing a novel connection between VI and adaptive importance sampling. Finally, we demonstrate the superiority of the Mixture VAEs' learned feature representations on both image and single-cell transcriptome data, and obtain state-of-the-art results among VAE architectures in terms of negative log-likelihood on the MNIST and FashionMNIST datasets. Code available here: \url{https://github.com/Lagergren-Lab/MixtureVAEs}.
• Abstract（参考訳）: 変分推論(VI)における混合モデルは研究の活発な分野である。 最近の研究は、MISELBOによる多重重要サンプリング(MIS)とのつながりを確立し、大規模な問題に対するアンサンブル近似の利用を推し進めている。 しかし、ここで示すように、アンサンブル成分の独立学習は、準最適多様性をもたらす可能性がある。 そこで我々は,MISELBOを混合学習の目的関数として用いることの効果について検討し,VampPriorとPixelCNNデコーダネットワークによるフローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。 2つの大きな洞察が、この新しい複合モデルの構築につながった。 第一に、混合モデルは、実践者がより柔軟な後部近似をVAEで得るために、市販のツールになる可能性がある。 そのため、4つの一般的なアーキテクチャに適用する方法を示すことで、よりアクセスしやすいものにします。 第2に、混合成分は、ミセルボが目的関数であるとき、その多様性を最大化しつつ、目標分布をカバーするために協調する。 本稿では,viと適応的重要度サンプリングの新たな関係を描き,協調行動を説明する。 最後に,MNISTデータセットとFashionMNISTデータセットの負のログ類似度の観点から,画像データと単一セルトランスクリプトームデータの両方において,Mixture VAEsが学習した特徴表現の優位性を示す。 ここで入手できるコードは、 \url{https://github.com/lagergren-lab/mixturevaes}である。

関連論文リスト

• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• MixupE: Understanding and Improving Mixup from Directional Derivative Perspective [86.06981860668424]
  理論上は、バニラ・ミックスアップよりも優れた一般化性能を実現するために、Mixupの改良版を提案する。 提案手法は,様々なアーキテクチャを用いて,複数のデータセットにまたがるMixupを改善した。
  論文  参考訳（メタデータ） (2022-12-27T07:03:52Z)
• Continual Learning with Optimal Transport based Mixture Model [17.398605698033656]
  成熟最適輸送理論(OT-MM)の優れた性質に基づくオンライン混合モデル学習手法を提案する。 提案手法は,現在の最先端のベースラインを大きく上回ることができる。
  論文  参考訳（メタデータ） (2022-11-30T06:40:29Z)
• A Fair Experimental Comparison of Neural Network Architectures for Latent Representations of Multi-Omics for Drug Response Prediction [7.690774882108066]
  等価条件下でのマルチオミクス統合手法の訓練と最適化を行う。 我々は、中間統合と後期統合の利点を組み合わせた新しい手法、Omics Stackingを考案した。 複数のオミクスデータを用いた公開薬物応答データセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2022-08-31T12:46:08Z)
• Gaussian Mixture Variational Autoencoder with Contrastive Learning for Multi-Label Classification [27.043136219527767]
  本稿では,新しいコントラスト学習促進型マルチラベル予測モデルを提案する。 教師付き環境でのコントラスト学習を用いることで,ラベル情報を効果的に活用することができる。 学習した埋め込みがラベルとラベルの相互作用の解釈に洞察を与えることを示す。
  論文  参考訳（メタデータ） (2021-12-02T04:23:34Z)
• Lifelong Mixture of Variational Autoencoders [15.350366047108103]
  本稿では,専門家の終末から終末までの学習混合物を提案する。 混合システムのエキスパートは、個々の成分証拠の混合を最小限にすることで、共同で訓練される。 モデルは、これらが以前学んだものと似ている場合に、新しいタスクを素早く学習することができる。
  論文  参考訳（メタデータ） (2021-07-09T22:07:39Z)
• MixMo: Mixing Multiple Inputs for Multiple Outputs via Deep Subnetworks [97.08677678499075]
  マルチインプットマルチアウトプットディープワークを学ぶための新しいフレームワークであるMixMoを紹介します。 機能、特にCutMixのパッチによるバイナリの混合は、ワークをより強く、より多様なものにすることによって、結果を向上します。 実装が容易で、推論にコストがかかることに加えて、我々のモデルはよりコストの高いデータ拡張深層アンサンブルよりも優れています。
  論文  参考訳（メタデータ） (2021-03-10T15:31:02Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• VMLoc: Variational Fusion For Learning-Based Multimodal Camera Localization [46.607930208613574]
  本稿では,センサの入力を共通の潜在空間に融合させる,VMLocと呼ばれるエンドツーエンドフレームワークを提案する。 バニラ変分オートエンコーダの目的関数を直接適用する従来のマルチモーダル変分法とは異なり、カメラのローカライゼーションを正確に推定する方法を示す。
  論文  参考訳（メタデータ） (2020-03-12T14:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。