論文の概要: The VampPrior Mixture Model
- arxiv url: http://arxiv.org/abs/2402.04412v3
- Date: Tue, 11 Mar 2025 03:56:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-12 22:35:51.151339
- Title: The VampPrior Mixture Model
- Title(参考訳): VampPrior混合モデル
- Authors: Andrew A. Stirn, David A. Knowles,
- Abstract要約: 我々は、Vamp Prior Mixture Model(VMM)と呼ばれる、深層潜伏変数モデル(DLVM)の新規な事前開発を行う。
VAEでは、VMMはベンチマークデータセット上で非常に競争力のあるクラスタリング性能を達成する。
- 参考スコア(独自算出の注目度): 0.8440673378588488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Widely used deep latent variable models (DLVMs), in particular Variational Autoencoders (VAEs), employ overly simplistic priors on the latent space. To achieve strong clustering performance, existing methods that replace the standard normal prior with a Gaussian mixture model (GMM) require defining the number of clusters to be close to the number of expected ground truth classes a-priori and are susceptible to poor initializations. We leverage VampPrior concepts (Tomczak and Welling, 2018) to fit a Bayesian GMM prior, resulting in the VampPrior Mixture Model (VMM), a novel prior for DLVMs. In a VAE, the VMM attains highly competitive clustering performance on benchmark datasets. Integrating the VMM into scVI (Lopez et al., 2018), a popular scRNA-seq integration method, significantly improves its performance and automatically arranges cells into clusters with similar biological characteristics.
- Abstract(参考訳): 広範に使用される深遅延変数モデル(DLVM)、特に変分オートエンコーダ(VAE)は、潜時空間において過度に単純化された先例を用いる。
クラスタリング性能を高めるために、標準的な正規化をガウス混合モデル(GMM)に置き換える既存の手法では、期待される基底真理クラスa-prioriの数に近いクラスタ数を定義する必要があり、初期化が貧弱である。
我々は、VampPriorの概念(TomczakとWelling, 2018)を活用して、ベイジアンGMMに前もって適合させ、結果として、DLVMの先駆けとなるVampPrior Mixture Model(VMM)を生み出しました。
VAEでは、VMMはベンチマークデータセット上で非常に競争力のあるクラスタリング性能を達成する。
一般的な scRNA-seq 統合手法である scVI (Lopez et al , 2018) への VMM の統合は、その性能を大幅に改善し、細胞を同様の生物学的特徴を持つクラスターに自動的に配置する。
関連論文リスト
- HaploVL: A Single-Transformer Baseline for Multi-Modal Understanding [67.24430397016275]
そこで本稿では,マルチモーダル入力を早期に融合し,自動回帰方式で視覚的指示に応答できる新しいアーリーフュージョンLMMを提案する。
提案モデルでは,1つの変圧器を用いた他のLMMと比較して優れた性能を示し,合成LMMによる性能ギャップを著しく狭めている。
論文 参考訳(メタデータ) (2025-03-12T06:01:05Z) - Deep Generative Clustering with VAEs and Expectation-Maximization [1.8416014644193066]
本稿では,変分オートエンコーダ(VAE)を期待最大化フレームワークに統合する新しいディープクラスタリング手法を提案する。
提案手法は,各クラスタの確率分布をVAEでモデル化し,モデルパラメータの更新を交互に行う。
これにより、各クラスタから有効なクラスタリングと新しいサンプルの生成が可能になる。
論文 参考訳(メタデータ) (2025-01-13T14:26:39Z) - VLsI: Verbalized Layers-to-Interactions from Large to Small Vision Language Models [63.27511432647797]
VLsI: Verbalized Layers-to-Interactions, a new VLM family in 2B and 7B model size。
GPT-4Vよりも優れた性能向上(2Bは11.0%、7Bは17.4%)を達成した。
論文 参考訳(メタデータ) (2024-12-02T18:58:25Z) - Hierarchical VAE with a Diffusion-based VampPrior [16.482333106552794]
拡散に基づく後方前葉の変動混合(VampPrior)を用いた階層型VAEの導入
提案手法により,従来の VampPrior の動作や,その他の階層的なVAE と比較して,パフォーマンスが向上する。
提案手法を標準ベンチマークデータセット上で実証的に検証し,トレーニング安定性の向上と遅延空間利用の実証を行った。
論文 参考訳(メタデータ) (2024-12-02T10:58:09Z) - Local Binary and Multiclass SVMs Trained on a Quantum Annealer [0.8399688944263844]
近年,動作量子アンニールの出現に伴い,量子トレーニングと古典的実行を特徴とするハイブリッドSVMモデルが導入されている。
これらのモデルは、古典的なモデルに匹敵する性能を示した。
しかし、現在の量子アニールの接続が制限されているため、トレーニングセットサイズに制限がある。
論文 参考訳(メタデータ) (2024-03-13T14:37:00Z) - Mixed Models with Multiple Instance Learning [51.440557223100164]
一般化線形混合モデル(GLMM)とMultiple Instance Learning(MIL)を統合するフレームワークであるMixMILを紹介する。
実験結果から,MixMILは単一セルデータセットにおいて既存のMILモデルより優れていることがわかった。
論文 参考訳(メタデータ) (2023-11-04T16:42:42Z) - Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。
我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。
我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
論文 参考訳(メタデータ) (2022-09-30T15:01:35Z) - Improving the Sample-Complexity of Deep Classification Networks with
Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。
そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。
本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文 参考訳(メタデータ) (2022-02-08T16:16:11Z) - IB-GAN: A Unified Approach for Multivariate Time Series Classification
under Class Imbalance [1.854931308524932]
GAN(Generative Adversarial Networks)による非パラメトリックデータ拡張は、有望なソリューションを提供する。
本稿では,データ拡張と分類を1段階のプロセスで結合する新しい手法であるImputation Balanced GAN(IB-GAN)を提案する。
論文 参考訳(メタデータ) (2021-10-14T15:31:16Z) - Correlation Clustering Reconstruction in Semi-Adversarial Models [70.11015369368272]
相関クラスタリングは多くのアプリケーションにおいて重要なクラスタリング問題である。
本研究では,ランダムノイズや対向的な修正によって崩壊した潜伏クラスタリングを再構築しようとする,この問題の再構築版について検討する。
論文 参考訳(メタデータ) (2021-08-10T14:46:17Z) - Neural Mixture Models with Expectation-Maximization for End-to-end Deep
Clustering [0.8543753708890495]
本稿では,ニューラルネットワークを用いた混合モデルに基づくクラスタリングを実現する。
我々は,Eステップとして前方パス,Mステップとして後方パスを動作させるバッチワイズEMイテレーションにより,ネットワークのエンドツーエンドをトレーニングする。
トレーニングされたネットワークは、k-meansに依存した単一ステージのディープクラスタリング手法よりも優れています。
論文 参考訳(メタデータ) (2021-07-06T08:00:58Z) - Image Modeling with Deep Convolutional Gaussian Mixture Models [79.0660895390689]
画像の記述と生成に適したGMM(Deep Hierarchical Gaussian Mixture Models)の新しい定式化を紹介します。
DCGMMは、畳み込みとプーリング操作によってリンクされた複数のGMM層の積み重ねたアーキテクチャによってこれを回避している。
dcgmmsでシャープな画像を生成するために,畳み込みやプーリングなどの非可逆操作をサンプリングする新しい勾配に基づく手法を提案する。
MNISTとFashionMNISTのデータセットに基づいて,クラスタリング,サンプリング,外乱検出において,フラットなGMMよりも優れていることを示すことで,DCGMMsモデルを検証した。
論文 参考訳(メタデータ) (2021-04-19T12:08:53Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳(メタデータ) (2021-01-06T17:36:26Z) - EGMM: an Evidential Version of the Gaussian Mixture Model for Clustering [22.586481334904793]
本稿では,信念関数の理論的枠組みにおいて,EGMM(evidential GMM)と呼ばれるモデルに基づくクラスタリングアルゴリズムを提案する。
EGMMのパラメータは、特別に設計された期待最大化(EM)アルゴリズムによって推定される。
提案したEGMMは従来のGMMと同じくらい単純であるが,検討されたデータセットに対して,より情報に富む明確な分割を生成することができる。
論文 参考訳(メタデータ) (2020-10-03T11:59:07Z) - Kernel learning approaches for summarising and combining posterior
similarity matrices [68.8204255655161]
我々は,ベイズクラスタリングモデルに対するMCMCアルゴリズムの出力を要約するための新しいアプローチを提案するために,後部類似性行列(PSM)の概念を構築した。
我々の研究の重要な貢献は、PSMが正の半定値であり、したがって確率的に動機付けられたカーネル行列を定義するのに使用できることである。
論文 参考訳(メタデータ) (2020-09-27T14:16:14Z) - Faster SVM Training via Conjugate SMO [0.0]
本稿では,SMOアルゴリズムの改良版を提案する。
この新しいアプローチは、各イテレーションの計算コストをわずかに増加させるだけである。
我々は、この新しい共役SMOの反復の収束と、カーネル行列が正定値であるときの線形速度を証明した。
論文 参考訳(メタデータ) (2020-03-19T12:50:13Z) - A Robust Speaker Clustering Method Based on Discrete Tied Variational
Autoencoder [27.211505187332385]
集約階層クラスタ(AHC)に基づく従来の話者クラスタリング手法は、長時間実行の欠点があり、環境騒音に敏感である。
本稿では,相互情報(MI)に基づく新しい話者クラスタリング手法と,雑音に対するロバスト性を高めるためにタイド変分オートエンコーダ(TVAE)の啓蒙の下で,離散変数を持つ非線形モデルを提案する。
論文 参考訳(メタデータ) (2020-03-04T08:54:38Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳(メタデータ) (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。