論文の概要: Large-scale gradient-based training of Mixtures of Factor Analyzers

• arxiv url: http://arxiv.org/abs/2308.13778v1
• Date: Sat, 26 Aug 2023 06:12:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 19:05:59.487720
• Title: Large-scale gradient-based training of Mixtures of Factor Analyzers
• Title（参考訳）: 大規模勾配に基づく因子分析器の混合学習
• Authors: Alexander Gepperth
• Abstract要約: 本稿では,勾配降下による高次元学習を効果的に行うための理論解析と新しい手法の両立に寄与する。 MFAトレーニングと推論/サンプリングは,学習終了後の行列逆変換を必要としない精度行列に基づいて行うことができることを示す。 理論解析と行列の他に,SVHNやMNISTなどの画像データセットにMFAを適用し,サンプル生成と外乱検出を行う能力を示す。
• 参考スコア（独自算出の注目度）: 67.21722742907981
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gaussian Mixture Models (GMMs) are a standard tool in data analysis. However, they face problems when applied to high-dimensional data (e.g., images) due to the size of the required full covariance matrices (CMs), whereas the use of diagonal or spherical CMs often imposes restrictions that are too severe. The Mixture of Factor analyzers (MFA) model is an important extension of GMMs, which allows to smoothly interpolate between diagonal and full CMs based on the number of \textit{factor loadings} $l$. MFA has successfully been applied for modeling high-dimensional image data. This article contributes both a theoretical analysis as well as a new method for efficient high-dimensional MFA training by stochastic gradient descent, starting from random centroid initializations. This greatly simplifies the training and initialization process, and avoids problems of batch-type algorithms such Expectation-Maximization (EM) when training with huge amounts of data. In addition, by exploiting the properties of the matrix determinant lemma, we prove that MFA training and inference/sampling can be performed based on precision matrices, which does not require matrix inversions after training is completed. At training time, the methods requires the inversion of $l\times l$ matrices only. Besides the theoretical analysis and proofs, we apply MFA to typical image datasets such as SVHN and MNIST, and demonstrate the ability to perform sample generation and outlier detection.
• Abstract（参考訳）: ガウス混合モデル(gmms)は、データ分析における標準的なツールである。 しかし、必要となる全共分散行列(CM)のサイズのため、高次元データ(例えば画像)に適用すると問題が発生するが、対角的または球面的CMの使用は厳しい制約を課すことが多い。 MFAモデル(Mixture of Factor Analysisr)は、GMMの重要拡張であり、 \textit{factor loadings} $l$ に基づいて、対角線とフルCMのスムーズな補間を可能にする。 MFAは高次元画像データのモデリングに成功している。 本稿は,確率的勾配降下による高次元mfaトレーニングをランダムな遠心初期化から開始する新しい手法と理論解析に寄与する。 これはトレーニングと初期化を大幅に単純化し、大量のデータでトレーニングする場合の期待最大化(em)のようなバッチタイプのアルゴリズムの問題を回避する。 さらに,行列行列行列型補題の特性を生かして,訓練終了後の行列反転を必要としない精度行列に基づいて,mfa訓練と推論・サンプリングが可能であることを証明した。 トレーニング時に、このメソッドは$l\times l$ matricesのみの反転を必要とする。 理論解析と証明の他に、SVHNやMNISTのような典型的な画像データセットにMFAを適用し、サンプル生成と外れ値検出を行う能力を実証する。

関連論文リスト

• Support matrix machine: A review [0.0]
  サポートマトリックスマシン(SMM)は、行列入力データを扱うのに適した新しい手法の1つである。 本稿では,SMM モデルの開発について,より詳細な分析を行う。 我々は、ロバスト、スパース、クラス不均衡、マルチクラス分類モデルなど、多くのSMM変種について論じる。
  論文  参考訳（メタデータ） (2023-10-30T16:46:23Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Sufficient dimension reduction for feature matrices [3.04585143845864]
  そこで本研究では,主支持行列マシン (PSMM) を用いた行列次元削減手法を提案する。 数値解析により、PSMMは既存の手法よりも優れ、実データアプリケーションでは高い解釈性を有することが示された。
  論文  参考訳（メタデータ） (2023-03-07T23:16:46Z)
• Quadratic Matrix Factorization with Applications to Manifold Learning [1.6795461001108094]
  本稿では,データセットの配置する曲線多様体を学習するための2次行列分解(QMF)フレームワークを提案する。 アルゴリズムでは,QMFを最適化し,その理論的収束特性を確立するための交代最小化アルゴリズムを提案する。 合成多様体学習データセットとMNIST手書きデータセットと低温電子顕微鏡データセットを含む2つの実データセットの実験は、提案手法が競合相手よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:09:00Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Unitary Approximate Message Passing for Matrix Factorization [90.84906091118084]
  行列分解 (MF) を一定の制約で考慮し, 様々な分野の応用を見いだす。 我々は,効率の良いメッセージパッシング実装であるUAMPMFを用いて,MFに対するベイズ的アプローチを開発する。 UAMPMFは、回復精度、ロバスト性、計算複雑性の観点から、最先端のアルゴリズムを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2022-07-31T12:09:32Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• Weighted Low Rank Matrix Approximation and Acceleration [0.5177947445379687]
  低ランク行列近似は機械学習における中心的な概念の1つである。 低ランク行列補完(LRMC)は、いくつかの観測が欠落しているときにLRMA問題を解く。 重み付き問題を解くアルゴリズムと2つの加速手法を提案する。
  論文  参考訳（メタデータ） (2021-09-22T22:03:48Z)
• Self-supervised Symmetric Nonnegative Matrix Factorization [82.59905231819685]
  シンメトリー非負係数行列(SNMF)は、データクラスタリングの強力な方法であることを示した。 より良いクラスタリング結果を求めるアンサンブルクラスタリングにインスパイアされた,自己監視型SNMF(S$3$NMF)を提案する。 SNMFのコード特性に対する感度を、追加情報に頼らずに活用しています。
  論文  参考訳（メタデータ） (2021-03-02T12:47:40Z)
• Information-Theoretic Limits for the Matrix Tensor Product [8.206394018475708]
  本稿では,ランダム行列の行列テンソル積を含む高次元推論問題について検討する。 本稿では,高次元行列保存信号の解析のための新しい手法を紹介する。
  論文  参考訳（メタデータ） (2020-05-22T17:03:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。