論文の概要: Theoretical Connection between Locally Linear Embedding, Factor
Analysis, and Probabilistic PCA
- arxiv url: http://arxiv.org/abs/2203.13911v1
- Date: Fri, 25 Mar 2022 21:07:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-29 13:40:59.563016
- Title: Theoretical Connection between Locally Linear Embedding, Factor
Analysis, and Probabilistic PCA
- Title(参考訳): 局所線形埋め込みと因子分析と確率的PCAの理論的関係
- Authors: Benyamin Ghojogh, Ali Ghodsi, Fakhri Karray, Mark Crowley
- Abstract要約: リニア埋め込み(LLE)は非線形スペクトル次元減少および多様体学習法である。
本稿では,各データポイントが線形再構成重みを潜在因子として条件付けされていると仮定する観点から,線形再構成ステップを考察する。
- 参考スコア(独自算出の注目度): 13.753161236029328
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Locally Linear Embedding (LLE) is a nonlinear spectral dimensionality
reduction and manifold learning method. It has two main steps which are linear
reconstruction and linear embedding of points in the input space and embedding
space, respectively. In this work, we look at the linear reconstruction step
from a stochastic perspective where it is assumed that every data point is
conditioned on its linear reconstruction weights as latent factors. The
stochastic linear reconstruction of LLE is solved using expectation
maximization. We show that there is a theoretical connection between three
fundamental dimensionality reduction methods, i.e., LLE, factor analysis, and
probabilistic Principal Component Analysis (PCA). The stochastic linear
reconstruction of LLE is formulated similar to the factor analysis and
probabilistic PCA. It is also explained why factor analysis and probabilistic
PCA are linear and LLE is a nonlinear method. This work combines and makes a
bridge between two broad approaches of dimensionality reduction, i.e., the
spectral and probabilistic algorithms.
- Abstract(参考訳): 局所線形埋め込み(LLE)は非線形スペクトル次元減少および多様体学習法である。
線形再構成と入力空間への点の線形埋め込みと埋め込み空間という2つの主要なステップがある。
本研究では,各データ点が線形再構成重みを潜在因子として条件付けされていると仮定する確率論的視点から線形再構成ステップを考察する。
lleの確率線形再構成は期待最大化を用いて解く。
本稿では,LLE,因子分析,確率的主成分分析(PCA)の3つの基本次元減少法の間に理論的関係があることを述べる。
LLEの確率線形再構成は因子分析や確率的PCAと同様に定式化される。
また、因子分析と確率的PCAが線形であり、LLEが非線形法である理由も説明されている。
この研究は、次元還元の2つの広いアプローチ、すなわちスペクトルと確率的アルゴリズムの橋渡しと組み合わせている。
関連論文リスト
- Synergistic eigenanalysis of covariance and Hessian matrices for
enhanced binary classification [75.90957645766676]
本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。
我々のアプローチは、クラス間の平均距離を最大化し、クラス内の分散を最小化する能力を確立する形式的な証明によって裏付けられている。
論文 参考訳(メタデータ) (2024-02-14T16:10:42Z) - $\sigma$-PCA: a unified neural model for linear and nonlinear principal
component analysis [0.0]
単層オートエンコーダとして線形および非線形PCAの統一ニューラルモデルを提案する。
$sigma$-PCAは線形PCAと非線形PCAの相違を橋渡しする。
論文 参考訳(メタデータ) (2023-11-22T18:34:49Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - A Bayesian Perspective for Determinant Minimization Based Robust
Structured Matrix Factorizatio [10.355894890759377]
構造行列分解問題に対するベイズ的視点を導入する。
解析結果から, 行列行列の因数分解に対するロバストな行列式を導出する手法が提案される。
論文 参考訳(メタデータ) (2023-02-16T16:48:41Z) - A dynamical systems based framework for dimension reduction [0.0]
本稿では,非線形力学系に基づく低次元データ表現の学習フレームワークを提案する。
DDRモデルでは、各点は低次元部分空間への非線形フローによって進化する。
勾配に基づく最適化手法を用いてDDR法をどのように訓練するかを示す。
論文 参考訳(メタデータ) (2022-04-18T04:02:11Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳(メタデータ) (2021-09-10T07:01:15Z) - Improving Metric Dimensionality Reduction with Distributed Topology [68.8204255655161]
DIPOLEは、局所的、計量的項と大域的、位相的項の両方で損失関数を最小化し、初期埋め込みを補正する次元推論後処理ステップである。
DIPOLEは、UMAP、t-SNE、Isomapといった一般的な手法よりも多くの一般的なデータセットで優れています。
論文 参考訳(メタデータ) (2021-06-14T17:19:44Z) - Generative Locally Linear Embedding [5.967999555890417]
線形局所埋め込み(LLE)は非線形スペクトル次元減少および多様体学習法である。
GLLE(Generative LLE)という,新しいLLEの2つの生成バージョンを提案する。
シミュレーションの結果,提案手法はデータの展開や部分多様体の生成に有効であることがわかった。
論文 参考訳(メタデータ) (2021-04-04T02:59:39Z) - Piecewise linear regression and classification [0.20305676256390928]
本稿では,線形予測器を用いた多変量回帰と分類問題の解法を提案する。
本論文で記述されたアルゴリズムのpython実装は、http://cse.lab.imtlucca.it/bemporad/parcで利用可能である。
論文 参考訳(メタデータ) (2021-03-10T17:07:57Z) - Eigendecomposition-Free Training of Deep Networks for Linear
Least-Square Problems [107.3868459697569]
我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。
この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。
我々の手法は収束特性が良く、最先端の結果が得られます。
論文 参考訳(メタデータ) (2020-04-15T04:29:34Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳(メタデータ) (2020-03-02T16:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。