論文の概要: $σ$-PCA: a unified neural model for linear and nonlinear principal component analysis
- arxiv url: http://arxiv.org/abs/2311.13580v3
- Date: Tue, 9 Apr 2024 08:38:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 19:57:00.048655
- Title: $σ$-PCA: a unified neural model for linear and nonlinear principal component analysis
- Title（参考訳）: $σ$-PCA:線形および非線形主成分分析のための統一ニューラルモデル
- Authors: Fahdi Kanavati, Lucy Katsnith, Masayuki Tsuneki,
- Abstract要約: データから特別な線形変換を学習するための単層オートエンコーダを用いた3つの手法
線形PCAは、東洋軸が分散を最大化する変換を学ぶが、それは部分空間の回転不確定性に悩まされる。
単層オートエンコーダとして線形および非線形PCAのための統一ニューラルモデルである$sigma$-PCAを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Linear principal component analysis (PCA), nonlinear PCA, and linear independent component analysis (ICA) -- those are three methods with single-layer autoencoder formulations for learning special linear transformations from data. Linear PCA learns orthogonal transformations that orient axes to maximise variance, but it suffers from a subspace rotational indeterminacy: it fails to find a unique rotation for axes that share the same variance. Both nonlinear PCA and linear ICA reduce the subspace indeterminacy from rotational to permutational by maximising statistical independence under the assumption of unit variance. The main difference between them is that nonlinear PCA only learns rotations while linear ICA learns not just rotations but any linear transformation with unit variance. The relationship between all three can be understood by the singular value decomposition of the linear ICA transformation into a sequence of rotation, scale, rotation. Linear PCA learns the first rotation; nonlinear PCA learns the second. The scale is the inverse of the standard deviations. The problem is that, in contrast to linear PCA, conventional nonlinear PCA cannot be used directly on the data to learn the first rotation, the first being special as it reduces dimensionality and orders by variances. In this paper, as solution to this problem, we propose $\sigma$-PCA: a unified neural model for linear and nonlinear PCA as single-layer autoencoders. Essentially, we propose a modification that allows nonlinear PCA to learn not just the second, but also the first rotation -- by maximising both variance and statistical independence. And so, like linear PCA, nonlinear PCA can now learn a semi-orthogonal transformation that reduces dimensionality and orders by variances, but, unlike linear PCA, nonlinear PCA can also eliminate the subspace rotational indeterminacy.
- Abstract（参考訳）: 線形主成分分析(PCA)、非線形PCA、線形独立成分分析(ICA)は、データから特別な線形変換を学ぶための単層オートエンコーダを用いた3つの方法である。
線形PCAは、東洋軸が分散を最大化する直交変換を学ぶが、それは部分空間の回転不確定性に悩まされる。
非線形PCAと線形ICAは、単位分散の仮定の下で統計的独立性を最大化することにより、部分空間の不確定性を回転から置換に還元する。
それらの主な違いは、非線形PCAは回転のみを学習し、線型ICAは回転だけでなく、単位分散を伴う線形変換も学習する点である。
これら3つの関係は、線形ICA変換の特異値分解を回転、スケール、回転の列に分解することで理解することができる。
線形PCAは第1回転を学習し、非線形PCAは第2回転を学習する。
スケールは標準偏差の逆である。
問題は、線形PCAとは対照的に、従来の非線形PCAはデータに直接使用せず、最初の回転を学習する。
本稿では,線形および非線形PCAを単一層オートエンコーダとして統合したニューラルモデルである$\sigma$-PCAを提案する。
本質的には、非線形PCAが第2の回転だけでなく第1の回転も学べるように、ばらつきと統計的独立性の両方を最大化する修正を提案する。
線形PCAと同様に、非線形PCAも半直交変換を学習し、次元と順序を分散によって減少させるが、線形PCAとは異なり、非線形PCAは部分空間の回転不確定性も排除できる。
関連論文リスト
- RLE: A Unified Perspective of Data Augmentation for Cross-Spectral Re-identification [59.5042031913258]
非線型モダリティの相違は主に、異なる材料の表面に作用する様々な線形変換に由来する。
本稿では,MRLE(Modrate Random Linear Enhancement)とRRLE(Radical Random Linear Enhancement)を含むRLE(Random Linear Enhancement)戦略を提案する。
実験結果は、RLEの優位性と有効性を示すだけでなく、クロススペクトル再同定のための汎用データ拡張としての可能性も確認した。
論文 参考訳（メタデータ） (2024-11-02T12:13:37Z) - From explained variance of correlated components to PCA without
orthogonality constraints [0.0]
データマトリックスAのブロック主成分分析(Block PCA)は1正規化によるスパースPCAの設計には難しい。
相関成分 Y = AZ で説明されるデータ行列 A の分散部分を測定する新しい目的行列関数 expvar(Y) を導入する。
論文 参考訳（メタデータ） (2024-02-07T09:32:32Z) - Discrete-Time Nonlinear Feedback Linearization via Physics-Informed
Machine Learning [0.0]
非線形システムのフィードバック線形化のための物理インフォームド機械学習手法を提案する。
提案したPIMLは従来の数値実装よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-03-15T19:03:23Z) - Linear Convergence of Natural Policy Gradient Methods with Log-Linear
Policies [115.86431674214282]
我々は、無限水平割引マルコフ決定過程を考察し、自然政策勾配(NPG)とQ-NPG法の収束率を対数線形ポリシークラスで検討する。
両手法が線形収束率と $mathcalO (1/epsilon2)$サンプル複雑度を, 単純で非適応的な幾何的に増加するステップサイズを用いて達成できることを示す。
論文 参考訳（メタデータ） (2022-10-04T06:17:52Z) - PCA-Boosted Autoencoders for Nonlinear Dimensionality Reduction in Low
Data Regimes [0.2925461470287228]
そこで本研究では,PCAを利用して少ない非線形データによく対応できるオートエンコーダを提案する。
まず, データの非線形性とサイズが提案手法の性能に及ぼす影響について検討した。
論文 参考訳（メタデータ） (2022-05-23T23:46:52Z) - Theoretical Connection between Locally Linear Embedding, Factor
Analysis, and Probabilistic PCA [13.753161236029328]
リニア埋め込み(LLE)は非線形スペクトル次元減少および多様体学習法である。
本稿では,各データポイントが線形再構成重みを潜在因子として条件付けされていると仮定する観点から,線形再構成ステップを考察する。
論文 参考訳（メタデータ） (2022-03-25T21:07:20Z) - Nonlinear Isometric Manifold Learning for Injective Normalizing Flows [58.720142291102135]
アイソメトリーを用いて、多様体学習と密度推定を分離する。
また、確率分布を歪ませない明示的な逆数を持つ埋め込みを設計するためにオートエンコーダを用いる。
論文 参考訳（メタデータ） (2022-03-08T08:57:43Z) - Symmetry-Aware Autoencoders: s-PCA and s-nlPCA [0.0]
本稿では,空間トランスフォーマーネットワークとシームズネットワークを用いて,連続的かつ離散的な対称性を考慮し,自動エンコーダに機械学習を組み込む手法を提案する。
提案した対称性対応オートエンコーダは、基礎となる物理系の力学を規定する所定の入力変換に不変である。
論文 参考訳（メタデータ） (2021-11-04T14:22:19Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳（メタデータ） (2021-09-10T07:01:15Z) - Quantitative Understanding of VAE as a Non-linearly Scaled Isometric
Embedding [52.48298164494608]
変分オートエンコーダ(VAE)は、各入力データに対応する潜伏変数の後方パラメータを推定する。
本稿では,VAEの微分幾何学的および情報理論的解釈を通じて,VAEの特性を定量的に理解する。
論文 参考訳（メタデータ） (2020-07-30T02:37:46Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。