論文の概要: $\sigma$-PCA: a unified neural model for linear and nonlinear principal component analysis

• arxiv url: http://arxiv.org/abs/2311.13580v1
• Date: Wed, 22 Nov 2023 18:34:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 14:00:25.145941
• Title: $\sigma$-PCA: a unified neural model for linear and nonlinear principal component analysis
• Title（参考訳）: $\sigma$-PCA:線形および非線形主成分分析のための統一ニューラルネットワークモデル
• Authors: Fahdi Kanavati, Lucy Katsnith, Masayuki Tsuneki
• Abstract要約: 単層オートエンコーダとして線形および非線形PCAの統一ニューラルモデルを提案する。 $sigma$-PCAは線形PCAと非線形PCAの相違を橋渡しする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linear principal component analysis (PCA), nonlinear PCA, and linear independent component analysis (ICA) -- those are three methods with single-layer autoencoder formulations for learning linear transformations from data. Linear PCA learns orthogonal transformations (rotations) that orient axes to maximise variance, but it suffers from a subspace rotational indeterminacy: it fails to find a unique rotation for axes that share the same variance. Both nonlinear PCA and linear ICA reduce the subspace indeterminacy from rotational to permutational by maximising statistical independence under the assumption of unit variance. The main difference between them is that nonlinear PCA only learns rotations while linear ICA learns not just rotations but any linear transformation with unit variance. The relationship between all three can be understood by the singular value decomposition of the linear ICA transformation into a sequence of rotation, scale, rotation. Linear PCA learns the first rotation; nonlinear PCA learns the second. The scale is simply the inverse of the standard deviations. The problem is that, in contrast to linear PCA, conventional nonlinear PCA cannot be used directly on the data to learn the first rotation, the first being special as it reduces dimensionality and orders by variances. In this paper, we have identified the cause, and as a solution we propose $\sigma$-PCA: a unified neural model for linear and nonlinear PCA as single-layer autoencoders. One of its key ingredients: modelling not just the rotation but also the scale -- the variances. This model bridges the disparity between linear and nonlinear PCA. And so, like linear PCA, it can learn a semi-orthogonal transformation that reduces dimensionality and orders by variances, but, unlike linear PCA, it does not suffer from rotational indeterminacy.
• Abstract（参考訳）: 線形主成分分析(PCA)、非線形PCA、線形独立成分分析(ICA)は、データから線形変換を学ぶための単層オートエンコーダを用いた3つの方法である。 線形PCAは、東洋軸が分散を最大化するために直交変換(回転)を学ぶが、これは部分空間回転の不確定性(英語版)(subspace rotational indeterminacy)に悩まされる。 非線形PCAと線形ICAは、単位分散の仮定の下で統計的独立性を最大化することにより、部分空間の不確定性を回転から置換に還元する。 それらの主な違いは、非線形PCAは回転のみを学習し、線型ICAは回転だけでなく、単位分散を伴う線形変換も学習する点である。 これら3つの関係は、線形ICA変換の特異値分解を回転、スケール、回転の列に分解することで理解することができる。 線形PCAは第1回転を学習し、非線形PCAは第2回転を学習する。 スケールは単に標準偏差の逆である。 問題は、線形なpcaとは対照的に、従来の非線形pcaをデータに直接使用して最初の回転を学ぶことができないことである。 本稿では,その原因を特定し,一層オートエンコーダとして線形および非線形PCAの統一ニューラルモデルである$\sigma$-PCAを提案する。 重要な要素の1つは、回転だけでなくスケールもモデル化することである。 このモデルは線形PCAと非線形PCAの相違を橋渡しする。 したがって、線形PCAと同様に、次元と秩序を分散によって減少させる半直交変換を学ぶことができるが、線形PCAとは異なり、回転の不確定性に苦しむことはない。

関連論文リスト

• RLE: A Unified Perspective of Data Augmentation for Cross-Spectral Re-identification [59.5042031913258]
  非線型モダリティの相違は主に、異なる材料の表面に作用する様々な線形変換に由来する。 本稿では,MRLE(Modrate Random Linear Enhancement)とRRLE(Radical Random Linear Enhancement)を含むRLE(Random Linear Enhancement)戦略を提案する。 実験結果は、RLEの優位性と有効性を示すだけでなく、クロススペクトル再同定のための汎用データ拡張としての可能性も確認した。
  論文  参考訳（メタデータ） (2024-11-02T12:13:37Z)
• From explained variance of correlated components to PCA without orthogonality constraints [0.0]
  データマトリックスAのブロック主成分分析(Block PCA)は1正規化によるスパースPCAの設計には難しい。 相関成分 Y = AZ で説明されるデータ行列 A の分散部分を測定する新しい目的行列関数 expvar(Y) を導入する。
  論文  参考訳（メタデータ） (2024-02-07T09:32:32Z)
• Discrete-Time Nonlinear Feedback Linearization via Physics-Informed Machine Learning [0.0]
  非線形システムのフィードバック線形化のための物理インフォームド機械学習手法を提案する。 提案したPIMLは従来の数値実装よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-15T19:03:23Z)
• Linear Convergence of Natural Policy Gradient Methods with Log-Linear Policies [115.86431674214282]
  我々は、無限水平割引マルコフ決定過程を考察し、自然政策勾配(NPG)とQ-NPG法の収束率を対数線形ポリシークラスで検討する。 両手法が線形収束率と $mathcalO (1/epsilon2)$サンプル複雑度を, 単純で非適応的な幾何的に増加するステップサイズを用いて達成できることを示す。
  論文  参考訳（メタデータ） (2022-10-04T06:17:52Z)
• PCA-Boosted Autoencoders for Nonlinear Dimensionality Reduction in Low Data Regimes [0.2925461470287228]
  そこで本研究では,PCAを利用して少ない非線形データによく対応できるオートエンコーダを提案する。 まず, データの非線形性とサイズが提案手法の性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2022-05-23T23:46:52Z)
• Theoretical Connection between Locally Linear Embedding, Factor Analysis, and Probabilistic PCA [13.753161236029328]
  リニア埋め込み(LLE)は非線形スペクトル次元減少および多様体学習法である。 本稿では,各データポイントが線形再構成重みを潜在因子として条件付けされていると仮定する観点から,線形再構成ステップを考察する。
  論文  参考訳（メタデータ） (2022-03-25T21:07:20Z)
• Nonlinear Isometric Manifold Learning for Injective Normalizing Flows [58.720142291102135]
  アイソメトリーを用いて、多様体学習と密度推定を分離する。 また、確率分布を歪ませない明示的な逆数を持つ埋め込みを設計するためにオートエンコーダを用いる。
  論文  参考訳（メタデータ） (2022-03-08T08:57:43Z)
• Symmetry-Aware Autoencoders: s-PCA and s-nlPCA [0.0]
  本稿では,空間トランスフォーマーネットワークとシームズネットワークを用いて,連続的かつ離散的な対称性を考慮し,自動エンコーダに機械学習を組み込む手法を提案する。 提案した対称性対応オートエンコーダは、基礎となる物理系の力学を規定する所定の入力変換に不変である。
  論文  参考訳（メタデータ） (2021-11-04T14:22:19Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Quantitative Understanding of VAE as a Non-linearly Scaled Isometric Embedding [52.48298164494608]
  変分オートエンコーダ(VAE)は、各入力データに対応する潜伏変数の後方パラメータを推定する。 本稿では,VAEの微分幾何学的および情報理論的解釈を通じて,VAEの特性を定量的に理解する。
  論文  参考訳（メタデータ） (2020-07-30T02:37:46Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。