論文の概要: $\sigma$-PCA: a unified neural model for linear and nonlinear principal
component analysis
- arxiv url: http://arxiv.org/abs/2311.13580v2
- Date: Sat, 25 Nov 2023 22:26:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 10:01:53.523525
- Title: $\sigma$-PCA: a unified neural model for linear and nonlinear principal
component analysis
- Title(参考訳): $\sigma$-PCA:線形および非線形主成分分析のための統一ニューラルネットワークモデル
- Authors: Fahdi Kanavati, Lucy Katsnith, Masayuki Tsuneki
- Abstract要約: 単層オートエンコーダとして線形および非線形PCAの統一ニューラルモデルを提案する。
$sigma$-PCAは線形PCAと非線形PCAの相違を橋渡しする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Linear principal component analysis (PCA), nonlinear PCA, and linear
independent component analysis (ICA) -- those are three methods with
single-layer autoencoder formulations for learning linear transformations from
data. Linear PCA learns orthogonal transformations (rotations) that orient axes
to maximise variance, but it suffers from a subspace rotational indeterminacy:
it fails to find a unique rotation for axes that share the same variance. Both
nonlinear PCA and linear ICA reduce the subspace indeterminacy from rotational
to permutational by maximising statistical independence under the assumption of
unit variance. The relationship between all three can be understood by the
singular value decomposition of the linear ICA transformation into a sequence
of rotation, scale, rotation. Linear PCA learns the first rotation; nonlinear
PCA learns the second. The scale is simply the inverse of the standard
deviations. The problem is that, in contrast to linear PCA, conventional
nonlinear PCA cannot be used directly on the data to learn the first rotation,
the first being special as it reduces dimensionality and orders by variances.
In this paper, we have identified the cause, and as a solution we propose
$\sigma$-PCA: a unified neural model for linear and nonlinear PCA as
single-layer autoencoders. One of its key ingredients: modelling not just the
rotation but also the scale -- the variances. This model bridges the disparity
between linear and nonlinear PCA. And so, like linear PCA, it can learn a
semi-orthogonal transformation that reduces dimensionality and orders by
variances, but, unlike linear PCA, it does not suffer from rotational
indeterminacy.
- Abstract(参考訳): 線形主成分分析(PCA)、非線形PCA、線形独立成分分析(ICA)は、データから線形変換を学ぶための単層オートエンコーダを用いた3つの方法である。
線形PCAは、東洋軸が分散を最大化するために直交変換(回転)を学ぶが、これは部分空間回転の不確定性(英語版)(subspace rotational indeterminacy)に悩まされる。
非線形PCAと線形ICAは、単位分散の仮定の下で統計的独立性を最大化することにより、部分空間の不確定性を回転から置換に還元する。
これら3つの関係は、線形ICA変換の特異値分解を回転、スケール、回転の列に分解することで理解することができる。
線形PCAは第1回転を学習し、非線形PCAは第2回転を学習する。
スケールは単に標準偏差の逆である。
問題は、線形なpcaとは対照的に、従来の非線形pcaをデータに直接使用して最初の回転を学ぶことができないことである。
本稿では,その原因を特定し,一層オートエンコーダとして線形および非線形PCAの統一ニューラルモデルである$\sigma$-PCAを提案する。
重要な要素の1つは、回転だけでなくスケールもモデル化することである。
このモデルは線形PCAと非線形PCAの相違を橋渡しする。
したがって、線形PCAと同様に、次元と秩序を分散によって減少させる半直交変換を学ぶことができるが、線形PCAとは異なり、回転の不確定性に苦しむことはない。
関連論文リスト
- DiffusionPCR: Diffusion Models for Robust Multi-Step Point Cloud
Registration [73.37538551605712]
ポイントクラウド登録(PCR)は、2つのポイントクラウド間の相対的な厳密な変換を推定する。
本稿では, PCR を拡散確率過程として定式化し, ノイズ変換を基礎的真理にマッピングする。
実験ではDiffusionPCRの有効性を示し,3Dおよび3DLoMatchに対する最先端の登録リコール率(95.3%/81.6%)を得た。
論文 参考訳(メタデータ) (2023-12-05T18:59:41Z) - Beyond PCA: A Probabilistic Gram-Schmidt Approach to Feature Extraction [8.287206589886878]
データ間の非線形依存関係の存在下での線形特徴抽出は教師なし学習における根本的な課題である。
本稿では,余剰次元を検出・マッピングするために,確率的グラムシュミット型直交化法を提案する。
我々は,PCAと最先端の線形特徴抽出アルゴリズムよりも優れた性能を示す合成および実世界のデータセットのシミュレーション結果を提供する。
論文 参考訳(メタデータ) (2023-11-15T21:29:57Z) - Tangent Transformers for Composition, Privacy and Removal [74.86340153047534]
本稿では,一階展開計算により得られる線形変換器の微調整手法であるTangent Attention Fine-Tuning(TAFT)を紹介する。
線形化から生じるヤコビアン・テイラー積は、1つの前方通過で効率的に計算できることを示す。
下流の様々な視覚的分類タスクに適用すると、TAFTで微調整されたTangent Transformerは、元の非線形ネットワークを微調整して可逆的に動作できることが示される。
論文 参考訳(メタデータ) (2023-07-16T18:31:25Z) - Invertible Kernel PCA with Random Fourier Features [0.22940141855172028]
カーネル主成分分析(kPCA)は、非線形変換後の低次元データ表現を構築するために広く研究されている手法である。
圧縮工程から自然に復元を行う方法を提案する。
ikPCA は kPCA と同様の動作を示し,タスクの復調を指導的に行うことで,強力な代替手段であることを示す。
論文 参考訳(メタデータ) (2023-03-09T05:42:10Z) - Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision
Processes [80.89852729380425]
そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。
我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
論文 参考訳(メタデータ) (2022-12-12T18:58:59Z) - PCA-Boosted Autoencoders for Nonlinear Dimensionality Reduction in Low
Data Regimes [0.2925461470287228]
そこで本研究では,PCAを利用して少ない非線形データによく対応できるオートエンコーダを提案する。
まず, データの非線形性とサイズが提案手法の性能に及ぼす影響について検討した。
論文 参考訳(メタデータ) (2022-05-23T23:46:52Z) - Theoretical Connection between Locally Linear Embedding, Factor
Analysis, and Probabilistic PCA [13.753161236029328]
リニア埋め込み(LLE)は非線形スペクトル次元減少および多様体学習法である。
本稿では,各データポイントが線形再構成重みを潜在因子として条件付けされていると仮定する観点から,線形再構成ステップを考察する。
論文 参考訳(メタデータ) (2022-03-25T21:07:20Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳(メタデータ) (2021-09-10T07:01:15Z) - LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。
LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
論文 参考訳(メタデータ) (2020-12-21T06:40:20Z) - A New Basis for Sparse Principal Component Analysis [5.258928416164104]
以前のスパース主成分分析では、固有基底 ($p 倍 k$ 行列) がほぼスパースであると仮定されていた。
我々は、$p × k$ 行列が、$k × k$ 回転の後にほぼスパースとなると仮定する手法を提案する。
同レベルの疎度では,提案したスパースPCA法の方が安定であり,代替手法よりも分散を説明できることを示す。
論文 参考訳(メタデータ) (2020-07-01T16:32:22Z) - WICA: nonlinear weighted ICA [72.02008296553318]
独立成分分析(ICA)は、データのコンポーネントが独立している座標系を見つけることを目的としている。
我々は、WICAと呼ばれる新しい非線形ICAモデルを構築し、他のアルゴリズムよりも優れた、より安定した結果を得る。
論文 参考訳(メタデータ) (2020-01-13T10:38:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。