論文の概要: $σ$-PCA: a building block for neural learning of identifiable linear transformations
- arxiv url: http://arxiv.org/abs/2311.13580v4
- Date: Mon, 1 Jul 2024 09:55:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-02 17:30:47.153354
- Title: $σ$-PCA: a building block for neural learning of identifiable linear transformations
- Title（参考訳）: $σ$-PCA: 同定可能な線形変換のニューラルネットワークのためのビルディングブロック
- Authors: Fahdi Kanavati, Lucy Katsnith, Masayuki Tsuneki,
- Abstract要約: $sigma$-PCAは線形および非線形PCAの統一モデルを定式化する手法である。
非線形PCAは、ばらつきと統計的独立性の両方を最大化する方法と見なすことができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Linear principal component analysis (PCA) learns (semi-)orthogonal transformations by orienting the axes to maximize variance. Consequently, it can only identify orthogonal axes whose variances are clearly distinct, but it cannot identify the subsets of axes whose variances are roughly equal. It cannot eliminate the subspace rotational indeterminacy: it fails to disentangle components with equal variances (eigenvalues), resulting, in each eigen subspace, in randomly rotated axes. In this paper, we propose $\sigma$-PCA, a method that (1) formulates a unified model for linear and nonlinear PCA, the latter being a special case of linear independent component analysis (ICA), and (2) introduces a missing piece into nonlinear PCA that allows it to eliminate, from the canonical linear PCA solution, the subspace rotational indeterminacy -- without whitening the inputs. Whitening, a preprocessing step which converts the inputs into unit-variance inputs, has generally been a prerequisite step for linear ICA methods, which meant that conventional nonlinear PCA could not necessarily preserve the orthogonality of the overall transformation, could not directly reduce dimensionality, and could not intrinsically order by variances. We offer insights on the relationship between linear PCA, nonlinear PCA, and linear ICA -- three methods with autoencoder formulations for learning special linear transformations from data, transformations that are (semi-)orthogonal for PCA, and arbitrary unit-variance for ICA. As part of our formulation, nonlinear PCA can be seen as a method that maximizes both variance and statistical independence, lying in the middle between linear PCA and linear ICA, serving as a building block for learning linear transformations that are identifiable.
- Abstract（参考訳）: 線形主成分分析(PCA)は、分散を最大化するために軸を向き付けて(半)直交変換を学習する。
したがって、分散が明確に区別される直交軸のみを特定できるが、分散が大まかに等しい軸の部分集合を識別することはできない。
部分空間の回転不確定性(英語版)(subspace rotational indeterminacy)を排除できない: 成分を等分散(固有値)で解けず、結果として各固有部分空間において、ランダムに回転した軸において、帰結する。
本稿では,(1)線形および非線形PCAの統一モデルを定式化する手法である$\sigma$-PCAを提案する。後者は線形独立成分分析(ICA)の特殊な場合である。
入力を単位分散入力に変換する前処理ステップであるWhiteningは、一般に線形ICA法において必要不可欠なステップであり、従来の非線形PCAは必ずしも全体変換の直交性を維持することができず、次元を直接的に減少させることができず、分散によって本質的に順序付けできないことを意味している。
線形PCA, 非線形PCA, 線形ICAの関係について, データから特別な線形変換を学習するためのオートエンコーダの定式化, PCAの(半)直交変換, ICAの任意の単位分散の3つの方法について考察する。
我々の定式化の一環として、非線形PCAは、線形PCAと線形ICAの中間に位置するばらつきと統計的独立性を最大化する手法であり、同定可能な線形変換を学習するためのビルディングブロックとして機能する。
関連論文リスト
- RLE: A Unified Perspective of Data Augmentation for Cross-Spectral Re-identification [59.5042031913258]
非線型モダリティの相違は主に、異なる材料の表面に作用する様々な線形変換に由来する。
本稿では,MRLE(Modrate Random Linear Enhancement)とRRLE(Radical Random Linear Enhancement)を含むRLE(Random Linear Enhancement)戦略を提案する。
実験結果は、RLEの優位性と有効性を示すだけでなく、クロススペクトル再同定のための汎用データ拡張としての可能性も確認した。
論文 参考訳（メタデータ） (2024-11-02T12:13:37Z) - From explained variance of correlated components to PCA without
orthogonality constraints [0.0]
データマトリックスAのブロック主成分分析(Block PCA)は1正規化によるスパースPCAの設計には難しい。
相関成分 Y = AZ で説明されるデータ行列 A の分散部分を測定する新しい目的行列関数 expvar(Y) を導入する。
論文 参考訳（メタデータ） (2024-02-07T09:32:32Z) - Discrete-Time Nonlinear Feedback Linearization via Physics-Informed
Machine Learning [0.0]
非線形システムのフィードバック線形化のための物理インフォームド機械学習手法を提案する。
提案したPIMLは従来の数値実装よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-03-15T19:03:23Z) - Linear Convergence of Natural Policy Gradient Methods with Log-Linear
Policies [115.86431674214282]
我々は、無限水平割引マルコフ決定過程を考察し、自然政策勾配(NPG)とQ-NPG法の収束率を対数線形ポリシークラスで検討する。
両手法が線形収束率と $mathcalO (1/epsilon2)$サンプル複雑度を, 単純で非適応的な幾何的に増加するステップサイズを用いて達成できることを示す。
論文 参考訳（メタデータ） (2022-10-04T06:17:52Z) - PCA-Boosted Autoencoders for Nonlinear Dimensionality Reduction in Low
Data Regimes [0.2925461470287228]
そこで本研究では,PCAを利用して少ない非線形データによく対応できるオートエンコーダを提案する。
まず, データの非線形性とサイズが提案手法の性能に及ぼす影響について検討した。
論文 参考訳（メタデータ） (2022-05-23T23:46:52Z) - Theoretical Connection between Locally Linear Embedding, Factor
Analysis, and Probabilistic PCA [13.753161236029328]
リニア埋め込み(LLE)は非線形スペクトル次元減少および多様体学習法である。
本稿では,各データポイントが線形再構成重みを潜在因子として条件付けされていると仮定する観点から,線形再構成ステップを考察する。
論文 参考訳（メタデータ） (2022-03-25T21:07:20Z) - Nonlinear Isometric Manifold Learning for Injective Normalizing Flows [58.720142291102135]
アイソメトリーを用いて、多様体学習と密度推定を分離する。
また、確率分布を歪ませない明示的な逆数を持つ埋め込みを設計するためにオートエンコーダを用いる。
論文 参考訳（メタデータ） (2022-03-08T08:57:43Z) - Symmetry-Aware Autoencoders: s-PCA and s-nlPCA [0.0]
本稿では,空間トランスフォーマーネットワークとシームズネットワークを用いて,連続的かつ離散的な対称性を考慮し,自動エンコーダに機械学習を組み込む手法を提案する。
提案した対称性対応オートエンコーダは、基礎となる物理系の力学を規定する所定の入力変換に不変である。
論文 参考訳（メタデータ） (2021-11-04T14:22:19Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳（メタデータ） (2021-09-10T07:01:15Z) - Quantitative Understanding of VAE as a Non-linearly Scaled Isometric
Embedding [52.48298164494608]
変分オートエンコーダ(VAE)は、各入力データに対応する潜伏変数の後方パラメータを推定する。
本稿では,VAEの微分幾何学的および情報理論的解釈を通じて,VAEの特性を定量的に理解する。
論文 参考訳（メタデータ） (2020-07-30T02:37:46Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。