論文の概要: Non-linear PCA via Evolution Strategies: a Novel Objective Function
- arxiv url: http://arxiv.org/abs/2602.03967v1
- Date: Tue, 03 Feb 2026 19:34:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-05 19:45:11.249067
- Title: Non-linear PCA via Evolution Strategies: a Novel Objective Function
- Title(参考訳): 進化戦略による非線形PCA:新しい目的関数
- Authors: Thomas Uriot, Elise Chung,
- Abstract要約: 我々は、PCAの解釈可能性とニューラルネットワークの柔軟性を統一する堅牢な非線形フレームワークを提案する。
固有分解の非微分可能性を扱うために進化戦略 (ES) を用いて最適化したニューラルネットワークによる可変変換をパラメトリゼーションする。
提案手法は, 合成および実世界のデータセット間の説明分散において, 線形およびkPCAの両方を著しく上回ることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Principal Component Analysis (PCA) is a powerful and popular dimensionality reduction technique. However, due to its linear nature, it often fails to capture the complex underlying structure of real-world data. While Kernel PCA (kPCA) addresses non-linearity, it sacrifices interpretability and struggles with hyperparameter selection. In this paper, we propose a robust non-linear PCA framework that unifies the interpretability of PCA with the flexibility of neural networks. Our method parametrizes variable transformations via neural networks, optimized using Evolution Strategies (ES) to handle the non-differentiability of eigendecomposition. We introduce a novel, granular objective function that maximizes the individual variance contribution of each variable providing a stronger learning signal than global variance maximization. This approach natively handles categorical and ordinal variables without the dimensional explosion associated with one-hot encoding. We demonstrate that our method significantly outperforms both linear PCA and kPCA in explained variance across synthetic and real-world datasets. At the same time, it preserves PCA's interpretability, enabling visualization and analysis of feature contributions using standard tools such as biplots. The code can be found on GitHub.
- Abstract(参考訳): 主成分分析(PCA)は、強力で一般的な次元削減手法である。
しかし、その線形性のため、実世界のデータの複雑な基盤構造を捉えることができないことが多い。
Kernel PCA (kPCA) は非線形性に対処するが、解釈可能性とハイパーパラメータ選択の困難を犠牲にする。
本稿では,PCAの解釈可能性とニューラルネットワークの柔軟性を一体化する頑健な非線形PCAフレームワークを提案する。
本手法は,固有分解の非微分可能性を扱うために,進化戦略(Evolution Strategies:ES)を用いて最適化されたニューラルネットワークによる可変変換をパラメトリゼーションする。
本稿では,大域的分散最大化よりも強い学習信号を提供する各変数の個人分散寄与を最大化する,新しい,粒度の客観的関数を提案する。
このアプローチは1ホット符号化に付随する次元の爆発を伴わない分類変数と順序変数をネイティブに扱う。
提案手法は, 合成および実世界のデータセット間の説明分散において, 線形PCAとkPCAの両方を著しく上回ることを示す。
同時に、PCAの解釈可能性を保持し、バイプロットなどの標準ツールを使用して、機能コントリビューションの可視化と分析を可能にする。
コードはGitHubにある。
関連論文リスト
- Random Matrix Theory-guided sparse PCA for single-cell RNA-seq data [0.0]
単細胞RNA-seqは個々の細胞の詳細な分子スナップショットを提供する。
ほとんどの研究は、次元減少のための主成分分析(PCA)に依存している。
スパースプリンシパルコンポーネントの推論を導くRMT(Random Matrix Theory)ベースのアプローチでPCAを改善する。
論文 参考訳(メタデータ) (2025-09-18T21:08:38Z) - Structural Entropy Guided Probabilistic Coding [52.01765333755793]
構造エントロピー誘導型確率的符号化モデルSEPCを提案する。
我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。
分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
論文 参考訳(メタデータ) (2024-12-12T00:37:53Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳(メタデータ) (2023-10-17T01:05:28Z) - Improved Privacy-Preserving PCA Using Optimized Homomorphic Matrix
Multiplication [0.0]
主成分分析(英: principal Component Analysis、PCA)は、機械学習とデータ分析の領域で広く利用されている重要な技術である。
近年,セキュアなクラウドコンピューティングシナリオにおいて,プライバシ保護型PCAアルゴリズムの同型暗号化を活用する取り組みが進められている。
本稿では,これらの制約に対処するプライバシー保護PCAに対して,従来の手法に比べて効率,精度,拡張性に優れる新たなアプローチを提案する。
論文 参考訳(メタデータ) (2023-05-27T02:51:20Z) - An online algorithm for contrastive Principal Component Analysis [9.090031210111919]
我々は、cPCA*のオンラインアルゴリズムを導き、局所的な学習規則でニューラルネットワークにマップできることを示し、エネルギー効率の良いニューロモルフィックハードウェアで実装できる可能性がある。
実際のデータセット上でのオンラインアルゴリズムの性能を評価し、元の定式化との相違点と類似点を強調した。
論文 参考訳(メタデータ) (2022-11-14T19:48:48Z) - coVariance Neural Networks [119.45320143101381]
グラフニューラルネットワーク(GNN)は、グラフ構造化データ内の相互関係を利用して学習する効果的なフレームワークである。
我々は、サンプル共分散行列をグラフとして扱う、共分散ニューラルネットワーク(VNN)と呼ばれるGNNアーキテクチャを提案する。
VNN の性能は PCA ベースの統計手法よりも安定していることを示す。
論文 参考訳(メタデータ) (2022-05-31T15:04:43Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳(メタデータ) (2020-12-29T04:08:38Z) - Principal Ellipsoid Analysis (PEA): Efficient non-linear dimension
reduction & clustering [9.042239247913642]
本稿では,データとより柔軟なクラスタ形状の非線形関係を実現することにより,PCAとk平均の改善に焦点を当てる。
鍵となる貢献は、PCAに代わる単純で効率的な代替品を定義する、PEA(Principal Analysis)の新しいフレームワークである。
さまざまな実際のデータクラスタリングアプリケーションにおいて、PEAは単純なデータセットのためのk-meansと同様に機能し、より複雑な設定でパフォーマンスを劇的に改善する。
論文 参考訳(メタデータ) (2020-08-17T06:25:50Z) - Predictive Coding Approximates Backprop along Arbitrary Computation
Graphs [68.8204255655161]
我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。
私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。
本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
論文 参考訳(メタデータ) (2020-06-07T15:35:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。