論文の概要: Beyond PCA: A Probabilistic Gram-Schmidt Approach to Feature Extraction
- arxiv url: http://arxiv.org/abs/2311.09386v2
- Date: Tue, 6 Feb 2024 03:42:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 19:51:52.308675
- Title: Beyond PCA: A Probabilistic Gram-Schmidt Approach to Feature Extraction
- Title(参考訳): PCAを超えて: 特徴抽出のための確率的文法シュミットアプローチ
- Authors: Bahram Yaghooti, Netanel Raviv, Bruno Sinopoli
- Abstract要約: データ間の非線形依存関係の存在下での線形特徴抽出は教師なし学習における根本的な課題である。
本稿では,余剰次元を検出・マッピングするために,確率的グラムシュミット型直交化法を提案する。
我々は,PCAと最先端の線形特徴抽出アルゴリズムよりも優れた性能を示す合成および実世界のデータセットのシミュレーション結果を提供する。
- 参考スコア(独自算出の注目度): 8.287206589886878
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Linear feature extraction at the presence of nonlinear dependencies among the
data is a fundamental challenge in unsupervised learning. We propose using a
probabilistic Gram-Schmidt (GS) type orthogonalization process in order to
detect and map out redundant dimensions. Specifically, by applying the GS
process over a family of functions which presumably captures the nonlinear
dependencies in the data, we construct a series of covariance matrices that can
either be used to identify new large-variance directions, or to remove those
dependencies from the principal components. In the former case, we provide
information-theoretic guarantees in terms of entropy reduction. In the latter,
we prove that under certain assumptions the resulting algorithms detect and
remove nonlinear dependencies whenever those dependencies lie in the linear
span of the chosen function family. Both proposed methods extract linear
features from the data while removing nonlinear redundancies. We provide
simulation results on synthetic and real-world datasets which show improved
performance over PCA and state-of-the-art linear feature extraction algorithms,
both in terms of variance maximization of the extracted features, and in terms
of improved performance of classification algorithms. Additionally, our methods
are comparable and often outperform the non-linear method of kernel PCA.
- Abstract(参考訳): データ間の非線形依存の存在下での線形特徴抽出は教師なし学習における基本的な課題である。
本稿では,余剰次元を検出・マップアウトするために,確率的グラムシュミット型直交化法を提案する。
具体的には、データ内の非線形依存関係をキャプチャするであろう関数群にGSプロセスを適用することで、新しい大きな分散方向を識別したり、主成分からそれらの依存関係を取り除くために使用できる一連の共分散行列を構築する。
前者の場合、エントロピー低減の観点から情報理論的な保証を提供する。
後者では、ある仮定の下で、選択された関数ファミリーの線形スパンに依存関係がある場合、結果のアルゴリズムが非線型依存を検出し、除去することを示す。
どちらの手法も非線形冗長性を取り除きながらデータから線形特徴を抽出する。
抽出された特徴の分散最大化と分類アルゴリズムの性能向上の両方の観点から,pcaおよび最先端線形特徴抽出アルゴリズムの性能向上を示す合成および実世界のデータセットのシミュレーション結果を提供する。
さらに,本手法はカーネルPCAの非線形手法よりも優れていることが多い。
関連論文リスト
- Pessimistic Nonlinear Least-Squares Value Iteration for Offline
Reinforcement Learning [58.962016644796]
非線形関数近似を用いたオフラインRLにおけるPNLSVI(Pessimistic Least-Square Value Iteration)と呼ばれるオラクル効率のアルゴリズムを提案する。
本アルゴリズムは,関数クラスの複雑性に強く依存する後悔境界を享受し,線形関数近似に特化して最小限のインスタンス依存後悔を実現する。
論文 参考訳(メタデータ) (2023-10-02T17:42:01Z) - Efficient Interpretable Nonlinear Modeling for Multiple Time Series [5.448070998907116]
本稿では,複数時系列に対する効率的な非線形モデリング手法を提案する。
異なる時系列変数間の非線形相互作用を含む。
実験結果から,提案アルゴリズムは相似的にVAR係数の支持値の同定を改善することが示された。
論文 参考訳(メタデータ) (2023-09-29T11:42:59Z) - Nonlinear Feature Aggregation: Two Algorithms driven by Theory [45.3190496371625]
現実世界の機械学習アプリケーションは、膨大な機能によって特徴付けられ、計算やメモリの問題を引き起こす。
一般集約関数を用いて特徴量の非線形変換を集約する次元還元アルゴリズム(NonLinCFA)を提案する。
また、アルゴリズムを合成および実世界のデータセット上でテストし、回帰および分類タスクを実行し、競合性能を示す。
論文 参考訳(メタデータ) (2023-06-19T19:57:33Z) - Functional Nonlinear Learning [0.0]
低次元特徴空間における多変量関数データを表現する機能非線形学習法(FunNoL)を提案する。
本研究では,FunNoLがデータ間隔によらず,良好な曲線分類と再構成を提供することを示す。
論文 参考訳(メタデータ) (2022-06-22T23:47:45Z) - Decoupling multivariate functions using a nonparametric filtered tensor
decomposition [0.29360071145551075]
疎結合技術は、非線形性の代替表現を提供することを目的としている。
いわゆる疎結合形式はしばしば、高度に構造化され、解釈可能性を好む一方で、関係のより効率的なパラメータ化である。
本研究では, 1次微分情報のフィルタテンソル分解に基づく2つの新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-23T09:34:17Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳(メタデータ) (2021-09-10T07:01:15Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳(メタデータ) (2020-12-29T04:08:38Z) - Sparse Quantized Spectral Clustering [85.77233010209368]
このような非線形変換の下で行列の固有スペクトルがどのように変化するのかを、ランダム行列理論のツールを用いて正確に述べる。
急激なスペーシング/量子化の下でも,情報的固有構造にはほとんど変化は見られなかった。
論文 参考訳(メタデータ) (2020-10-03T15:58:07Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。