論文の概要: Gram-Schmidt Methods for Unsupervised Feature Extraction and Selection

• arxiv url: http://arxiv.org/abs/2311.09386v3
• Date: Wed, 21 Aug 2024 20:19:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 19:56:46.292154
• Title: Gram-Schmidt Methods for Unsupervised Feature Extraction and Selection
• Title（参考訳）: 教師なし特徴抽出と選択のためのグラムシュミット法
• Authors: Bahram Yaghooti, Netanel Raviv, Bruno Sinopoli,
• Abstract要約: 本稿では,関数空間上のGram-Schmidtプロセスを提案する。 合成および実世界のベンチマークデータセットに対する実験結果を提供する。 驚いたことに、線形特徴抽出アルゴリズムは同等であり、しばしば重要な非線形特徴抽出法よりも優れている。
• 参考スコア（独自算出の注目度）: 7.373617024876725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature extraction and selection at the presence of nonlinear dependencies among the data is a fundamental challenge in unsupervised learning. We propose using a Gram-Schmidt (GS) type orthogonalization process over function spaces to detect and map out such dependencies. Specifically, by applying the GS process over some family of functions, we construct a series of covariance matrices that can either be used to identify new large-variance directions, or to remove those dependencies from known directions. In the former case, we provide information-theoretic guarantees in terms of entropy reduction. In the latter, we provide precise conditions by which the chosen function family eliminates existing redundancy in the data. Each approach provides both a feature extraction and a feature selection algorithm. Our feature extraction methods are linear, and can be seen as natural generalization of principal component analysis (PCA). We provide experimental results for synthetic and real-world benchmark datasets which show superior performance over state-of-the-art (linear) feature extraction and selection algorithms. Surprisingly, our linear feature extraction algorithms are comparable and often outperform several important nonlinear feature extraction methods such as autoencoders, kernel PCA, and UMAP. Furthermore, one of our feature selection algorithms strictly generalizes a recent Fourier-based feature selection mechanism (Heidari et al., IEEE Transactions on Information Theory, 2022), yet at significantly reduced complexity.
• Abstract（参考訳）: データ間の非線形依存関係の存在下での特徴抽出と選択は、教師なし学習における根本的な課題である。 本稿では,Gram-Schmidt (GS) 型の関数空間上の直交化プロセスを用いて,そのような依存関係を検出し,マッピングする。 具体的には、ある関数族にGSプロセスを適用することで、新しい大きな分散方向を識別したり、それらの依存を既知の方向から除去するために使用できる一連の共分散行列を構築する。 前者の場合、エントロピー低減の観点から情報理論の保証を提供する。 後者では、選択された関数ファミリーがデータの既存の冗長性を除去する正確な条件を提供する。 各アプローチは、特徴抽出と特徴選択アルゴリズムの両方を提供する。 特徴抽出法は線形であり,主成分分析(PCA)の自然な一般化と見なすことができる。 我々は,最先端(線形)特徴抽出および選択アルゴリズムよりも優れた性能を示す,合成および実世界のベンチマークデータセットの実験結果を提供する。 驚いたことに,我々の線形特徴抽出アルゴリズムは,オートエンコーダやカーネルPCA,UMAPなどの重要な非線形特徴抽出手法よりも優れていることが多い。 さらに、我々の特徴選択アルゴリズムの1つは、最近のフーリエに基づく特徴選択機構(Heidari et al , IEEE Transactions on Information Theory, 2022)を厳密に一般化するが、複雑さは著しく減少する。

関連論文リスト

• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Feature Selection as Deep Sequential Generative Learning [50.00973409680637]
  本研究では, 逐次再構成, 変分, 性能評価器の損失を伴って, 深部変分変圧器モデルを構築した。 提案モデルでは,特徴選択の知識を抽出し,連続的な埋め込み空間を学習し,特徴選択決定シーケンスをユーティリティスコアに関連付けられた埋め込みベクトルにマッピングする。
  論文  参考訳（メタデータ） (2024-03-06T16:31:56Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• Nonlinear Feature Aggregation: Two Algorithms driven by Theory [45.3190496371625]
  現実世界の機械学習アプリケーションは、膨大な機能によって特徴付けられ、計算やメモリの問題を引き起こす。 一般集約関数を用いて特徴量の非線形変換を集約する次元還元アルゴリズム(NonLinCFA)を提案する。 また、アルゴリズムを合成および実世界のデータセット上でテストし、回帰および分類タスクを実行し、競合性能を示す。
  論文  参考訳（メタデータ） (2023-06-19T19:57:33Z)
• Subspace Learning for Feature Selection via Rank Revealing QR Factorization: Unsupervised and Hybrid Approaches with Non-negative Matrix Factorization and Evolutionary Algorithm [0.0]
  ランク明示QR(RRQR)因子化は、新しい教師なし特徴選択技術として最も情報性の高い特徴を得るのに活用される。 フィルタベース手法としてRRQRとラッパーベース手法として遺伝的アルゴリズムを組み合わせたハイブリッド特徴選択アルゴリズムを提案する。 提案アルゴリズムは、教師付き、教師なし、および半教師付き設定における最先端の特徴選択アルゴリズムと比較した場合、信頼性と堅牢性を示す。
  論文  参考訳（メタデータ） (2022-10-02T04:04:47Z)
• Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
  再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。 提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
  論文  参考訳（メタデータ） (2020-12-29T04:08:38Z)
• Adaptive Graph-based Generalized Regression Model for Unsupervised Feature Selection [11.214334712819396]
  非相関的かつ識別的特徴の選択は、教師なしの機能選択の重要な問題である。 非相関制約と $ell_2,1$-norm 正規化によって課される新しい一般化回帰モデルを提案する。 それは同時に同じ近所に属するこれらのデータ ポイントの分散を減らすこと無相関および差別的な特徴を選ぶことができます。
  論文  参考訳（メタデータ） (2020-12-27T09:07:26Z)
• Joint Adaptive Graph and Structured Sparsity Regularization for Unsupervised Feature Selection [6.41804410246642]
  本稿では,共同適応グラフと構造付き空間正規化unsupervised feature selection (JASFS)法を提案する。 最適な機能のサブセットがグループで選択され、選択された機能の数が自動的に決定される。 8つのベンチマーク実験の結果,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2020-10-09T08:17:04Z)
• The data-driven physical-based equations discovery using evolutionary approach [77.34726150561087]
  与えられた観測データから数学的方程式を発見するアルゴリズムについて述べる。 このアルゴリズムは遺伝的プログラミングとスパース回帰を組み合わせたものである。 解析方程式の発見や偏微分方程式(PDE)の発見にも用いられる。
  論文  参考訳（メタデータ） (2020-04-03T17:21:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。