論文の概要: Kernel Alignment for Unsupervised Feature Selection via Matrix Factorization
- arxiv url: http://arxiv.org/abs/2403.14688v1
- Date: Wed, 13 Mar 2024 20:35:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 03:23:33.650249
- Title: Kernel Alignment for Unsupervised Feature Selection via Matrix Factorization
- Title（参考訳）: 行列分解による教師なし特徴選択のためのカーネルアライメント
- Authors: Ziyuan Lin, Deanna Needell,
- Abstract要約: 教師なしの特徴選択は、いわゆる次元の呪いを和らげるために有効であることが証明されている。
多くの既存行列分解に基づく教師なし特徴選択法は、サブスペース学習に基づいて構築されている。
本稿では,カーネル関数とカーネルアライメントを統合したモデルを構築する。
これにより、線形および非線形の類似情報を学習し、最適なカーネルを自動的に生成することができる。
- 参考スコア（独自算出の注目度）: 8.020732438595905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: By removing irrelevant and redundant features, feature selection aims to find a good representation of the original features. With the prevalence of unlabeled data, unsupervised feature selection has been proven effective in alleviating the so-called curse of dimensionality. Most existing matrix factorization-based unsupervised feature selection methods are built upon subspace learning, but they have limitations in capturing nonlinear structural information among features. It is well-known that kernel techniques can capture nonlinear structural information. In this paper, we construct a model by integrating kernel functions and kernel alignment, which can be equivalently characterized as a matrix factorization problem. However, such an extension raises another issue: the algorithm performance heavily depends on the choice of kernel, which is often unknown a priori. Therefore, we further propose a multiple kernel-based learning method. By doing so, our model can learn both linear and nonlinear similarity information and automatically generate the most appropriate kernel. Experimental analysis on real-world data demonstrates that the two proposed methods outperform other classic and state-of-the-art unsupervised feature selection methods in terms of clustering results and redundancy reduction in almost all datasets tested.
- Abstract（参考訳）: 無関係で冗長な機能を削除することで、機能選択は元の機能の優れた表現を見つけることを目的としている。
ラベルなしデータの出現により、いわゆる次元性の呪いを軽減するために、教師なしの特徴選択が有効であることが証明された。
既存の行列分解に基づく非教師なし特徴選択法は、部分空間学習に基づいて構築されているが、特徴間の非線形構造情報の取得には制限がある。
カーネル技術が非線形構造情報をキャプチャできることはよく知られている。
本稿では,カーネル関数とカーネルアライメントを統合したモデルを構築する。
しかし、このような拡張は別の問題を引き起こす:アルゴリズムのパフォーマンスはカーネルの選択に大きく依存する。
そこで本研究では,複数のカーネルをベースとした学習手法を提案する。
これにより、線形および非線形の類似情報を学習し、最適なカーネルを自動的に生成することができる。
実世界のデータに対する実験分析により,提案手法は,クラスタリング結果とほぼ全てのデータセットにおける冗長性低減の観点から,従来の非教師なし特徴選択法よりも優れていることが示された。
関連論文リスト
- Optimal Kernel Choice for Score Function-based Causal Discovery [92.65034439889872]
本稿では,データに最も適合する最適なカーネルを自動的に選択する,一般化スコア関数内のカーネル選択手法を提案する。
合成データと実世界のベンチマークの両方で実験を行い,提案手法がカーネル選択法より優れていることを示す。
論文 参考訳（メタデータ） (2024-07-14T09:32:20Z) - Gram-Schmidt Methods for Unsupervised Feature Extraction and Selection [7.373617024876725]
本稿では,関数空間上のGram-Schmidtプロセスを提案する。
合成および実世界のベンチマークデータセットに対する実験結果を提供する。
驚いたことに、線形特徴抽出アルゴリズムは同等であり、しばしば重要な非線形特徴抽出法よりも優れている。
論文 参考訳（メタデータ） (2023-11-15T21:29:57Z) - Subspace Learning for Feature Selection via Rank Revealing QR
Factorization: Unsupervised and Hybrid Approaches with Non-negative Matrix
Factorization and Evolutionary Algorithm [0.0]
ランク明示QR(RRQR)因子化は、新しい教師なし特徴選択技術として最も情報性の高い特徴を得るのに活用される。
フィルタベース手法としてRRQRとラッパーベース手法として遺伝的アルゴリズムを組み合わせたハイブリッド特徴選択アルゴリズムを提案する。
提案アルゴリズムは、教師付き、教師なし、および半教師付き設定における最先端の特徴選択アルゴリズムと比較した場合、信頼性と堅牢性を示す。
論文 参考訳（メタデータ） (2022-10-02T04:04:47Z) - Learning "best" kernels from data in Gaussian process regression. With
application to aerodynamics [0.4588028371034406]
本稿では,ガウス過程の回帰/クリギングサロゲートモデリング手法におけるカーネルの選択/設計アルゴリズムを紹介する。
アルゴリズムの最初のクラスはカーネルフローであり、機械学習の分類の文脈で導入された。
アルゴリズムの第2のクラスはスペクトル核リッジ回帰と呼ばれ、近似される関数のノルムが最小となるような「最良の」カーネルを選択することを目的としている。
論文 参考訳（メタデータ） (2022-06-03T07:50:54Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - Taming Nonconvexity in Kernel Feature Selection---Favorable Properties
of the Laplace Kernel [77.73399781313893]
カーネルベースの特徴選択の客観的機能を確立することが課題である。
非言語最適化に利用可能な勾配に基づくアルゴリズムは、局所ミニマへの収束を保証できるだけである。
論文 参考訳（メタデータ） (2021-06-17T11:05:48Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳（メタデータ） (2020-12-29T04:08:38Z) - Adaptive Graph-based Generalized Regression Model for Unsupervised
Feature Selection [11.214334712819396]
非相関的かつ識別的特徴の選択は、教師なしの機能選択の重要な問題である。
非相関制約と $ell_2,1$-norm 正規化によって課される新しい一般化回帰モデルを提案する。
それは同時に同じ近所に属するこれらのデータ ポイントの分散を減らすこと無相関および差別的な特徴を選ぶことができます。
論文 参考訳（メタデータ） (2020-12-27T09:07:26Z) - Kernel k-Means, By All Means: Algorithms and Strong Consistency [21.013169939337583]
Kernel $k$クラスタリングは、非線形データの教師なし学習のための強力なツールである。
本稿では,最適化された局所解に対処するための一般的な手法を応用した結果を一般化する。
我々のアルゴリズムは、この非線形分離問題をよりよく解くために、Magricalization-minimization (MM) を利用している。
論文 参考訳（メタデータ） (2020-11-12T16:07:18Z) - Bayesian Sparse Factor Analysis with Kernelized Observations [67.60224656603823]
多視点問題は潜在変数モデルに直面することができる。
高次元問題と非線形問題は伝統的にカーネルメソッドによって扱われる。
両アプローチを単一モデルにマージすることを提案する。
論文 参考訳（メタデータ） (2020-06-01T14:25:38Z) - Invariant Feature Coding using Tensor Product Representation [75.62232699377877]
我々は,群不変特徴ベクトルが線形分類器を学習する際に十分な識別情報を含んでいることを証明した。
主成分分析やk平均クラスタリングにおいて,グループアクションを明示的に考慮する新たな特徴モデルを提案する。
論文 参考訳（メタデータ） (2019-06-05T07:15:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。