論文の概要: Enhancing Unsupervised Feature Selection via Double Sparsity Constrained Optimization
- arxiv url: http://arxiv.org/abs/2501.00726v1
- Date: Wed, 01 Jan 2025 05:05:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-05 17:12:08.529035
- Title: Enhancing Unsupervised Feature Selection via Double Sparsity Constrained Optimization
- Title（参考訳）: 二重空間制約最適化による教師なし特徴選択の促進
- Authors: Xianchao Xiu, Anning Yang, Chenyi Huang, Xinrong Li, Wanquan Liu,
- Abstract要約: 教師なし単一特徴選択(UFS)は機械学習やパターン認識に広く応用されている。
既存の手法のほとんどはスパーシリティしか考慮していないため、サブセットを選択し、元のサブセットと区別することは困難である。
本稿では,DSCOFSと呼ばれる新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 6.342485512772862
- License:
- Abstract: Unsupervised feature selection (UFS) is widely applied in machine learning and pattern recognition. However, most of the existing methods only consider a single sparsity, which makes it difficult to select valuable and discriminative feature subsets from the original high-dimensional feature set. In this paper, we propose a new UFS method called DSCOFS via embedding double sparsity constrained optimization into the classical principal component analysis (PCA) framework. Double sparsity refers to using $\ell_{2,0}$-norm and $\ell_0$-norm to simultaneously constrain variables, by adding the sparsity of different types, to achieve the purpose of improving the accuracy of identifying differential features. The core is that $\ell_{2,0}$-norm can remove irrelevant and redundant features, while $\ell_0$-norm can filter out irregular noisy features, thereby complementing $\ell_{2,0}$-norm to improve discrimination. An effective proximal alternating minimization method is proposed to solve the resulting nonconvex nonsmooth model. Theoretically, we rigorously prove that the sequence generated by our method globally converges to a stationary point. Numerical experiments on three synthetic datasets and eight real-world datasets demonstrate the effectiveness, stability, and convergence of the proposed method. In particular, the average clustering accuracy (ACC) and normalized mutual information (NMI) are improved by at least 3.34% and 3.02%, respectively, compared with the state-of-the-art methods. More importantly, two common statistical tests and a new feature similarity metric verify the advantages of double sparsity. All results suggest that our proposed DSCOFS provides a new perspective for feature selection.
- Abstract（参考訳）: 教師なし特徴選択(UFS)は機械学習やパターン認識に広く応用されている。
しかし、既存の手法の多くは単一の空間しか考慮していないため、元の高次元特徴集合から価値ある、差別的な特徴部分集合を選択することは困難である。
本稿では、古典的主成分分析(PCA)フレームワークに二重空間制約最適化を組み込むことにより、DSCOFSと呼ばれる新しいUFS手法を提案する。
double sparsity は $\ell_{2,0}$-norm と $\ell_0$-norm を使って変数を同時に制約し、異なる型の空白を追加することで、差分特徴の識別精度を向上させる。
コアとなるのは、$\ell_{2,0}$-normが無関係で冗長な機能を排除できるのに対して、$\ell_0$-normは不規則なノイズのある機能をフィルタリングし、$\ell_{2,0}$-normを補完して差別を改善することである。
非凸非平滑モデルの解法として, 有効近交互最小化法を提案する。
理論的には、我々の方法によって生成されるシーケンスが、大域的に定常点に収束することを厳密に証明する。
3つの合成データセットと8つの実世界のデータセットに関する数値実験により,提案手法の有効性,安定性,収束性を実証した。
特に、平均クラスタリング精度(ACC)と正規化相互情報(NMI)は、最先端の手法と比較して、それぞれ3.34%と3.02%改善されている。
さらに重要なことは、2つの共通統計テストと新しい特徴類似度測定が二重間隔の利点を検証することである。
これらの結果は,提案したDSCOFSが特徴選択の新しい視点を提供することを示している。
関連論文リスト
- Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。
トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。
証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
論文 参考訳（メタデータ） (2025-02-19T07:10:32Z) - Bi-Sparse Unsupervised Feature Selection [9.541908550559361]
非教師付き特徴選択(UFS)は、画像処理の上昇技術となっている。
本稿では,グローバル構造とローカル構造の両方を同時に満たすために,BSUFSと呼ばれる新しい二スパースUFS方式を提案する。
合成および実世界のデータセットに対する大規模な数値実験により,提案したBSUFSの有効性が示された。
論文 参考訳（メタデータ） (2024-12-22T01:43:58Z) - ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳（メタデータ） (2024-12-11T12:31:30Z) - Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。
本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。
提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
論文 参考訳（メタデータ） (2024-06-27T02:46:30Z) - Adaptive Variance Reduction for Stochastic Optimization under Weaker Assumptions [26.543628010637036]
非函数に対して$mathcalO(log T)$の最適収束率を達成する新しい適応還元法を導入する。
また、提案手法を拡張して、合成最適化のために$mathcalO(log T)$と同じ最適率を得る。
論文 参考訳（メタデータ） (2024-06-04T04:39:51Z) - DiTMoS: Delving into Diverse Tiny-Model Selection on Microcontrollers [34.282971510732736]
我々は、セレクタ分類器アーキテクチャを備えた新しいDNNトレーニングおよび推論フレームワークであるDiTMoSを紹介する。
弱いモデルの合成は高い多様性を示すことができ、それらの結合は精度の上限を大幅に高めることができる。
我々は,Nucleo STM32F767ZIボード上にDiTMoSをデプロイし,人間の活動認識,キーワードスポッティング,感情認識のための時系列データセットに基づいて評価する。
論文 参考訳（メタデータ） (2024-03-14T02:11:38Z) - Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud
Semantic Segmentation via Decoupling Optimization [64.36097398869774]
半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。
既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。
本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-13T04:16:40Z) - Efficiently Escaping Saddle Points for Non-Convex Policy Optimization [40.0986936439803]
政策勾配(PG)は、拡張性と優れた性能のために強化学習に広く用いられている。
本稿では,ヘッセンベクトル積 (HVP) の形で二階情報を用いた分散還元二階法を提案し,サンプルの複雑さを$tildeO(epsilon-3)$とする近似二階定常点 (SOSP) に収束する。
論文 参考訳（メタデータ） (2023-11-15T12:36:45Z) - AdaGDA: Faster Adaptive Gradient Descent Ascent Methods for Minimax
Optimization [104.96004056928474]
本稿では,非コンケーブ最小値問題に対する高速適応勾配降下法を提案する。
我々は,本手法が,ミニバッチサイズが$O(kappa2.5epsilon-3)$のより低いサンプル複雑性に達することを示す。
論文 参考訳（メタデータ） (2021-06-30T14:47:09Z) - Robust Multi-class Feature Selection via $l_{2,0}$-Norm Regularization
Minimization [6.41804410246642]
特徴選択は、データマイニングと機械学習において重要な計算処理である。
本稿では,複数クラスの特徴選択における最小二乗問題の解法として,ホモシーハードしきい値(HIHT)に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2020-10-08T02:06:06Z) - Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める
近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。
両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
論文 参考訳（メタデータ） (2020-03-30T08:40:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。