論文の概要: Bi-Sparse Unsupervised Feature Selection

• arxiv url: http://arxiv.org/abs/2412.16819v1
• Date: Sun, 22 Dec 2024 01:43:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:56:05.330970
• Title: Bi-Sparse Unsupervised Feature Selection
• Title（参考訳）: Bi-Sparse Unsupervised Feature Selection
• Authors: Xianchao Xiu, Chenyi Huang, Pan Shang, Wanquan Liu,
• Abstract要約: 非教師付き特徴選択(UFS)は、画像処理の上昇技術となっている。 本稿では,グローバル構造とローカル構造の両方を同時に満たすために,BSUFSと呼ばれる新しい二スパースUFS方式を提案する。 合成および実世界のデータセットに対する大規模な数値実験により,提案したBSUFSの有効性が示された。
• 参考スコア（独自算出の注目度）: 9.541908550559361
• License:
• Abstract: To efficiently deal with high-dimensional datasets in many areas, unsupervised feature selection (UFS) has become a rising technique for dimension reduction. Even though there are many UFS methods, most of them only consider the global structure of datasets by embedding a single sparse regularization or constraint. In this paper, we introduce a novel bi-sparse UFS method, called BSUFS, to simultaneously characterize both global and local structures. The core idea of BSUFS is to incorporate $\ell_{2,p}$-norm and $\ell_q$-norm into the classical principal component analysis (PCA), which enables our proposed method to select relevant features and filter out irrelevant noise accurately. Here, the parameters $p$ and $q$ are within the range of [0,1). Therefore, BSUFS not only constructs a unified framework for bi-sparse optimization, but also includes some existing works as special cases. To solve the resulting non-convex model, we propose an efficient proximal alternating minimization (PAM) algorithm using Riemannian manifold optimization and sparse optimization techniques. Theoretically, PAM is proven to have global convergence, i.e., for any random initial point, the generated sequence converges to a critical point that satisfies the first-order optimality condition. Extensive numerical experiments on synthetic and real-world datasets demonstrate the effectiveness of our proposed BSUFS. Specifically, the average accuracy (ACC) is improved by at least 4.71% and the normalized mutual information (NMI) is improved by at least 3.14% on average compared to the existing UFS competitors. The results validate the advantages of bi-sparse optimization in feature selection and show its potential for other fields in image processing. Our code will be available at https://github.com/xianchaoxiu.
• Abstract（参考訳）: 多くの領域で高次元データセットを効率的に扱うために、非教師なし特徴選択(UFS)は次元削減のための上昇技術となっている。 UFSには多くの方法があるが、そのほとんどは単一のスパース正規化や制約を埋め込むことでデータセットのグローバルな構造を考慮しているだけである。 本稿では,グローバルな構造とローカルな構造を同時に特徴付けるために,BSUFSと呼ばれる新しい二スパースUFS方式を提案する。 BSUFSの中核となる考え方は、古典的主成分分析(PCA)に$\ell_{2,p}$-normと$\ell_q$-normを組み込むことである。 ここで、$p$と$q$は[0,1]の範囲内である。 したがって、BSUFSは双スパース最適化のための統一されたフレームワークを構築するだけでなく、いくつかの既存の作業も特別なケースとして含んでいる。 結果として得られる非凸モデルを解決するために,リーマン多様体最適化とスパース最適化手法を用いた効率の良い近似交互最小化(PAM)アルゴリズムを提案する。 理論的には、PAMは大域収束、すなわち任意のランダムな初期点に対して、生成された列は第一次最適条件を満たす臨界点に収束することが証明されている。 合成および実世界のデータセットに対する大規模な数値実験により,提案したBSUFSの有効性が示された。 具体的には、平均精度(ACC)を少なくとも4.71%改善し、正規化相互情報(NMI)を既存のUFSコンペティターと比較して平均3.14%改善する。 その結果、特徴選択における双スパース最適化の利点を検証し、画像処理における他の分野の可能性を示した。 私たちのコードはhttps://github.com/xianchaoxiu.comで公開されます。

関連論文リスト

• Variance Alignment Score: A Simple But Tough-to-Beat Data Selection Method for Multimodal Contrastive Learning [17.40655778450583]
  本稿では、Sigma_texttest, Sigma_irangle$という形式を持つVariance Alignment Score(VAS)という原則付き計量を提案する。 VASとCLIPのスコアを合わせると、ノイズの多いデータセットDataCompの38評価セットに1.3%、高品質なデータセットCC12MのVTABに2.5%の差でベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-02-03T06:29:04Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• LinEasyBO: Scalable Bayesian Optimization Approach for Analog Circuit Synthesis via One-Dimensional Subspaces [11.64233949999656]
  アナログ回路合成のための1次元部分空間による高速でロバストなベイズ最適化手法を提案する。 提案アルゴリズムは,バッチサイズが15のとき,LP-EIおよびREMBOpBOと比較して最大9倍,38倍の最適化手順を高速化できる。
  論文  参考訳（メタデータ） (2021-09-01T21:25:25Z)
• Bayesian Algorithm Execution: Estimating Computable Properties of Black-box Functions Using Mutual Information [78.78486761923855]
  多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。 本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。 これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
  論文  参考訳（メタデータ） (2021-04-19T17:22:11Z)
• Stochastic Optimization of Areas Under Precision-Recall Curves with Provable Convergence [66.83161885378192]
  ROC(AUROC)と精度リコール曲線(AUPRC)の下の領域は、不均衡問題に対する分類性能を評価するための一般的な指標である。 本稿では,深層学習のためのAUPRCの最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-04-18T06:22:21Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)
• Practical Bayesian Optimization of Objectives with Conditioning Variables [1.0497128347190048]
  ユーザが複数の問題に直面している場合、状態変数に対してそれぞれを条件付きで最適化する必要がある場合を考える。 目的間の類似性は、それぞれの目的を2つの方法で最適化する。 本稿では条件最適化のためのフレームワークであるConBOを提案する。
  論文  参考訳（メタデータ） (2020-02-23T22:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。