論文の概要: Algorithmic Stability and Generalization of an Unsupervised Feature Selection Algorithm

• arxiv url: http://arxiv.org/abs/2010.09416v2
• Date: Wed, 5 Jan 2022 14:10:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 20:54:52.905201
• Title: Algorithmic Stability and Generalization of an Unsupervised Feature Selection Algorithm
• Title（参考訳）: 教師なし特徴選択アルゴリズムのアルゴリズム安定性と一般化
• Authors: Xinxing Wu and Qiang Cheng
• Abstract要約: アルゴリズム安定性は、入力サンプルの摂動に対する感度に関するアルゴリズムの重要な特徴である。 本稿では,この安定性を保証可能な保証で実現した,革新的な教師なし特徴選択アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 20.564573628659918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature selection, as a vital dimension reduction technique, reduces data dimension by identifying an essential subset of input features, which can facilitate interpretable insights into learning and inference processes. Algorithmic stability is a key characteristic of an algorithm regarding its sensitivity to perturbations of input samples. In this paper, we propose an innovative unsupervised feature selection algorithm attaining this stability with provable guarantees. The architecture of our algorithm consists of a feature scorer and a feature selector. The scorer trains a neural network (NN) to globally score all the features, and the selector adopts a dependent sub-NN to locally evaluate the representation abilities for selecting features. Further, we present algorithmic stability analysis and show that our algorithm has a performance guarantee via a generalization error bound. Extensive experimental results on real-world datasets demonstrate superior generalization performance of our proposed algorithm to strong baseline methods. Also, the properties revealed by our theoretical analysis and the stability of our algorithm-selected features are empirically confirmed.
• Abstract（参考訳）: 特徴選択は、重要な次元削減手法として、入力特徴の重要なサブセットを特定してデータ次元を減らし、学習と推論プロセスに対する解釈可能な洞察を促進する。 アルゴリズム安定性は、入力サンプルの摂動に対する感度に関するアルゴリズムの重要な特徴である。 本稿では,この安定性を証明可能な保証で達成する,非教師なし特徴選択アルゴリズムを提案する。 アルゴリズムのアーキテクチャは特徴スコアと特徴セレクタから構成される。 スコアラは、すべての特徴をグローバルにスコアするニューラルネットワーク(NN)をトレーニングし、セレクタは依存サブNNを採用して、特徴を選択するための表現能力をローカルに評価する。 さらに,アルゴリズムの安定性解析を行い,一般化誤差バウンドによる性能保証を行うことを示した。 実世界のデータセットに対する大規模な実験結果から,提案アルゴリズムの強力なベースライン法への一般化性能が向上した。 また,理論解析により明らかになった特性とアルゴリズム選択特徴の安定性を実証的に確認した。

関連論文リスト

• Unlock the Power of Algorithm Features: A Generalization Analysis for Algorithm Selection [25.29451529910051]
  本稿では,アルゴリズムの特徴に基づくアルゴリズム選択の証明可能な最初の保証を提案する。 アルゴリズムの特徴に関連する利点とコストを分析し、一般化誤差が様々な要因にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2024-05-18T17:38:25Z)
• Deep Unrolling for Nonconvex Robust Principal Component Analysis [75.32013242448151]
  我々はロバスト成分分析のためのアルゴリズムを設計する(A) 行列を低主行列とスパース主行列の和に分解する。
  論文  参考訳（メタデータ） (2023-07-12T03:48:26Z)
• Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
  低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。 既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。 提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
  論文  参考訳（メタデータ） (2023-07-08T15:41:48Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Sequential Attention for Feature Selection [12.89764845700709]
  本稿では,ニューラルネットワークの最先端な実験結果を実現するSequential Attentionと呼ばれる特徴選択アルゴリズムを提案する。 この設定への適応が古典的直交整合探索(OMP)アルゴリズムと等価であることを示すことによって、線形回帰のためのアルゴリズムの理論的な洞察を与える。
  論文  参考訳（メタデータ） (2022-09-29T15:49:06Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Canonical-Correlation-Based Fast Feature Selection for Structural Health Monitoring [4.533223834527272]
  本稿では,観測された特徴と欲求探索における対象変数の2乗正準相関係数の和を効率的に計算し,高速な特徴選択アルゴリズムを提案する。 提案アルゴリズムは, 計算速度, 一般分類, 回帰タスク, 損傷に敏感な特徴選択タスクの両面において, その優位性を示すために, 合成データセットと実データセットの両方に適用される。
  論文  参考訳（メタデータ） (2021-06-15T15:55:17Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Online Deterministic Annealing for Classification and Clustering [0.0]
  本稿では,クラスタリングと分類のためのオンラインプロトタイプベースの学習アルゴリズムを提案する。 本稿では,提案アルゴリズムが競合学習ニューラルネットワークを構成することを示し,その学習規則をオンライン近似アルゴリズムとして定式化する。
  論文  参考訳（メタデータ） (2021-02-11T04:04:21Z)
• Feature Selection Using Reinforcement Learning [0.0]
  特定の関心の予測因子を特徴付けるために使用できる変数や特徴の空間は指数関数的に増大し続けている。 モデルのバイアスを損なうことなく分散を最小化する最も特徴的な特徴を特定することは、マシンラーニングモデルのトレーニングを成功させる上で非常に重要です。
  論文  参考訳（メタデータ） (2021-01-23T09:24:37Z)
• Extreme Algorithm Selection With Dyadic Feature Representation [78.13985819417974]
  我々は,数千の候補アルゴリズムの固定セットを考慮に入れた,極端なアルゴリズム選択(XAS)の設定を提案する。 我々は、XAS設定に対する最先端のAS技術の適用性を評価し、Dyadic特徴表現を利用したアプローチを提案する。
  論文  参考訳（メタデータ） (2020-01-29T09:40:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。