論文の概要: Fibonacci and k-Subsecting Recursive Feature Elimination
- arxiv url: http://arxiv.org/abs/2007.14920v1
- Date: Wed, 29 Jul 2020 15:53:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-05 19:42:21.810797
- Title: Fibonacci and k-Subsecting Recursive Feature Elimination
- Title(参考訳): fibonacci と k-置換型再帰的特徴除去
- Authors: Dariusz Brzezinski
- Abstract要約: 特徴選択は、分類アルゴリズムを高速化する可能性のあるデータマイニングタスクである。
本稿では、Fibonacciとk-Subsecting Recursive Feature Eliminationという2つの新しいアルゴリズムを提案する。
その結果、Fibonacci と k-Subsecting Recursive Feature Elimination は標準 RFE よりもはるかに高速に機能の小さなサブセットを選択することができることがわかった。
- 参考スコア(独自算出の注目度): 2.741266294612776
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Feature selection is a data mining task with the potential of speeding up
classification algorithms, enhancing model comprehensibility, and improving
learning accuracy. However, finding a subset of features that is optimal in
terms of predictive accuracy is usually computationally intractable. Out of
several heuristic approaches to dealing with this problem, the Recursive
Feature Elimination (RFE) algorithm has received considerable interest from
data mining practitioners. In this paper, we propose two novel algorithms
inspired by RFE, called Fibonacci- and k-Subsecting Recursive Feature
Elimination, which remove features in logarithmic steps, probing the wrapped
classifier more densely for the more promising feature subsets. The proposed
algorithms are experimentally compared against RFE on 28 highly
multidimensional datasets and evaluated in a practical case study involving 3D
electron density maps from the Protein Data Bank. The results show that
Fibonacci and k-Subsecting Recursive Feature Elimination are capable of
selecting a smaller subset of features much faster than standard RFE, while
achieving comparable predictive performance.
- Abstract(参考訳): 特徴選択は、分類アルゴリズムの高速化、モデルの理解性の向上、学習精度の向上といった、データマイニングのタスクである。
しかし、予測精度の点で最適である特徴のサブセットを見つけることは、通常計算的に難解である。
この問題に対するヒューリスティックなアプローチとして、再帰的特徴除去(RFE)アルゴリズムはデータマイニングの実践者からかなりの関心を集めている。
本稿では,RFEにインスパイアされた2つの新しいアルゴリズムであるFibonacciとk-Subsecting Recursive Feature Eliminationを提案する。
提案アルゴリズムは28個の高次元データセット上で RFE と実験的に比較し,タンパク質データバンクの3次元電子密度マップを用いた実例で評価した。
その結果、Fibonacci と k-Subsecting Recursive Feature Elimination は、標準的な RFE よりもはるかに高速に機能の小さなサブセットを選択できると同時に、同等な予測性能を実現することができることがわかった。
関連論文リスト
- Large-scale Multi-objective Feature Selection: A Multi-phase Search Space Shrinking Approach [0.27624021966289597]
特徴の選択は、特に高次元データセットにおいて、機械学習において重要なステップである。
本稿では,LMSSSと呼ばれる探索空間の縮小に基づく大規模多目的進化アルゴリズムを提案する。
提案アルゴリズムの有効性は、15の大規模データセットに対する包括的実験によって実証される。
論文 参考訳(メタデータ) (2024-10-13T23:06:10Z) - An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。
このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。
本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-09-30T15:57:14Z) - Nonlinear Feature Aggregation: Two Algorithms driven by Theory [45.3190496371625]
現実世界の機械学習アプリケーションは、膨大な機能によって特徴付けられ、計算やメモリの問題を引き起こす。
一般集約関数を用いて特徴量の非線形変換を集約する次元還元アルゴリズム(NonLinCFA)を提案する。
また、アルゴリズムを合成および実世界のデータセット上でテストし、回帰および分類タスクを実行し、競合性能を示す。
論文 参考訳(メタデータ) (2023-06-19T19:57:33Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳(メタデータ) (2022-10-21T15:56:13Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - Large-scale Optimization of Partial AUC in a Range of False Positive
Rates [51.12047280149546]
ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。
近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。
提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
論文 参考訳(メタデータ) (2022-03-03T03:46:18Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳(メタデータ) (2021-04-03T09:08:12Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳(メタデータ) (2020-12-29T04:08:38Z) - IVFS: Simple and Efficient Feature Selection for High Dimensional
Topology Preservation [33.424663018395684]
本稿では,サンプル類似性保存を向上する簡易かつ効果的な特徴選択アルゴリズムを提案する。
提案アルゴリズムは、全データの対距離と位相パターンを適切に保存することができる。
論文 参考訳(メタデータ) (2020-04-02T23:05:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。