論文の概要: Quick and Robust Feature Selection: the Strength of Energy-efficient
Sparse Training for Autoencoders
- arxiv url: http://arxiv.org/abs/2012.00560v1
- Date: Tue, 1 Dec 2020 15:05:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-31 03:43:49.583499
- Title: Quick and Robust Feature Selection: the Strength of Energy-efficient
Sparse Training for Autoencoders
- Title(参考訳): 高速かつロバストな特徴選択:オートエンコーダのためのエネルギー効率のよいスパーストレーニングの強み
- Authors: Zahra Atashgahi, Ghada Sokar, Tim van der Lee, Elena Mocanu, Decebal
Constantin Mocanu, Raymond Veldhuis, Mykola Pechenizkiy
- Abstract要約: データセットの最も重要な属性を識別する機能選択は、この問題の解決策として導入されている。
既存の特徴選択法のほとんどは、計算的に非効率である。
本稿では,教師なし特徴選択のための新しいフレキシブルな手法を提案する。
- 参考スコア(独自算出の注目度): 4.561081324313315
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Major complications arise from the recent increase in the amount of
high-dimensional data, including high computational costs and memory
requirements. Feature selection, which identifies the most relevant and
informative attributes of a dataset, has been introduced as a solution to this
problem. Most of the existing feature selection methods are computationally
inefficient; inefficient algorithms lead to high energy consumption, which is
not desirable for devices with limited computational and energy resources. In
this paper, a novel and flexible method for unsupervised feature selection is
proposed. This method, named QuickSelection, introduces the strength of the
neuron in sparse neural networks as a criterion to measure the feature
importance. This criterion, blended with sparsely connected denoising
autoencoders trained with the sparse evolutionary training procedure, derives
the importance of all input features simultaneously. We implement
QuickSelection in a purely sparse manner as opposed to the typical approach of
using a binary mask over connections to simulate sparsity. It results in a
considerable speed increase and memory reduction. When tested on several
benchmark datasets, including five low-dimensional and three high-dimensional
datasets, the proposed method is able to achieve the best trade-off of
classification and clustering accuracy, running time, and maximum memory usage,
among widely used approaches for feature selection. Besides, our proposed
method requires the least amount of energy among the state-of-the-art
autoencoder-based feature selection methods.
- Abstract(参考訳): 主な合併症は、計算コストやメモリ要求などを含む最近の高次元データの量の増加から生じる。
データセットの最も関連性の高い情報的属性を特定する機能選択が,この問題に対する解決策として導入されている。
既存の特徴選択法の多くは計算的に非効率であり、非効率なアルゴリズムは高いエネルギー消費をもたらす。
本稿では,教師なし特徴選択のための新しい柔軟な手法を提案する。
QuickSelectionと名付けられたこの方法は、特徴の重要性を測定するための基準としてスパースニューラルネットワークにおけるニューロンの強度を導入する。
この基準は、スパース進化的訓練手順で訓練されたスパース連結のデノージングオートエンコーダとブレンドされ、全ての入力機能の重要性を導出する。
我々は、接続上のバイナリマスクを用いて空間をシミュレートする典型的なアプローチとは対照的に、純粋にスパースな方法でQuickSelectionを実装した。
その結果、かなりの速度向上とメモリ削減がもたらされる。
提案手法は,5つの低次元および3つの高次元データセットを含む複数のベンチマークデータセットで検証し,分類とクラスタリングの精度,実行時間,最大メモリ使用量の最良のトレードオフを実現する。
また,提案手法は,最先端のオートエンコーダに基づく特徴選択法の中で最小限のエネルギーを必要とする。
関連論文リスト
- A Performance-Driven Benchmark for Feature Selection in Tabular Deep
Learning [131.2910403490434]
データサイエンティストは通常、データセットにできるだけ多くの機能を集め、既存の機能から新しい機能を設計する。
既存のタブ形式の特徴選択のためのベンチマークでは、古典的な下流モデル、おもちゃの合成データセット、あるいは下流のパフォーマンスに基づいて特徴セレクタを評価していない。
変換器を含む下流ニューラルネットワーク上で評価された課題のある特徴選択ベンチマークを構築した。
また,従来の特徴選択法よりも高い性能を有するニューラルネットワークのための,Lassoのインプット・グラディエント・ベース・アナログも提案する。
論文 参考訳(メタデータ) (2023-11-10T05:26:10Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳(メタデータ) (2023-10-17T01:05:28Z) - Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
大規模未ラベルデータから学ぶための2つの戦略を提案する。
第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。
第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
論文 参考訳(メタデータ) (2023-07-26T16:19:19Z) - Feature selection algorithm based on incremental mutual information and
cockroach swarm optimization [12.297966427336124]
インクリメンタルな相互情報に基づく改良型Swarm知的最適化法(IMIICSO)を提案する。
この方法は、グループアルゴリズムのグローバル検索をガイドするために、決定テーブルの削減知識を抽出する。
改良されたゴキブリ群最適化アルゴリズムによって選択された特徴部分集合の精度は、インクリメンタルな相互情報に基づいて、元のスワム知能最適化アルゴリズムと同等か、ほぼ同程度である。
論文 参考訳(メタデータ) (2023-02-21T08:51:05Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳(メタデータ) (2022-06-15T17:58:34Z) - Compactness Score: A Fast Filter Method for Unsupervised Feature
Selection [66.84571085643928]
本稿では,CSUFS (Compactness Score) と呼ばれる高速な教師なし特徴選択手法を提案する。
提案アルゴリズムは既存のアルゴリズムよりも正確で効率的である。
論文 参考訳(メタデータ) (2022-01-31T13:01:37Z) - A concise method for feature selection via normalized frequencies [0.0]
本稿では,普遍的特徴選択のための簡潔な手法を提案する。
提案手法は, フィルタ法とラッパー法を融合して行う。
評価結果から,提案手法は,精度,精度,リコール,Fスコア,AUCの点で,いくつかの最先端技術に優れた性能を示した。
論文 参考訳(メタデータ) (2021-06-10T15:29:54Z) - Feature Selection Using Batch-Wise Attenuation and Feature Mask
Normalization [6.6357750579293935]
本稿では,新しいバッチ単位の減衰と特徴マスク正規化に基づく特徴選択のための特徴マスクモジュール(FM-モジュール)を提案する。
一般的な画像,テキスト,音声のデータセットを用いた実験により,我々のアプローチは使いやすく,最先端のディープラーニングに基づく特徴選択手法と比較して優れた性能を示した。
論文 参考訳(メタデータ) (2020-10-26T14:46:38Z) - Review of Swarm Intelligence-based Feature Selection Methods [3.8848561367220276]
高次元データセットを持つデータマイニングアプリケーションは、高速かつ精度が要求される。
次元削減手法の1つは、データマイニングタスクの精度を高める機能選択である。
最先端のSwarmインテリジェンスについて検討し、これらのアルゴリズムに基づく最近の特徴選択手法について概説する。
論文 参考訳(メタデータ) (2020-08-07T05:18:58Z) - Learning Centric Power Allocation for Edge Intelligence [84.16832516799289]
分散データを収集し、エッジで機械学習を実行するエッジインテリジェンスが提案されている。
本稿では,経験的分類誤差モデルに基づいて無線リソースを割り当てるLCPA法を提案する。
実験の結果,提案したLCPAアルゴリズムは,他のパワーアロケーションアルゴリズムよりも有意に優れていた。
論文 参考訳(メタデータ) (2020-07-21T07:02:07Z) - Binary Stochastic Filtering: feature selection and beyond [0.0]
この研究は、スパシティ正規化の使用方法を再考することによって、機能を自動的に選択する機能を備えたニューラルネットワークの拡張を目指している。
提案手法は,計算オーバーヘッドを最小あるいはゼロに抑えた古典的手法と比較して,優れた効率性を示した。
論文 参考訳(メタデータ) (2020-07-08T06:57:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。