論文の概要: Where to Pay Attention in Sparse Training for Feature Selection?

• arxiv url: http://arxiv.org/abs/2211.14627v1
• Date: Sat, 26 Nov 2022 17:49:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 16:26:00.887506
• Title: Where to Pay Attention in Sparse Training for Feature Selection?
• Title（参考訳）: 特徴選択のためのスパーストレーニングにおける報酬の注意
• Authors: Ghada Sokar, Zahra Atashgahi, Mykola Pechenizkiy, Decebal Constantin Mocanu
• Abstract要約: スパースオートエンコーダに基づく特徴選択のための効率的な教師なし手法を提案する。 画像, 音声, テキスト, 人工, 生物学的な10種類のデータセットを用いて実験を行った。 提案手法は,学習の繰り返しや計算コストを大幅に削減しつつ,情報的特徴の選択の観点から,最先端の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 14.159802560104936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A new line of research for feature selection based on neural networks has recently emerged. Despite its superiority to classical methods, it requires many training iterations to converge and detect informative features. The computational time becomes prohibitively long for datasets with a large number of samples or a very high dimensional feature space. In this paper, we present a new efficient unsupervised method for feature selection based on sparse autoencoders. In particular, we propose a new sparse training algorithm that optimizes a model's sparse topology during training to pay attention to informative features quickly. The attention-based adaptation of the sparse topology enables fast detection of informative features after a few training iterations. We performed extensive experiments on 10 datasets of different types, including image, speech, text, artificial, and biological. They cover a wide range of characteristics, such as low and high-dimensional feature spaces, and few and large training samples. Our proposed approach outperforms the state-of-the-art methods in terms of selecting informative features while reducing training iterations and computational costs substantially. Moreover, the experiments show the robustness of our method in extremely noisy environments.
• Abstract（参考訳）: ニューラルネットワークに基づく機能選択に関する新たな研究が最近登場している。 古典的手法よりも優れているにもかかわらず、情報的特徴を収束し検出するために多くの訓練の繰り返しが必要となる。 大量のサンプルや非常に高次元の特徴空間を持つデータセットの場合、計算時間は明らかに長くなる。 本稿では,スパースオートエンコーダに基づく特徴選択のための効率的非教師なし手法を提案する。 特に,学習中にモデルのスパーストポロジを最適化し,情報的特徴に素早く注意を向ける新しいスパーストレーニングアルゴリズムを提案する。 注意に基づくスパーストポロジーの適応により、数回のトレーニングを繰り返した後、情報的特徴を素早く検出できる。 画像, 音声, テキスト, 人工, 生物など, 10種類のデータセットに対して広範囲に実験を行った。 それらは、低次元や高次元の特徴空間や、少数のトレーニングサンプルなど、幅広い特性をカバーしている。 提案手法は, 学習イテレーションと計算コストを大幅に削減しつつ, 情報的特徴の選択という観点で, 最先端手法よりも優れている。 さらに, 実験により, 非常に騒音の多い環境での手法の堅牢性を示した。

関連論文リスト

• Large-scale Multi-objective Feature Selection: A Multi-phase Search Space Shrinking Approach [0.27624021966289597]
  特徴の選択は、特に高次元データセットにおいて、機械学習において重要なステップである。 本稿では,LMSSSと呼ばれる探索空間の縮小に基づく大規模多目的進化アルゴリズムを提案する。 提案アルゴリズムの有効性は、15の大規模データセットに対する包括的実験によって実証される。
  論文  参考訳（メタデータ） (2024-10-13T23:06:10Z)
• Self-STORM: Deep Unrolled Self-Supervised Learning for Super-Resolution Microscopy [55.2480439325792]
  我々は、シーケンス固有のモデルベースのオートエンコーダをトレーニングすることで、そのようなデータの必要性を軽減する、深層無学習の自己教師付き学習を導入する。 提案手法は, 監視対象の性能を超過する。
  論文  参考訳（メタデータ） (2024-03-25T17:40:32Z)
• A Performance-Driven Benchmark for Feature Selection in Tabular Deep Learning [131.2910403490434]
  データサイエンティストは通常、データセットにできるだけ多くの機能を集め、既存の機能から新しい機能を設計する。 既存のタブ形式の特徴選択のためのベンチマークでは、古典的な下流モデル、おもちゃの合成データセット、あるいは下流のパフォーマンスに基づいて特徴セレクタを評価していない。 変換器を含む下流ニューラルネットワーク上で評価された課題のある特徴選択ベンチマークを構築した。 また,従来の特徴選択法よりも高い性能を有するニューラルネットワークのための,Lassoのインプット・グラディエント・ベース・アナログも提案する。
  論文  参考訳（メタデータ） (2023-11-10T05:26:10Z)
• Towards Free Data Selection with General-Purpose Models [71.92151210413374]
  望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。 アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。 FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
  論文  参考訳（メタデータ） (2023-09-29T15:50:14Z)
• Supervised Feature Selection with Neuron Evolution in Sparse Neural Networks [17.12834153477201]
  スパースニューラルネットワークを用いた資源効率の高い新しい特徴選択法を提案する。 スクラッチからトレーニングされたスパースニューラルネットワークの入力層から、不定形的特徴を徐々に抜き取ることにより、NeuroFSは、機能の情報的サブセットを効率的に導き出す。 NeuroFSは、最先端の教師付き特徴選択モデルの中で最上位のスコアを達成している。
  論文  参考訳（メタデータ） (2023-03-10T17:09:55Z)
• Compactness Score: A Fast Filter Method for Unsupervised Feature Selection [66.84571085643928]
  本稿では,CSUFS (Compactness Score) と呼ばれる高速な教師なし特徴選択手法を提案する。 提案アルゴリズムは既存のアルゴリズムよりも正確で効率的である。
  論文  参考訳（メタデータ） (2022-01-31T13:01:37Z)
• Low-rank Dictionary Learning for Unsupervised Feature Selection [11.634317251468968]
  低ランク表現に辞書学習のアイデアを適用することで、教師なしの新たな特徴選択手法を導入する。 非教師付き特徴選択のための統一目的関数は、$ell_2,1$-norm正規化によってスパースな方法で提案される。 実験の結果,提案手法は最先端のアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-06-21T13:39:10Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Does a Hybrid Neural Network based Feature Selection Model Improve Text Classification? [9.23545668304066]
  関連する特徴を得るためのハイブリッド特徴選択手法を提案する。 次に、特徴選択とニューラルネットワークパイプラインを実装する3つの方法を示す。 また,いくつかのデータセットの精度もわずかに向上した。
  論文  参考訳（メタデータ） (2021-01-22T09:12:19Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。