論文の概要: Binary Stochastic Filtering: feature selection and beyond
- arxiv url: http://arxiv.org/abs/2007.03920v1
- Date: Wed, 8 Jul 2020 06:57:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 10:01:28.173899
- Title: Binary Stochastic Filtering: feature selection and beyond
- Title（参考訳）: binary stochastic filter: 特徴の選択とその先
- Authors: Andrii Trelin and Ale\v{s} Proch\'azka
- Abstract要約: この研究は、スパシティ正規化の使用方法を再考することによって、機能を自動的に選択する機能を備えたニューラルネットワークの拡張を目指している。
提案手法は,計算オーバーヘッドを最小あるいはゼロに抑えた古典的手法と比較して,優れた効率性を示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Feature selection is one of the most decisive tools in understanding data and
machine learning models. Among other methods, sparsity induced by $L^{1}$
penalty is one of the simplest and best studied approaches to this problem.
Although such regularization is frequently used in neural networks to achieve
sparsity of weights or unit activations, it is unclear how it can be employed
in the feature selection problem. This work aims at extending the neural
network with ability to automatically select features by rethinking how the
sparsity regularization can be used, namely, by stochastically penalizing
feature involvement instead of the layer weights. The proposed method has
demonstrated superior efficiency when compared to a few classical methods,
achieved with minimal or no computational overhead, and can be directly applied
to any existing architecture. Furthermore, the method is easily generalizable
for neuron pruning and selection of regions of importance for spectral data.
- Abstract（参考訳）: 特徴選択は、データと機械学習モデルを理解する上で最も決定的なツールの1つである。
他の方法では、$l^{1}$ペナルティによって引き起こされるスパーシティは、この問題に対する最も単純で最もよく研究されたアプローチの1つである。
このような正規化は、重みの空間性やユニットアクティベーションを達成するためにニューラルネットワークで頻繁に使用されるが、特徴選択問題にどのように適用できるかは不明である。
この研究は、階層重みの代わりに統計的に機能関与を罰することで、空間規則化をどのように使用できるかを再考することで、ニューラルネットワークを自動で特徴の選択能力で拡張することを目的としている。
提案手法は,数種類の古典的手法と比較して高い効率を示し,計算オーバーヘッドを最小限に抑え,既存のアーキテクチャに直接適用できることを示した。
さらに、この方法はニューロンのプルーニングやスペクトルデータの重要領域の選択に容易に一般化できる。
関連論文リスト
- Training a neural netwok for data reduction and better generalization [7.545668088790516]
スパース学習者の動機は、優れた一般化に必要なものだけを選択することで入力(特徴)を圧縮することである。
人工的な特徴の選択により,無関係な特徴を無視する段階から,それらを取り出す段階へ,顕著な段階的変化を示す。
このアプローチは、高次元データを意味のある罰則のコンパクトで解釈可能な部分集合に解釈するために圧縮された特徴を検知する形態であると見なすことができる。
論文 参考訳（メタデータ） (2024-11-26T07:41:15Z) - A Performance-Driven Benchmark for Feature Selection in Tabular Deep
Learning [131.2910403490434]
データサイエンティストは通常、データセットにできるだけ多くの機能を集め、既存の機能から新しい機能を設計する。
既存のタブ形式の特徴選択のためのベンチマークでは、古典的な下流モデル、おもちゃの合成データセット、あるいは下流のパフォーマンスに基づいて特徴セレクタを評価していない。
変換器を含む下流ニューラルネットワーク上で評価された課題のある特徴選択ベンチマークを構築した。
また,従来の特徴選択法よりも高い性能を有するニューラルネットワークのための,Lassoのインプット・グラディエント・ベース・アナログも提案する。
論文 参考訳（メタデータ） (2023-11-10T05:26:10Z) - Towards Free Data Selection with General-Purpose Models [71.92151210413374]
望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。
アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。
FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
論文 参考訳（メタデータ） (2023-09-29T15:50:14Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳（メタデータ） (2022-11-11T21:58:15Z) - Sequential Attention for Feature Selection [12.89764845700709]
本稿では,ニューラルネットワークの最先端な実験結果を実現するSequential Attentionと呼ばれる特徴選択アルゴリズムを提案する。
この設定への適応が古典的直交整合探索(OMP)アルゴリズムと等価であることを示すことによって、線形回帰のためのアルゴリズムの理論的な洞察を与える。
論文 参考訳（メタデータ） (2022-09-29T15:49:06Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - A concise method for feature selection via normalized frequencies [0.0]
本稿では,普遍的特徴選択のための簡潔な手法を提案する。
提案手法は, フィルタ法とラッパー法を融合して行う。
評価結果から,提案手法は,精度,精度,リコール,Fスコア,AUCの点で,いくつかの最先端技術に優れた性能を示した。
論文 参考訳（メタデータ） (2021-06-10T15:29:54Z) - Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。
まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。
そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
論文 参考訳（メタデータ） (2020-11-25T14:00:18Z) - Feature Selection Using Batch-Wise Attenuation and Feature Mask
Normalization [6.6357750579293935]
本稿では,新しいバッチ単位の減衰と特徴マスク正規化に基づく特徴選択のための特徴マスクモジュール(FM-モジュール)を提案する。
一般的な画像,テキスト,音声のデータセットを用いた実験により,我々のアプローチは使いやすく,最先端のディープラーニングに基づく特徴選択手法と比較して優れた性能を示した。
論文 参考訳（メタデータ） (2020-10-26T14:46:38Z) - Embedded methods for feature selection in neural networks [0.0]
ニューラルネットワークのようなブラックボックスモデルは、解釈可能性、一般化可能性、これらのモデルのトレーニング時間に悪影響を及ぼす。
パラメータ学習に直接組み込むことのできる特徴選択のための2つの統合的アプローチを提案する。
PFI(Permutation Feature Importance) - 汎用的な特徴ランキング法とランダムなベースライン。
論文 参考訳（メタデータ） (2020-10-12T16:33:46Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳（メタデータ） (2020-05-02T06:41:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。