論文の概要: Feature Selection as Deep Sequential Generative Learning
- arxiv url: http://arxiv.org/abs/2403.03838v1
- Date: Wed, 6 Mar 2024 16:31:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 14:22:20.417200
- Title: Feature Selection as Deep Sequential Generative Learning
- Title(参考訳): 深層系列生成学習としての特徴選択
- Authors: Wangyang Ying, Dongjie Wang, Haifeng Chen, Yanjie Fu
- Abstract要約: 本研究では, 逐次再構成, 変分, 性能評価器の損失を伴って, 深部変分変圧器モデルを構築した。
提案モデルでは,特徴選択の知識を抽出し,連続的な埋め込み空間を学習し,特徴選択決定シーケンスをユーティリティスコアに関連付けられた埋め込みベクトルにマッピングする。
- 参考スコア(独自算出の注目度): 50.00973409680637
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Feature selection aims to identify the most pattern-discriminative feature
subset. In prior literature, filter (e.g., backward elimination) and embedded
(e.g., Lasso) methods have hyperparameters (e.g., top-K, score thresholding)
and tie to specific models, thus, hard to generalize; wrapper methods search a
feature subset in a huge discrete space and is computationally costly. To
transform the way of feature selection, we regard a selected feature subset as
a selection decision token sequence and reformulate feature selection as a deep
sequential generative learning task that distills feature knowledge and
generates decision sequences. Our method includes three steps: (1) We develop a
deep variational transformer model over a joint of sequential reconstruction,
variational, and performance evaluator losses. Our model can distill feature
selection knowledge and learn a continuous embedding space to map feature
selection decision sequences into embedding vectors associated with utility
scores. (2) We leverage the trained feature subset utility evaluator as a
gradient provider to guide the identification of the optimal feature subset
embedding;(3) We decode the optimal feature subset embedding to
autoregressively generate the best feature selection decision sequence with
autostop. Extensive experimental results show this generative perspective is
effective and generic, without large discrete search space and expert-specific
hyperparameters.
- Abstract(参考訳): 特徴選択は、最もパターンを識別する特徴サブセットを特定することを目的としている。
以前の文献では、フィルタ(例えば後方消去)と埋め込み(例えばlasso)のメソッドはハイパーパラメータ(例えばtop-k、スコアしきい値)を持ち、特定のモデルと結びつくため一般化が困難である。
特徴選択の仕方を変えるために,選択された特徴サブセットを選択決定トークンシーケンスとみなし,特徴選択を特徴知識を蒸留し決定シーケンスを生成する深い逐次生成学習タスクとして再編成する。
本手法は,(1)逐次再構成,変分,および性能評価器の損失のジョイント上に深い変分変圧器モデルを構築すること,の3つのステップを含む。
本モデルでは,特徴選択の知識を抽出し,連続的な埋め込み空間を学習し,特徴選択決定シーケンスをユーティリティスコアに関連する埋め込みベクトルにマッピングする。
2) 最適化された機能サブセットユーティリティ評価器を勾配プロバイダとして利用して,最適な機能サブセットの埋め込みの識別を誘導する; 3) 最適な機能サブセットの埋め込みをデコードして自動回帰的に最適な機能選択決定シーケンスをオートストップで生成する。
広汎な実験結果から、この生成的視点は、大きな離散探索空間と専門家固有のハイパーパラメータなしで有効かつ汎用的であることが示された。
関連論文リスト
- Knockoff-Guided Feature Selection via A Single Pre-trained Reinforced
Agent [44.84307718534031]
ノックオフ機能によってガイドされる特徴選択のための革新的なフレームワークを導入し、強化学習により最適化する。
探索プロセスの有効性を向上させるために,原特徴とそれに対応する擬似ラベルを事前訓練した深部Qネットワークが用いられている。
新しいepsilon-greedy戦略を使用して、擬似ラベルからの洞察を取り入れて、特徴選択プロセスをより効果的にする。
論文 参考訳(メタデータ) (2024-03-06T19:58:19Z) - A Performance-Driven Benchmark for Feature Selection in Tabular Deep
Learning [131.2910403490434]
データサイエンティストは通常、データセットにできるだけ多くの機能を集め、既存の機能から新しい機能を設計する。
既存のタブ形式の特徴選択のためのベンチマークでは、古典的な下流モデル、おもちゃの合成データセット、あるいは下流のパフォーマンスに基づいて特徴セレクタを評価していない。
変換器を含む下流ニューラルネットワーク上で評価された課題のある特徴選択ベンチマークを構築した。
また,従来の特徴選択法よりも高い性能を有するニューラルネットワークのための,Lassoのインプット・グラディエント・ベース・アナログも提案する。
論文 参考訳(メタデータ) (2023-11-10T05:26:10Z) - Causal Feature Selection via Transfer Entropy [59.999594949050596]
因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。
本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。
精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
論文 参考訳(メタデータ) (2023-10-17T08:04:45Z) - Beyond Discrete Selection: Continuous Embedding Space Optimization for
Generative Feature Selection [34.32619834917906]
我々は、特徴選択問題を深い微分可能な最適化タスクとして再構成する。
本稿では,離散的特徴部分集合を連続的な埋め込み空間として概念化する,新しい原理的な研究視点を提案する。
具体的には、強化特徴選択学習を利用して、多種多様な高品質なトレーニングデータを生成する。
論文 参考訳(メタデータ) (2023-02-26T03:18:45Z) - Compactness Score: A Fast Filter Method for Unsupervised Feature
Selection [66.84571085643928]
本稿では,CSUFS (Compactness Score) と呼ばれる高速な教師なし特徴選択手法を提案する。
提案アルゴリズムは既存のアルゴリズムよりも正確で効率的である。
論文 参考訳(メタデータ) (2022-01-31T13:01:37Z) - Feature Selection Using Reinforcement Learning [0.0]
特定の関心の予測因子を特徴付けるために使用できる変数や特徴の空間は指数関数的に増大し続けている。
モデルのバイアスを損なうことなく分散を最小化する最も特徴的な特徴を特定することは、マシンラーニングモデルのトレーニングを成功させる上で非常に重要です。
論文 参考訳(メタデータ) (2021-01-23T09:24:37Z) - Joint Adaptive Graph and Structured Sparsity Regularization for
Unsupervised Feature Selection [6.41804410246642]
本稿では,共同適応グラフと構造付き空間正規化unsupervised feature selection (JASFS)法を提案する。
最適な機能のサブセットがグループで選択され、選択された機能の数が自動的に決定される。
8つのベンチマーク実験の結果,提案手法の有効性と有効性を示した。
論文 参考訳(メタデータ) (2020-10-09T08:17:04Z) - Infinite Feature Selection: A Graph-based Feature Filtering Approach [78.63188057505012]
グラフ内の経路として特徴のサブセットを考慮したフィルタリング機能選択フレームワークを提案する。
無限に進むことで、選択プロセスの計算複雑性を制限できる。
Inf-FSはほとんどどんな状況でも、つまり、保持するフィーチャの数が優先順位に固定されているときに、より良く振る舞うことを示す。
論文 参考訳(メタデータ) (2020-06-15T07:20:40Z) - Outlier Detection Ensemble with Embedded Feature Selection [42.8338013000469]
組込み特徴選択(ODEFS)を用いた外乱検出アンサンブルフレームワークを提案する。
各ランダムなサブサンプリングベースの学習コンポーネントに対して、ODEFSは、特徴選択と外れ値検出をペアのランキング式に統一する。
我々は、特徴選択と例選択を同時に最適化するために閾値付き自己評価学習を採用する。
論文 参考訳(メタデータ) (2020-01-15T13:14:10Z) - Stepwise Model Selection for Sequence Prediction via Deep Kernel
Learning [100.83444258562263]
本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。
結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。
我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
論文 参考訳(メタデータ) (2020-01-12T09:42:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。