論文の概要: Feature Selection as Deep Sequential Generative Learning

• arxiv url: http://arxiv.org/abs/2403.03838v1
• Date: Wed, 6 Mar 2024 16:31:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 14:22:20.417200
• Title: Feature Selection as Deep Sequential Generative Learning
• Title（参考訳）: 深層系列生成学習としての特徴選択
• Authors: Wangyang Ying, Dongjie Wang, Haifeng Chen, Yanjie Fu
• Abstract要約: 本研究では, 逐次再構成, 変分, 性能評価器の損失を伴って, 深部変分変圧器モデルを構築した。 提案モデルでは,特徴選択の知識を抽出し,連続的な埋め込み空間を学習し,特徴選択決定シーケンスをユーティリティスコアに関連付けられた埋め込みベクトルにマッピングする。
• 参考スコア（独自算出の注目度）: 50.00973409680637
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature selection aims to identify the most pattern-discriminative feature subset. In prior literature, filter (e.g., backward elimination) and embedded (e.g., Lasso) methods have hyperparameters (e.g., top-K, score thresholding) and tie to specific models, thus, hard to generalize; wrapper methods search a feature subset in a huge discrete space and is computationally costly. To transform the way of feature selection, we regard a selected feature subset as a selection decision token sequence and reformulate feature selection as a deep sequential generative learning task that distills feature knowledge and generates decision sequences. Our method includes three steps: (1) We develop a deep variational transformer model over a joint of sequential reconstruction, variational, and performance evaluator losses. Our model can distill feature selection knowledge and learn a continuous embedding space to map feature selection decision sequences into embedding vectors associated with utility scores. (2) We leverage the trained feature subset utility evaluator as a gradient provider to guide the identification of the optimal feature subset embedding;(3) We decode the optimal feature subset embedding to autoregressively generate the best feature selection decision sequence with autostop. Extensive experimental results show this generative perspective is effective and generic, without large discrete search space and expert-specific hyperparameters.
• Abstract（参考訳）: 特徴選択は、最もパターンを識別する特徴サブセットを特定することを目的としている。 以前の文献では、フィルタ(例えば後方消去)と埋め込み(例えばlasso)のメソッドはハイパーパラメータ(例えばtop-k、スコアしきい値)を持ち、特定のモデルと結びつくため一般化が困難である。 特徴選択の仕方を変えるために,選択された特徴サブセットを選択決定トークンシーケンスとみなし,特徴選択を特徴知識を蒸留し決定シーケンスを生成する深い逐次生成学習タスクとして再編成する。 本手法は,(1)逐次再構成,変分,および性能評価器の損失のジョイント上に深い変分変圧器モデルを構築すること,の3つのステップを含む。 本モデルでは,特徴選択の知識を抽出し,連続的な埋め込み空間を学習し,特徴選択決定シーケンスをユーティリティスコアに関連する埋め込みベクトルにマッピングする。 2) 最適化された機能サブセットユーティリティ評価器を勾配プロバイダとして利用して,最適な機能サブセットの埋め込みの識別を誘導する; 3) 最適な機能サブセットの埋め込みをデコードして自動回帰的に最適な機能選択決定シーケンスをオートストップで生成する。 広汎な実験結果から、この生成的視点は、大きな離散探索空間と専門家固有のハイパーパラメータなしで有効かつ汎用的であることが示された。

関連論文リスト

• An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
  まず最適化モデルを構築し,非単調な選好をモデル化する。 本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。 2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
  論文  参考訳（メタデータ） (2024-09-04T14:36:20Z)
• Neuro-Symbolic Embedding for Short and Effective Feature Selection via Autoregressive Generation [22.87577374767465]
  ニューロシンボリックレンズを用いて特徴選択を再構成し、短時間かつ効果的な特徴サブセットを特定することを目的とした新しい生成フレームワークを導入する。 本稿ではまず,特徴IDトークン,モデル性能,特徴サブセットの冗長度測定などからなる多数の特徴選択サンプルを自動的に収集するデータ収集手法を提案する。 収集したデータに基づいて,効率的な探索のために,特徴選択の知性を連続的な埋め込み空間に保存するエンコーダ・デコーダ・評価学習パラダイムを開発した。
  論文  参考訳（メタデータ） (2024-04-26T05:01:08Z)
• A Performance-Driven Benchmark for Feature Selection in Tabular Deep Learning [131.2910403490434]
  データサイエンティストは通常、データセットにできるだけ多くの機能を集め、既存の機能から新しい機能を設計する。 既存のタブ形式の特徴選択のためのベンチマークでは、古典的な下流モデル、おもちゃの合成データセット、あるいは下流のパフォーマンスに基づいて特徴セレクタを評価していない。 変換器を含む下流ニューラルネットワーク上で評価された課題のある特徴選択ベンチマークを構築した。 また,従来の特徴選択法よりも高い性能を有するニューラルネットワークのための,Lassoのインプット・グラディエント・ベース・アナログも提案する。
  論文  参考訳（メタデータ） (2023-11-10T05:26:10Z)
• Beyond Discrete Selection: Continuous Embedding Space Optimization for Generative Feature Selection [34.32619834917906]
  我々は、特徴選択問題を深い微分可能な最適化タスクとして再構成する。 本稿では,離散的特徴部分集合を連続的な埋め込み空間として概念化する,新しい原理的な研究視点を提案する。 具体的には、強化特徴選択学習を利用して、多種多様な高品質なトレーニングデータを生成する。
  論文  参考訳（メタデータ） (2023-02-26T03:18:45Z)
• Compactness Score: A Fast Filter Method for Unsupervised Feature Selection [66.84571085643928]
  本稿では,CSUFS (Compactness Score) と呼ばれる高速な教師なし特徴選択手法を提案する。 提案アルゴリズムは既存のアルゴリズムよりも正確で効率的である。
  論文  参考訳（メタデータ） (2022-01-31T13:01:37Z)
• Feature Selection Using Reinforcement Learning [0.0]
  特定の関心の予測因子を特徴付けるために使用できる変数や特徴の空間は指数関数的に増大し続けている。 モデルのバイアスを損なうことなく分散を最小化する最も特徴的な特徴を特定することは、マシンラーニングモデルのトレーニングを成功させる上で非常に重要です。
  論文  参考訳（メタデータ） (2021-01-23T09:24:37Z)
• Joint Adaptive Graph and Structured Sparsity Regularization for Unsupervised Feature Selection [6.41804410246642]
  本稿では,共同適応グラフと構造付き空間正規化unsupervised feature selection (JASFS)法を提案する。 最適な機能のサブセットがグループで選択され、選択された機能の数が自動的に決定される。 8つのベンチマーク実験の結果,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2020-10-09T08:17:04Z)
• Infinite Feature Selection: A Graph-based Feature Filtering Approach [78.63188057505012]
  グラフ内の経路として特徴のサブセットを考慮したフィルタリング機能選択フレームワークを提案する。 無限に進むことで、選択プロセスの計算複雑性を制限できる。 Inf-FSはほとんどどんな状況でも、つまり、保持するフィーチャの数が優先順位に固定されているときに、より良く振る舞うことを示す。
  論文  参考訳（メタデータ） (2020-06-15T07:20:40Z)
• Outlier Detection Ensemble with Embedded Feature Selection [42.8338013000469]
  組込み特徴選択(ODEFS)を用いた外乱検出アンサンブルフレームワークを提案する。 各ランダムなサブサンプリングベースの学習コンポーネントに対して、ODEFSは、特徴選択と外れ値検出をペアのランキング式に統一する。 我々は、特徴選択と例選択を同時に最適化するために閾値付き自己評価学習を採用する。
  論文  参考訳（メタデータ） (2020-01-15T13:14:10Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。