論文の概要: Beyond Discrete Selection: Continuous Embedding Space Optimization for Generative Feature Selection

• arxiv url: http://arxiv.org/abs/2302.13221v4
• Date: Fri, 15 Sep 2023 02:23:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-18 18:48:49.440460
• Title: Beyond Discrete Selection: Continuous Embedding Space Optimization for Generative Feature Selection
• Title（参考訳）: beyond discrete selection: 生成的特徴選択のための連続埋め込み空間最適化
• Authors: Meng Xiao and Dongjie Wang and Min Wu and Pengfei Wang and Yuanchun Zhou and Yanjie Fu
• Abstract要約: 我々は、特徴選択問題を深い微分可能な最適化タスクとして再構成する。 本稿では,離散的特徴部分集合を連続的な埋め込み空間として概念化する,新しい原理的な研究視点を提案する。 具体的には、強化特徴選択学習を利用して、多種多様な高品質なトレーニングデータを生成する。
• 参考スコア（独自算出の注目度）: 34.32619834917906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of Feature Selection - comprising filter, wrapper, and embedded approaches - is to find the optimal feature subset for designated downstream tasks. Nevertheless, current feature selection methods are limited by: 1) the selection criteria of these methods are varied for different domains, making them hard to generalize; 2) the selection performance of these approaches drops significantly when processing high-dimensional feature space coupled with small sample size. In light of these challenges, we pose the question: can selected feature subsets be more robust, accurate, and input dimensionality agnostic? In this paper, we reformulate the feature selection problem as a deep differentiable optimization task and propose a new research perspective: conceptualizing discrete feature subsetting as continuous embedding space optimization. We introduce a novel and principled framework that encompasses a sequential encoder, an accuracy evaluator, a sequential decoder, and a gradient ascent optimizer. This comprehensive framework includes four important steps: preparation of features-accuracy training data, deep feature subset embedding, gradient-optimized search, and feature subset reconstruction. Specifically, we utilize reinforcement feature selection learning to generate diverse and high-quality training data and enhance generalization. By optimizing reconstruction and accuracy losses, we embed feature selection knowledge into a continuous space using an encoder-evaluator-decoder model structure. We employ a gradient ascent search algorithm to find better embeddings in the learned embedding space. Furthermore, we reconstruct feature selection solutions using these embeddings and select the feature subset with the highest performance for downstream tasks as the optimal subset.
• Abstract（参考訳）: フィルタ、ラッパー、組み込みアプローチを含む機能選択の目的は、指定された下流タスクに最適な機能サブセットを見つけることである。 それにもかかわらず、現在の特徴選択方法は以下のとおりである。 1) これらの方法の選択基準は,異なる領域に対して異なっており,一般化が困難である。 2) 試料径の小さい高次元特徴空間の処理において, これらの手法の選択性能は著しく低下する。 選択された機能サブセットは、より堅牢で、正確で、入力次元に依存しないものになるか? 本稿では,特徴選択問題を深い微分可能最適化タスクとして再構成し,連続埋め込み空間最適化として離散的特徴分割を概念化する新たな研究視点を提案する。 本稿では,シーケンシャルエンコーダ,精度評価器,シーケンシャルデコーダ,勾配上昇最適化器を包含する,新しい原理付きフレームワークを提案する。 この包括的なフレームワークは、4つの重要なステップを含む: 特徴精度トレーニングデータの作成、深い特徴部分集合の埋め込み、勾配最適化検索、特徴部分集合の再構築。 具体的には,強化特徴選択学習を用いて多様で高品質なトレーニングデータを生成し,一般化を促進する。 再構成と精度損失を最適化することにより、エンコーダ-評価器-デコーダモデル構造を用いて特徴選択知識を連続空間に埋め込む。 我々は、学習した埋め込み空間により良い埋め込みを求めるために勾配上昇探索アルゴリズムを用いる。 さらに、これらの埋め込みを用いて特徴選択ソリューションを再構築し、下流タスクを最適なサブセットとして最高の性能で特徴サブセットを選択する。

関連論文リスト

• Large-scale Multi-objective Feature Selection: A Multi-phase Search Space Shrinking Approach [0.27624021966289597]
  特徴の選択は、特に高次元データセットにおいて、機械学習において重要なステップである。 本稿では,LMSSSと呼ばれる探索空間の縮小に基づく大規模多目的進化アルゴリズムを提案する。 提案アルゴリズムの有効性は、15の大規模データセットに対する包括的実験によって実証される。
  論文  参考訳（メタデータ） (2024-10-13T23:06:10Z)
• An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
  まず最適化モデルを構築し,非単調な選好をモデル化する。 本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。 2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
  論文  参考訳（メタデータ） (2024-09-04T14:36:20Z)
• Neuro-Symbolic Embedding for Short and Effective Feature Selection via Autoregressive Generation [22.87577374767465]
  ニューロシンボリックレンズを用いて特徴選択を再構成し、短時間かつ効果的な特徴サブセットを特定することを目的とした新しい生成フレームワークを導入する。 本稿ではまず,特徴IDトークン,モデル性能,特徴サブセットの冗長度測定などからなる多数の特徴選択サンプルを自動的に収集するデータ収集手法を提案する。 収集したデータに基づいて,効率的な探索のために,特徴選択の知性を連続的な埋め込み空間に保存するエンコーダ・デコーダ・評価学習パラダイムを開発した。
  論文  参考訳（メタデータ） (2024-04-26T05:01:08Z)
• Feature Selection as Deep Sequential Generative Learning [50.00973409680637]
  本研究では, 逐次再構成, 変分, 性能評価器の損失を伴って, 深部変分変圧器モデルを構築した。 提案モデルでは,特徴選択の知識を抽出し,連続的な埋め込み空間を学習し,特徴選択決定シーケンスをユーティリティスコアに関連付けられた埋め込みベクトルにマッピングする。
  論文  参考訳（メタデータ） (2024-03-06T16:31:56Z)
• Multi-objective Binary Coordinate Search for Feature Selection [0.24578723416255746]
  大規模特徴選択問題の解法として,二元多目的座標探索(MOCS)アルゴリズムを提案する。 その結果,実世界の5つの大規模データセットにおいて,NSGA-IIよりも提案手法が優れていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-20T00:50:26Z)
• A Performance-Driven Benchmark for Feature Selection in Tabular Deep Learning [131.2910403490434]
  データサイエンティストは通常、データセットにできるだけ多くの機能を集め、既存の機能から新しい機能を設計する。 既存のタブ形式の特徴選択のためのベンチマークでは、古典的な下流モデル、おもちゃの合成データセット、あるいは下流のパフォーマンスに基づいて特徴セレクタを評価していない。 変換器を含む下流ニューラルネットワーク上で評価された課題のある特徴選択ベンチマークを構築した。 また,従来の特徴選択法よりも高い性能を有するニューラルネットワークのための,Lassoのインプット・グラディエント・ベース・アナログも提案する。
  論文  参考訳（メタデータ） (2023-11-10T05:26:10Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Compactness Score: A Fast Filter Method for Unsupervised Feature Selection [66.84571085643928]
  本稿では,CSUFS (Compactness Score) と呼ばれる高速な教師なし特徴選択手法を提案する。 提案アルゴリズムは既存のアルゴリズムよりも正確で効率的である。
  論文  参考訳（メタデータ） (2022-01-31T13:01:37Z)
• Feature Selection Using Reinforcement Learning [0.0]
  特定の関心の予測因子を特徴付けるために使用できる変数や特徴の空間は指数関数的に増大し続けている。 モデルのバイアスを損なうことなく分散を最小化する最も特徴的な特徴を特定することは、マシンラーニングモデルのトレーニングを成功させる上で非常に重要です。
  論文  参考訳（メタデータ） (2021-01-23T09:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。