論文の概要: Top-$k$ Regularization for Supervised Feature Selection

• arxiv url: http://arxiv.org/abs/2106.02197v1
• Date: Fri, 4 Jun 2021 01:12:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 15:19:57.751739
• Title: Top-$k$ Regularization for Supervised Feature Selection
• Title（参考訳）: 教師付き特徴選択のためのトップ$k$正規化
• Authors: Xinxing Wu, Qiang Cheng
• Abstract要約: 教師付き特徴選択のための新しい,シンプルで効果的な正規化手法である Top-k$ regularization を導入する。 上位$kの正規化は、教師付き特徴選択に有効で安定であることを示す。
• 参考スコア（独自算出の注目度）: 11.927046591097623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature selection identifies subsets of informative features and reduces dimensions in the original feature space, helping provide insights into data generation or a variety of domain problems. Existing methods mainly depend on feature scoring functions or sparse regularizations; nonetheless, they have limited ability to reconcile the representativeness and inter-correlations of features. In this paper, we introduce a novel, simple yet effective regularization approach, named top-$k$ regularization, to supervised feature selection in regression and classification tasks. Structurally, the top-$k$ regularization induces a sub-architecture on the architecture of a learning model to boost its ability to select the most informative features and model complex nonlinear relationships simultaneously. Theoretically, we derive and mathematically prove a uniform approximation error bound for using this approach to approximate high-dimensional sparse functions. Extensive experiments on a wide variety of benchmarking datasets show that the top-$k$ regularization is effective and stable for supervised feature selection.
• Abstract（参考訳）: 特徴選択は、情報的特徴のサブセットを特定し、元の特徴空間の次元を減らし、データ生成やさまざまなドメイン問題に対する洞察を提供する。 既存の手法は主に特徴点数関数やスパース正規化に依存するが、特徴の表現性と相互関係を調整できる能力は限られている。 本稿では,回帰および分類タスクにおける特徴選択を監督する,新しい,単純かつ効果的な正規化手法であるtop-$k$ regularizationを提案する。 構造的には、トップ$の正規化は学習モデルのアーキテクチャのサブアーキテクチャを誘導し、最も情報性の高い特徴を選択し、複雑な非線形関係を同時にモデル化する能力を高める。 理論的には、この手法を用いて高次元スパース関数を近似する一様近似誤差を導出し、数学的に証明する。 様々なベンチマークデータセットに対する大規模な実験は、トップ$kの正規化が教師付き特徴選択に有効で安定であることを示している。

関連論文リスト

• Feature Selection as Deep Sequential Generative Learning [50.00973409680637]
  本研究では, 逐次再構成, 変分, 性能評価器の損失を伴って, 深部変分変圧器モデルを構築した。 提案モデルでは,特徴選択の知識を抽出し,連続的な埋め込み空間を学習し,特徴選択決定シーケンスをユーティリティスコアに関連付けられた埋め込みベクトルにマッピングする。
  論文  参考訳（メタデータ） (2024-03-06T16:31:56Z)
• Enhancing Neural Subset Selection: Integrating Background Information into Set Representations [53.15923939406772]
  対象値が入力集合とサブセットの両方に条件付けされている場合、スーパーセットのテクスティ不変な統計量を関心のサブセットに組み込むことが不可欠であることを示す。 これにより、出力値がサブセットとその対応するスーパーセットの置換に不変であることを保証する。
  論文  参考訳（メタデータ） (2024-02-05T16:09:35Z)
• A Performance-Driven Benchmark for Feature Selection in Tabular Deep Learning [131.2910403490434]
  データサイエンティストは通常、データセットにできるだけ多くの機能を集め、既存の機能から新しい機能を設計する。 既存のタブ形式の特徴選択のためのベンチマークでは、古典的な下流モデル、おもちゃの合成データセット、あるいは下流のパフォーマンスに基づいて特徴セレクタを評価していない。 変換器を含む下流ニューラルネットワーク上で評価された課題のある特徴選択ベンチマークを構築した。 また,従来の特徴選択法よりも高い性能を有するニューラルネットワークのための,Lassoのインプット・グラディエント・ベース・アナログも提案する。
  論文  参考訳（メタデータ） (2023-11-10T05:26:10Z)
• Hierarchical Ensemble-Based Feature Selection for Time Series Forecasting [0.0]
  非定常性のための階層的積み重ねに基づく特徴選択のための新しいアンサンブルアプローチを導入する。 当社のアプローチでは,階層構造を用いた機能間の共依存を利用しています。 このアプローチの有効性は、合成およびよく知られた実生活データセット上で実証される。
  論文  参考訳（メタデータ） (2023-10-26T16:40:09Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• Nonlinear Feature Aggregation: Two Algorithms driven by Theory [45.3190496371625]
  現実世界の機械学習アプリケーションは、膨大な機能によって特徴付けられ、計算やメモリの問題を引き起こす。 一般集約関数を用いて特徴量の非線形変換を集約する次元還元アルゴリズム(NonLinCFA)を提案する。 また、アルゴリズムを合成および実世界のデータセット上でテストし、回帰および分類タスクを実行し、競合性能を示す。
  論文  参考訳（メタデータ） (2023-06-19T19:57:33Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Dynamic Instance-Wise Classification in Correlated Feature Spaces [15.351282873821935]
  典型的な機械学習環境では、すべてのテストインスタンスの予測は、モデルトレーニング中に発見された機能の共通サブセットに基づいている。 それぞれのテストインスタンスに対して個別に評価する最適な特徴を順次選択し、分類精度に関して更なる改善が得られないことを判断すると、選択プロセスが終了して予測を行う新しい手法を提案する。 提案手法の有効性, 一般化性, 拡張性について, 多様なアプリケーション領域の様々な実世界のデータセットで説明する。
  論文  参考訳（メタデータ） (2021-06-08T20:20:36Z)
• Auto-weighted Multi-view Feature Selection with Graph Optimization [90.26124046530319]
  グラフ学習に基づく新しい教師なしマルチビュー特徴選択モデルを提案する。 1) 特徴選択過程において, 異なる視点で共有されたコンセンサス類似度グラフが学習される。 各種データセットを用いた実験により,提案手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-11T03:25:25Z)
• Adaptive Graph-based Generalized Regression Model for Unsupervised Feature Selection [11.214334712819396]
  非相関的かつ識別的特徴の選択は、教師なしの機能選択の重要な問題である。 非相関制約と $ell_2,1$-norm 正規化によって課される新しい一般化回帰モデルを提案する。 それは同時に同じ近所に属するこれらのデータ ポイントの分散を減らすこと無相関および差別的な特徴を選ぶことができます。
  論文  参考訳（メタデータ） (2020-12-27T09:07:26Z)
• Joint Adaptive Graph and Structured Sparsity Regularization for Unsupervised Feature Selection [6.41804410246642]
  本稿では,共同適応グラフと構造付き空間正規化unsupervised feature selection (JASFS)法を提案する。 最適な機能のサブセットがグループで選択され、選択された機能の数が自動的に決定される。 8つのベンチマーク実験の結果,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2020-10-09T08:17:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。