論文の概要: Sequential Attention for Feature Selection

• arxiv url: http://arxiv.org/abs/2209.14881v1
• Date: Thu, 29 Sep 2022 15:49:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 16:25:46.753728
• Title: Sequential Attention for Feature Selection
• Title（参考訳）: 特徴選択のための逐次注意
• Authors: MohammadHossein Bateni, Lin Chen, Matthew Fahrbach, Gang Fu, Vahab Mirrokni, Taisuke Yasuda
• Abstract要約: 特徴選択は、機械学習モデルの機能のサブセットを選択する際の問題である。 本稿では,ニューラルネットワークの最先端な実験結果を実現するSequential Attentionと呼ばれる特徴選択アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 12.89764845700709
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feature selection is the problem of selecting a subset of features for a machine learning model that maximizes model quality subject to a resource budget constraint. For neural networks, prior methods, including those based on $\ell_1$ regularization, attention, and stochastic gates, typically select all of the features in one evaluation round, ignoring the residual value of the features during selection (i.e., the marginal contribution of a feature conditioned on the previously selected features). We propose a feature selection algorithm called Sequential Attention that achieves state-of-the-art empirical results for neural networks. This algorithm is based on an efficient implementation of greedy forward selection and uses attention weights at each step as a proxy for marginal feature importance. We provide theoretical insights into our Sequential Attention algorithm for linear regression models by showing that an adaptation to this setting is equivalent to the classical Orthogonal Matching Pursuit algorithm [PRK1993], and thus inherits all of its provable guarantees. Lastly, our theoretical and empirical analyses provide new explanations towards the effectiveness of attention and its connections to overparameterization, which might be of independent interest.
• Abstract（参考訳）: 特徴選択は、リソース予算制約を受けるモデル品質を最大化する機械学習モデルの機能のサブセットを選択する際の問題である。 ニューラルネットワークでは、$\ell_1$正規化、注意、確率ゲートに基づく先行手法は、通常、1つの評価ラウンドの全ての特徴を選択し、選択中の特徴の残余値(すなわち、以前に選択された特徴に基づいて条件付けられた特徴の限界寄与)を無視している。 本稿では,ニューラルネットワークの最先端な実験結果を実現するSequential Attentionと呼ばれる特徴選択アルゴリズムを提案する。 このアルゴリズムは、グレディフォワード選択の効率的な実装に基づいており、各ステップの注意重みを限界特徴のプロキシとして利用する。 線形回帰モデルに対する逐次注意アルゴリズムに対する理論的洞察として,この設定への適応が古典的な直交マッチング追従アルゴリズム [prk1993] と同値であることを示し,その証明可能な保証をすべて継承する。 最後に、我々の理論および実証分析は、注意の有効性と過剰パラメータ化との関連について、独立した関心を持つかもしれない新しい説明を提供する。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Feature Selection as Deep Sequential Generative Learning [50.00973409680637]
  本研究では, 逐次再構成, 変分, 性能評価器の損失を伴って, 深部変分変圧器モデルを構築した。 提案モデルでは,特徴選択の知識を抽出し,連続的な埋め込み空間を学習し,特徴選択決定シーケンスをユーティリティスコアに関連付けられた埋め込みベクトルにマッピングする。
  論文  参考訳（メタデータ） (2024-03-06T16:31:56Z)
• Embedded feature selection in LSTM networks with multi-objective evolutionary ensemble learning for time series forecasting [49.1574468325115]
  本稿では,Long Short-Term Memory Networkに埋め込まれた特徴選択手法を提案する。 本手法はLSTMの重みと偏りを分割的に最適化する。 イタリアとスペイン南東部の大気質時系列データの実験的評価により,従来のLSTMの能力一般化が著しく向上することが確認された。
  論文  参考訳（メタデータ） (2023-12-29T08:42:10Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• Neural Greedy Pursuit for Feature Selection [72.4121881681861]
  我々は,非線形予測問題に対する$P$入力機能のうち,$N$重要な特徴を選択するための欲求アルゴリズムを提案する。 ニューラルネットワークをアルゴリズムの予測子として使用し、損失を計算します。
  論文  参考訳（メタデータ） (2022-07-19T16:39:16Z)
• Fair Feature Subset Selection using Multiobjective Genetic Algorithm [0.0]
  フェアネスと精度を両立させる特徴部分選択手法を提案する。 モデル性能の指標としてF1-Scoreを用いる。 最も一般的なフェアネスベンチマークデータセットの実験では、進化的アルゴリズムを用いることで、フェアネスと精度のトレードオフを効果的に探索できることが示されている。
  論文  参考訳（メタデータ） (2022-04-30T22:51:19Z)
• Feature Selection Using Reinforcement Learning [0.0]
  特定の関心の予測因子を特徴付けるために使用できる変数や特徴の空間は指数関数的に増大し続けている。 モデルのバイアスを損なうことなく分散を最小化する最も特徴的な特徴を特定することは、マシンラーニングモデルのトレーニングを成功させる上で非常に重要です。
  論文  参考訳（メタデータ） (2021-01-23T09:24:37Z)
• Algorithmic Stability and Generalization of an Unsupervised Feature Selection Algorithm [20.564573628659918]
  アルゴリズム安定性は、入力サンプルの摂動に対する感度に関するアルゴリズムの重要な特徴である。 本稿では,この安定性を保証可能な保証で実現した,革新的な教師なし特徴選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T12:25:39Z)
• Joint Adaptive Graph and Structured Sparsity Regularization for Unsupervised Feature Selection [6.41804410246642]
  本稿では,共同適応グラフと構造付き空間正規化unsupervised feature selection (JASFS)法を提案する。 最適な機能のサブセットがグループで選択され、選択された機能の数が自動的に決定される。 8つのベンチマーク実験の結果,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2020-10-09T08:17:04Z)
• A Novel Community Detection Based Genetic Algorithm for Feature Selection [3.8848561367220276]
  著者らは3つのステップで機能するコミュニティ検出に基づく遺伝的アルゴリズムを提案する。 提案手法の性能から,9つのベンチマーク分類問題を解析した。
  論文  参考訳（メタデータ） (2020-08-08T15:39:30Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。