論文の概要: Sequential Attention for Feature Selection

• arxiv url: http://arxiv.org/abs/2209.14881v3
• Date: Tue, 25 Apr 2023 15:48:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 00:00:47.689767
• Title: Sequential Attention for Feature Selection
• Title（参考訳）: 特徴選択のための逐次注意
• Authors: Taisuke Yasuda, MohammadHossein Bateni, Lin Chen, Matthew Fahrbach, Gang Fu, Vahab Mirrokni
• Abstract要約: 本稿では,ニューラルネットワークの最先端な実験結果を実現するSequential Attentionと呼ばれる特徴選択アルゴリズムを提案する。 この設定への適応が古典的直交整合探索(OMP)アルゴリズムと等価であることを示すことによって、線形回帰のためのアルゴリズムの理論的な洞察を与える。
• 参考スコア（独自算出の注目度）: 12.89764845700709
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feature selection is the problem of selecting a subset of features for a machine learning model that maximizes model quality subject to a budget constraint. For neural networks, prior methods, including those based on $\ell_1$ regularization, attention, and other techniques, typically select the entire feature subset in one evaluation round, ignoring the residual value of features during selection, i.e., the marginal contribution of a feature given that other features have already been selected. We propose a feature selection algorithm called Sequential Attention that achieves state-of-the-art empirical results for neural networks. This algorithm is based on an efficient one-pass implementation of greedy forward selection and uses attention weights at each step as a proxy for feature importance. We give theoretical insights into our algorithm for linear regression by showing that an adaptation to this setting is equivalent to the classical Orthogonal Matching Pursuit (OMP) algorithm, and thus inherits all of its provable guarantees. Our theoretical and empirical analyses offer new explanations towards the effectiveness of attention and its connections to overparameterization, which may be of independent interest.
• Abstract（参考訳）: 機能選択は、予算制約の対象となるモデル品質を最大化する機械学習モデルの機能のサブセットを選択する問題である。 ニューラルネットワークでは、$\ell_1$の正規化、注意、その他のテクニックに基づく先行手法は、通常、1つの評価ラウンドにおいて機能サブセット全体を選択し、選択中の機能の残価値、すなわち、他の機能が既に選択されているという特徴の限界寄与を無視する。 本稿では,ニューラルネットワークの最先端な実験結果を実現するSequential Attentionと呼ばれる特徴選択アルゴリズムを提案する。 このアルゴリズムは、グレディフォワード選択の効率的なワンパス実装に基づいており、各ステップの注意重みを特徴量のプロキシとして利用する。 線形回帰のアルゴリズムに対する理論的洞察は、この設定への適応が古典直交マッチング追従法 (omp) のアルゴリズムと同値であることを示し、従って証明可能な保証をすべて継承する。 我々の理論および経験的分析は、注意の有効性と過剰パラメータ化との関連について、独立した関心を持つかもしれない新しい説明を提供する。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Feature Selection as Deep Sequential Generative Learning [50.00973409680637]
  本研究では, 逐次再構成, 変分, 性能評価器の損失を伴って, 深部変分変圧器モデルを構築した。 提案モデルでは,特徴選択の知識を抽出し,連続的な埋め込み空間を学習し,特徴選択決定シーケンスをユーティリティスコアに関連付けられた埋め込みベクトルにマッピングする。
  論文  参考訳（メタデータ） (2024-03-06T16:31:56Z)
• Embedded feature selection in LSTM networks with multi-objective evolutionary ensemble learning for time series forecasting [49.1574468325115]
  本稿では,Long Short-Term Memory Networkに埋め込まれた特徴選択手法を提案する。 本手法はLSTMの重みと偏りを分割的に最適化する。 イタリアとスペイン南東部の大気質時系列データの実験的評価により,従来のLSTMの能力一般化が著しく向上することが確認された。
  論文  参考訳（メタデータ） (2023-12-29T08:42:10Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• Neural Greedy Pursuit for Feature Selection [72.4121881681861]
  我々は,非線形予測問題に対する$P$入力機能のうち,$N$重要な特徴を選択するための欲求アルゴリズムを提案する。 ニューラルネットワークをアルゴリズムの予測子として使用し、損失を計算します。
  論文  参考訳（メタデータ） (2022-07-19T16:39:16Z)
• Fair Feature Subset Selection using Multiobjective Genetic Algorithm [0.0]
  フェアネスと精度を両立させる特徴部分選択手法を提案する。 モデル性能の指標としてF1-Scoreを用いる。 最も一般的なフェアネスベンチマークデータセットの実験では、進化的アルゴリズムを用いることで、フェアネスと精度のトレードオフを効果的に探索できることが示されている。
  論文  参考訳（メタデータ） (2022-04-30T22:51:19Z)
• Feature Selection Using Reinforcement Learning [0.0]
  特定の関心の予測因子を特徴付けるために使用できる変数や特徴の空間は指数関数的に増大し続けている。 モデルのバイアスを損なうことなく分散を最小化する最も特徴的な特徴を特定することは、マシンラーニングモデルのトレーニングを成功させる上で非常に重要です。
  論文  参考訳（メタデータ） (2021-01-23T09:24:37Z)
• Algorithmic Stability and Generalization of an Unsupervised Feature Selection Algorithm [20.564573628659918]
  アルゴリズム安定性は、入力サンプルの摂動に対する感度に関するアルゴリズムの重要な特徴である。 本稿では,この安定性を保証可能な保証で実現した,革新的な教師なし特徴選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T12:25:39Z)
• Joint Adaptive Graph and Structured Sparsity Regularization for Unsupervised Feature Selection [6.41804410246642]
  本稿では,共同適応グラフと構造付き空間正規化unsupervised feature selection (JASFS)法を提案する。 最適な機能のサブセットがグループで選択され、選択された機能の数が自動的に決定される。 8つのベンチマーク実験の結果,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2020-10-09T08:17:04Z)
• A Novel Community Detection Based Genetic Algorithm for Feature Selection [3.8848561367220276]
  著者らは3つのステップで機能するコミュニティ検出に基づく遺伝的アルゴリズムを提案する。 提案手法の性能から,9つのベンチマーク分類問題を解析した。
  論文  参考訳（メタデータ） (2020-08-08T15:39:30Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。