論文の概要: Neural Greedy Pursuit for Feature Selection

• arxiv url: http://arxiv.org/abs/2207.09390v1
• Date: Tue, 19 Jul 2022 16:39:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 13:19:46.575565
• Title: Neural Greedy Pursuit for Feature Selection
• Title（参考訳）: 特徴選択のための神経性欲望の追求
• Authors: Sandipan Das, Alireza M. Javid, Prakash Borpatra Gohain, Yonina C. Eldar, Saikat Chatterjee
• Abstract要約: 我々は,非線形予測問題に対する$P$入力機能のうち,$N$重要な特徴を選択するための欲求アルゴリズムを提案する。 ニューラルネットワークをアルゴリズムの予測子として使用し、損失を計算します。
• 参考スコア（独自算出の注目度）: 72.4121881681861
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a greedy algorithm to select $N$ important features among $P$ input features for a non-linear prediction problem. The features are selected one by one sequentially, in an iterative loss minimization procedure. We use neural networks as predictors in the algorithm to compute the loss and hence, we refer to our method as neural greedy pursuit (NGP). NGP is efficient in selecting $N$ features when $N \ll P$, and it provides a notion of feature importance in a descending order following the sequential selection procedure. We experimentally show that NGP provides better performance than several feature selection methods such as DeepLIFT and Drop-one-out loss. In addition, we experimentally show a phase transition behavior in which perfect selection of all $N$ features without false positives is possible when the training data size exceeds a threshold.
• Abstract（参考訳）: 非線形予測問題に対して,入力特徴量$p$のうち重要な特徴をn$選択するための欲望アルゴリズムを提案する。 繰り返し損失最小化手順において、各特徴を順次1つずつ選択する。 ニューラルネットワークをアルゴリズムの予測器として使用して損失を計算するため,本手法をニューラル・グリーディ・サーチ(ngp)と呼ぶ。 NGP は、$N \ll P$ のときの$N$ の特徴を選択するのに効率的であり、シーケンシャルな選択手順に続く降下順序における特徴の重要性の概念を提供する。 我々はNGPがDeepLIFTやDrop-one-out Losといったいくつかの機能選択手法よりも優れた性能を提供することを示す。 さらに,トレーニングデータサイズがしきい値を超えると,偽陽性のない全ての$n$特徴の完全選択が可能となる相転移挙動を実験的に示す。

関連論文リスト

• Supervised Feature Selection with Neuron Evolution in Sparse Neural Networks [17.12834153477201]
  スパースニューラルネットワークを用いた資源効率の高い新しい特徴選択法を提案する。 スクラッチからトレーニングされたスパースニューラルネットワークの入力層から、不定形的特徴を徐々に抜き取ることにより、NeuroFSは、機能の情報的サブセットを効率的に導き出す。 NeuroFSは、最先端の教師付き特徴選択モデルの中で最上位のスコアを達成している。
  論文  参考訳（メタデータ） (2023-03-10T17:09:55Z)
• Deterministic Nonsmooth Nonconvex Optimization [94.01526844386977]
  次元自由な次元自由アルゴリズムを得るにはランダム化が必要であることを示す。 我々のアルゴリズムは、ReLUネットワークを最適化する最初の決定論的次元自由アルゴリズムを得る。
  論文  参考訳（メタデータ） (2023-02-16T13:57:19Z)
• Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
  我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。 入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。 我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
  論文  参考訳（メタデータ） (2022-10-13T09:01:58Z)
• Sequential Attention for Feature Selection [12.89764845700709]
  本稿では,ニューラルネットワークの最先端な実験結果を実現するSequential Attentionと呼ばれる特徴選択アルゴリズムを提案する。 この設定への適応が古典的直交整合探索(OMP)アルゴリズムと等価であることを示すことによって、線形回帰のためのアルゴリズムの理論的な洞察を与える。
  論文  参考訳（メタデータ） (2022-09-29T15:49:06Z)
• Best Policy Identification in Linear MDPs [70.57916977441262]
  縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。 複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
  論文  参考訳（メタデータ） (2022-08-11T04:12:50Z)
• Lockout: Sparse Regularization of Neural Networks [0.0]
  パラメータ $w$ の値に制約 $P(w)leq t$ を置き、精度を向上させるために正規化を適用する。 我々は、任意の微分可能関数$f$と損失$L$に対してそのようなすべての解を提供する高速アルゴリズムと、各パラメータの絶対値の単調関数である任意の制約$P$を提案する。
  論文  参考訳（メタデータ） (2021-07-15T07:17:20Z)
• Nearly Optimal Regret for Learning Adversarial MDPs with Linear Function Approximation [92.3161051419884]
  我々は、敵対的な報酬と完全な情報フィードバックで有限正方体エピソディックマルコフ決定プロセスのための強化学習を研究します。 我々は、$tildeO(dHsqrtT)$ regretを達成できることを示し、$H$はエピソードの長さである。 また、対数因子までの$tildeOmega(dHsqrtT)$の値が一致することを証明する。
  論文  参考訳（メタデータ） (2021-02-17T18:54:08Z)
• Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
  非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。 特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
  論文  参考訳（メタデータ） (2020-02-10T23:23:04Z)
• Resolving learning rates adaptively by locating Stochastic Non-Negative Associated Gradient Projection Points using line searches [0.0]
  ニューラルネットワークトレーニングにおける学習率は現在、高価なマニュアルや自動チューニングを使用したトレーニングの優先事項として決定されている。 本研究では,ニューラルネットワーク学習アルゴリズムの学習率を解くために,勾配のみの線探索を提案する。
  論文  参考訳（メタデータ） (2020-01-15T03:08:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。