論文の概要: Embedded methods for feature selection in neural networks

• arxiv url: http://arxiv.org/abs/2010.05834v1
• Date: Mon, 12 Oct 2020 16:33:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 07:45:25.475106
• Title: Embedded methods for feature selection in neural networks
• Title（参考訳）: ニューラルネットワークにおける特徴選択のための埋め込み手法
• Authors: Vinay Varma K
• Abstract要約: ニューラルネットワークのようなブラックボックスモデルは、解釈可能性、一般化可能性、これらのモデルのトレーニング時間に悪影響を及ぼす。 パラメータ学習に直接組み込むことのできる特徴選択のための2つの統合的アプローチを提案する。 PFI(Permutation Feature Importance) - 汎用的な特徴ランキング法とランダムなベースライン。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The representational capacity of modern neural network architectures has made them a default choice in various applications with high dimensional feature sets. But these high dimensional and potentially noisy features combined with the black box models like neural networks negatively affect the interpretability, generalizability, and the training time of these models. Here, I propose two integrated approaches for feature selection that can be incorporated directly into the parameter learning. One of them involves adding a drop-in layer and performing sequential weight pruning. The other is a sensitivity-based approach. I benchmarked both the methods against Permutation Feature Importance (PFI) - a general-purpose feature ranking method and a random baseline. The suggested approaches turn out to be viable methods for feature selection, consistently outperform the baselines on the tested datasets - MNIST, ISOLET, and HAR. We can add them to any existing model with only a few lines of code.
• Abstract（参考訳）: 現代のニューラルネットワークアーキテクチャの表現能力は、高次元特徴集合を持つ様々なアプリケーションにおいてデフォルトの選択となっている。 しかし、ニューラルネットワークのようなブラックボックスモデルと組み合わさった高次元で潜在的にうるさい特徴は、解釈可能性、一般化可能性、これらのモデルのトレーニング時間に悪影響を及ぼす。 本稿では,パラメータ学習に直接組み込むことのできる機能選択のための2つの統合アプローチを提案する。 ひとつは、ドロップインレイヤーの追加とシーケンシャルウェイトプルーニングの実行だ。 もう1つは感度に基づくアプローチです。 pfi(permutation feature importance) - 汎用機能ランキング法とランダムベースラインの比較を行った。 提案されたアプローチは、テストされたデータセット(MNIST、ISOLET、HAR)のベースラインを一貫して上回る、機能選択のための実行可能な方法であることが判明した。 数行のコードだけで既存のモデルに追加できます。

関連論文リスト

• A Performance-Driven Benchmark for Feature Selection in Tabular Deep Learning [131.2910403490434]
  データサイエンティストは通常、データセットにできるだけ多くの機能を集め、既存の機能から新しい機能を設計する。 既存のタブ形式の特徴選択のためのベンチマークでは、古典的な下流モデル、おもちゃの合成データセット、あるいは下流のパフォーマンスに基づいて特徴セレクタを評価していない。 変換器を含む下流ニューラルネットワーク上で評価された課題のある特徴選択ベンチマークを構築した。 また,従来の特徴選択法よりも高い性能を有するニューラルネットワークのための,Lassoのインプット・グラディエント・ベース・アナログも提案する。
  論文  参考訳（メタデータ） (2023-11-10T05:26:10Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Model-based feature selection for neural networks: A mixed-integer programming approach [0.9281671380673306]
  我々は、ReLUに基づくディープニューラルネットワーク(DNN)のための新しい入力特徴選択フレームワークを開発する。 提示の明確化のための画像分類のための入力特徴の発見に焦点をあてる。 提案した入力特徴選択により,適切な分類精度を維持しつつ,入力のサイズを$sim$15%に劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-02-20T22:19:50Z)
• The Contextual Lasso: Sparse Linear Models via Deep Neural Networks [5.607237982617641]
  本研究では,空間的特徴の関数として空間的パターンと係数が変化するような説明的特徴に疎線形モデルに適合する新しい統計的推定器を開発する。 実データと合成データに関する広範な実験は、学習されたモデルは、非常に透明であり、通常のラッソよりもスペーサーであることを示している。
  論文  参考訳（メタデータ） (2023-02-02T05:00:29Z)
• Automated Algorithm Selection: from Feature-Based to Feature-Free Approaches [0.5801044612920815]
  本稿では,データ中に暗黙的なシーケンシャル情報がカプセル化されている最適化に適用可能な,アルゴリズム選択のための新しい手法を提案する。 我々は、よく知られた4つのドメインから選択して、オンラインビンパッキングのパッキングを予測するために、2種類のリカレントニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2022-03-24T23:59:50Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Binary Stochastic Filtering: feature selection and beyond [0.0]
  この研究は、スパシティ正規化の使用方法を再考することによって、機能を自動的に選択する機能を備えたニューラルネットワークの拡張を目指している。 提案手法は,計算オーバーヘッドを最小あるいはゼロに抑えた古典的手法と比較して,優れた効率性を示した。
  論文  参考訳（メタデータ） (2020-07-08T06:57:10Z)
• Learning to Encode Position for Transformer with Continuous Dynamical Model [88.69870971415591]
  本研究では,トランスフォーマーモデルなどの非リカレントモデルの位置情報をエンコードする新しい学習方法を提案する。 このような力学系による位置指数に沿った符号化結果の進化をモデル化する。
  論文  参考訳（メタデータ） (2020-03-13T00:41:41Z)
• PointHop++: A Lightweight Learning Model on Point Sets for 3D Classification [55.887502438160304]
  ポイントホップ法は、Zhangらによって、教師なし特徴抽出を伴う3Dポイントクラウド分類のために提案された。 1)モデルパラメータ数の観点からモデルの複雑さを減らし,2)クロスエントロピー基準に基づいて自動的に識別特徴を順序付けする。 ModelNet40ベンチマークデータセットで実施した実験により、PointHop++法がディープニューラルネットワーク(DNN)ソリューションと同等に動作し、他の教師なし特徴抽出法を上回る性能を示す。
  論文  参考訳（メタデータ） (2020-02-09T04:49:32Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。