論文の概要: Consistent Feature Selection for Analytic Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2010.08097v1
• Date: Fri, 16 Oct 2020 01:59:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 20:48:45.729540
• Title: Consistent Feature Selection for Analytic Deep Neural Networks
• Title（参考訳）: 解析的深部ニューラルネットワークの連続的特徴選択
• Authors: Vu Dinh, Lam Si Tung Ho
• Abstract要約: 分析深層ネットワークにおける特徴選択の問題について検討する。 我々は、広範囲のネットワークに対して、グループラッソによる適応群ラッソ選択手順が選択整合であることを証明する。 この研究は、Group Lassoがニューラルネットワークによる特徴選択に非効率であることのさらなる証拠を提供する。
• 参考スコア（独自算出の注目度）: 3.42658286826597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the most important steps toward interpretability and explainability of neural network models is feature selection, which aims to identify the subset of relevant features. Theoretical results in the field have mostly focused on the prediction aspect of the problem with virtually no work on feature selection consistency for deep neural networks due to the model's severe nonlinearity and unidentifiability. This lack of theoretical foundation casts doubt on the applicability of deep learning to contexts where correct interpretations of the features play a central role. In this work, we investigate the problem of feature selection for analytic deep networks. We prove that for a wide class of networks, including deep feed-forward neural networks, convolutional neural networks, and a major sub-class of residual neural networks, the Adaptive Group Lasso selection procedure with Group Lasso as the base estimator is selection-consistent. The work provides further evidence that Group Lasso might be inefficient for feature selection with neural networks and advocates the use of Adaptive Group Lasso over the popular Group Lasso.
• Abstract（参考訳）: ニューラルネットワークモデルの解釈可能性と説明可能性のための最も重要なステップの1つは、関連する機能のサブセットを特定することを目的とした特徴選択である。 この分野での理論的結果は、モデルの厳密な非線形性と識別不能性のために、ディープニューラルネットワークの特徴選択整合性に関する研究が事実上行われていないという問題の予測的な側面に主に焦点を当てている。 この理論基盤の欠如は、特徴の正しい解釈が中心的な役割を果たす文脈への深層学習の適用性に疑問を投げかけている。 本研究では,分析深層ネットワークにおける特徴選択の問題について検討する。 我々は、ディープフィードフォワードニューラルネットワーク、畳み込みニューラルネットワーク、および残留ニューラルネットワークの主要サブクラスを含む幅広い種類のネットワークに対して、ベース推定器としてGroup Lassoを用いたAdaptive Group Lasso選択手順が一貫性があることを証明する。 この研究は、Group Lassoがニューラルネットワークによる特徴選択に非効率である可能性のさらなる証拠を提供し、人気のあるGroup LassoよりもAdaptive Group Lassoを使用することを提唱している。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Effective Subset Selection Through The Lens of Neural Network Pruning [31.43307762723943]
  注釈付きデータを賢明に選択することが重要であり、これは部分集合選択問題として知られている。 より広範に研究されているサブセット選択とニューラルネットワークプルーニングの関係について検討する。 ニューラルネットワークの特徴のノルム基準を利用して、サブセット選択法を改善することを提案する。
  論文  参考訳（メタデータ） (2024-06-03T08:12:32Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Sparse-Input Neural Network using Group Concave Regularization [10.103025766129006]
  ニューラルネットワークでは、同時特徴選択と非線形関数推定が困難である。 低次元と高次元の両方の設定における特徴選択のための群凹正規化を用いたスパースインプットニューラルネットワークの枠組みを提案する。
  論文  参考訳（メタデータ） (2023-07-01T13:47:09Z)
• Adaptive Group Lasso Neural Network Models for Functions of Few Variables and Time-Dependent Data [4.18804572788063]
  対象関数をディープニューラルネットワークで近似し、適切な隠れ層の重みに適応したグループLassoを強制する。 実験により,提案手法はスパース辞書行列法を含む最近の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-24T16:16:46Z)
• Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
  過パラメータのニューラルネットワークが制約を満たしていることを示す。 公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
  論文  参考訳（メタデータ） (2020-12-30T18:46:50Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Consistent feature selection for neural networks via Adaptive Group Lasso [3.42658286826597]
  ニューラルネットワークの重要な特徴を選択するための適応型グループの使用に関する理論的保証を提案し,確立する。 具体的には,1つの隠蔽層と双曲的タンジェント活性化関数を持つ単一出力フィードフォワードニューラルネットワークに対して,特徴選択法が整合であることを示す。
  論文  参考訳（メタデータ） (2020-05-30T18:50:56Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。