論文の概要: Consistent Feature Selection for Analytic Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2010.08097v1
- Date: Fri, 16 Oct 2020 01:59:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 20:48:45.729540
- Title: Consistent Feature Selection for Analytic Deep Neural Networks
- Title(参考訳): 解析的深部ニューラルネットワークの連続的特徴選択
- Authors: Vu Dinh, Lam Si Tung Ho
- Abstract要約: 分析深層ネットワークにおける特徴選択の問題について検討する。
我々は、広範囲のネットワークに対して、グループラッソによる適応群ラッソ選択手順が選択整合であることを証明する。
この研究は、Group Lassoがニューラルネットワークによる特徴選択に非効率であることのさらなる証拠を提供する。
- 参考スコア(独自算出の注目度): 3.42658286826597
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the most important steps toward interpretability and explainability of
neural network models is feature selection, which aims to identify the subset
of relevant features. Theoretical results in the field have mostly focused on
the prediction aspect of the problem with virtually no work on feature
selection consistency for deep neural networks due to the model's severe
nonlinearity and unidentifiability. This lack of theoretical foundation casts
doubt on the applicability of deep learning to contexts where correct
interpretations of the features play a central role.
In this work, we investigate the problem of feature selection for analytic
deep networks. We prove that for a wide class of networks, including deep
feed-forward neural networks, convolutional neural networks, and a major
sub-class of residual neural networks, the Adaptive Group Lasso selection
procedure with Group Lasso as the base estimator is selection-consistent. The
work provides further evidence that Group Lasso might be inefficient for
feature selection with neural networks and advocates the use of Adaptive Group
Lasso over the popular Group Lasso.
- Abstract(参考訳): ニューラルネットワークモデルの解釈可能性と説明可能性のための最も重要なステップの1つは、関連する機能のサブセットを特定することを目的とした特徴選択である。
この分野での理論的結果は、モデルの厳密な非線形性と識別不能性のために、ディープニューラルネットワークの特徴選択整合性に関する研究が事実上行われていないという問題の予測的な側面に主に焦点を当てている。
この理論基盤の欠如は、特徴の正しい解釈が中心的な役割を果たす文脈への深層学習の適用性に疑問を投げかけている。
本研究では,分析深層ネットワークにおける特徴選択の問題について検討する。
我々は、ディープフィードフォワードニューラルネットワーク、畳み込みニューラルネットワーク、および残留ニューラルネットワークの主要サブクラスを含む幅広い種類のネットワークに対して、ベース推定器としてGroup Lassoを用いたAdaptive Group Lasso選択手順が一貫性があることを証明する。
この研究は、Group Lassoがニューラルネットワークによる特徴選択に非効率である可能性のさらなる証拠を提供し、人気のあるGroup LassoよりもAdaptive Group Lassoを使用することを提唱している。
関連論文リスト
- Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳(メタデータ) (2023-07-20T13:34:11Z) - Sparse-Input Neural Network using Group Concave Regularization [10.103025766129006]
ニューラルネットワークでは、同時特徴選択と非線形関数推定が困難である。
低次元と高次元の両方の設定における特徴選択のための群凹正規化を用いたスパースインプットニューラルネットワークの枠組みを提案する。
論文 参考訳(メタデータ) (2023-07-01T13:47:09Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Wide and Deep Neural Networks Achieve Optimality for Classification [23.738242876364865]
我々は、最適性を達成するニューラルネットワーク分類器の明示的な集合を同定し、構築する。
特に、最適性を実現するネットワーク構築に使用できる明示的なアクティベーション関数を提供する。
その結果,過度な深度が有害な回帰タスクとは対照的に,分類タスクにディープネットワークを使用することの利点が浮き彫りになった。
論文 参考訳(メタデータ) (2022-04-29T14:27:42Z) - Adaptive Group Lasso Neural Network Models for Functions of Few
Variables and Time-Dependent Data [4.18804572788063]
対象関数をディープニューラルネットワークで近似し、適切な隠れ層の重みに適応したグループLassoを強制する。
実験により,提案手法はスパース辞書行列法を含む最近の最先端手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2021-08-24T16:16:46Z) - Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
過パラメータのニューラルネットワークが制約を満たしていることを示す。
公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
論文 参考訳(メタデータ) (2020-12-30T18:46:50Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Consistent feature selection for neural networks via Adaptive Group
Lasso [3.42658286826597]
ニューラルネットワークの重要な特徴を選択するための適応型グループの使用に関する理論的保証を提案し,確立する。
具体的には,1つの隠蔽層と双曲的タンジェント活性化関数を持つ単一出力フィードフォワードニューラルネットワークに対して,特徴選択法が整合であることを示す。
論文 参考訳(メタデータ) (2020-05-30T18:50:56Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳(メタデータ) (2020-02-23T13:59:13Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳(メタデータ) (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。