論文の概要: Consistent feature selection for neural networks via Adaptive Group
Lasso
- arxiv url: http://arxiv.org/abs/2006.00334v3
- Date: Fri, 3 Dec 2021 02:08:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 17:40:40.582815
- Title: Consistent feature selection for neural networks via Adaptive Group
Lasso
- Title(参考訳): Adaptive Group Lassoによるニューラルネットワークの一貫性特徴選択
- Authors: Vu Dinh, Lam Si Tung Ho
- Abstract要約: ニューラルネットワークの重要な特徴を選択するための適応型グループの使用に関する理論的保証を提案し,確立する。
具体的には,1つの隠蔽層と双曲的タンジェント活性化関数を持つ単一出力フィードフォワードニューラルネットワークに対して,特徴選択法が整合であることを示す。
- 参考スコア(独自算出の注目度): 3.42658286826597
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One main obstacle for the wide use of deep learning in medical and
engineering sciences is its interpretability. While neural network models are
strong tools for making predictions, they often provide little information
about which features play significant roles in influencing the prediction
accuracy. To overcome this issue, many regularization procedures for learning
with neural networks have been proposed for dropping non-significant features.
Unfortunately, the lack of theoretical results casts doubt on the applicability
of such pipelines. In this work, we propose and establish a theoretical
guarantee for the use of the adaptive group lasso for selecting important
features of neural networks. Specifically, we show that our feature selection
method is consistent for single-output feed-forward neural networks with one
hidden layer and hyperbolic tangent activation function. We demonstrate its
applicability using both simulation and data analysis.
- Abstract(参考訳): 医学と工学でディープラーニングを広範に利用するための大きな障害の1つは、その解釈性である。
ニューラルネットワークモデルは予測を行うための強力なツールであるが、予測精度に影響を与える重要な役割を果たす機能についてはほとんど情報を提供していない。
この問題を克服するために、ニューラルネットワークを用いた学習のための多くの正規化手順が提案されている。
残念ながら、理論的結果の欠如は、そのようなパイプラインの適用性に疑問を投げかけている。
本研究では,ニューラルネットワークの重要な特徴を選択するための適応型グループラッソの使用に関する理論的保証を提案し,確立する。
具体的には,1つの隠れ層と双曲的接点活性化関数を持つ単一出力フィードフォワードニューラルネットワークに対して,特徴選択手法が一貫したことを示す。
シミュレーションとデータ解析の両方を用いて適用性を示す。
関連論文リスト
- Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
連続学習を逐次関数空間変動推論として定式化した目的を提案する。
ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。
タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
論文 参考訳(メタデータ) (2023-12-28T18:44:32Z) - Neural Networks beyond explainability: Selective inference for sequence
motifs [5.620334754517149]
抽出した特徴と予測表現型との関連性をテストするための選択的推論手法であるSEISMを紹介する。
我々は、この選択を無限集合から大きくても有限な格子に量子化することで、既存のサンプリングベース選択推論手法を適用する。
パラメータの特定の選択の下でのサンプリングは、通常選択推論に使用される合成ヌル仮説を特徴づけるのに十分であることを示す。
論文 参考訳(メタデータ) (2022-12-23T10:49:07Z) - NCTV: Neural Clamping Toolkit and Visualization for Neural Network
Calibration [66.22668336495175]
ニューラルネットワークのキャリブレーションに対する考慮の欠如は、人間から信頼を得ることはないだろう。
我々はNeural Clamping Toolkitを紹介した。これは開発者が最先端のモデルに依存しないキャリブレーションモデルを採用するのを支援するために設計された最初のオープンソースフレームワークである。
論文 参考訳(メタデータ) (2022-11-29T15:03:05Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳(メタデータ) (2022-06-22T23:33:39Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。
最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
論文 参考訳(メタデータ) (2022-01-30T04:52:31Z) - FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。
FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
論文 参考訳(メタデータ) (2021-06-24T15:38:34Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Consistent Feature Selection for Analytic Deep Neural Networks [3.42658286826597]
分析深層ネットワークにおける特徴選択の問題について検討する。
我々は、広範囲のネットワークに対して、グループラッソによる適応群ラッソ選択手順が選択整合であることを証明する。
この研究は、Group Lassoがニューラルネットワークによる特徴選択に非効率であることのさらなる証拠を提供する。
論文 参考訳(メタデータ) (2020-10-16T01:59:53Z) - Bayesian Neural Networks [0.0]
ニューラルネットワークによる予測におけるエラーを原理的に得る方法を示し、これらのエラーを特徴付ける2つの方法を提案する。
さらに、これらの2つのメソッドが実際に実施される際に、重大な落とし穴を持つ方法についても説明します。
論文 参考訳(メタデータ) (2020-06-02T09:43:00Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳(メタデータ) (2020-02-23T13:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。