論文の概要: Consistent feature selection for neural networks via Adaptive Group Lasso

• arxiv url: http://arxiv.org/abs/2006.00334v3
• Date: Fri, 3 Dec 2021 02:08:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 17:40:40.582815
• Title: Consistent feature selection for neural networks via Adaptive Group Lasso
• Title（参考訳）: Adaptive Group Lassoによるニューラルネットワークの一貫性特徴選択
• Authors: Vu Dinh, Lam Si Tung Ho
• Abstract要約: ニューラルネットワークの重要な特徴を選択するための適応型グループの使用に関する理論的保証を提案し,確立する。 具体的には,1つの隠蔽層と双曲的タンジェント活性化関数を持つ単一出力フィードフォワードニューラルネットワークに対して,特徴選択法が整合であることを示す。
• 参考スコア（独自算出の注目度）: 3.42658286826597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One main obstacle for the wide use of deep learning in medical and engineering sciences is its interpretability. While neural network models are strong tools for making predictions, they often provide little information about which features play significant roles in influencing the prediction accuracy. To overcome this issue, many regularization procedures for learning with neural networks have been proposed for dropping non-significant features. Unfortunately, the lack of theoretical results casts doubt on the applicability of such pipelines. In this work, we propose and establish a theoretical guarantee for the use of the adaptive group lasso for selecting important features of neural networks. Specifically, we show that our feature selection method is consistent for single-output feed-forward neural networks with one hidden layer and hyperbolic tangent activation function. We demonstrate its applicability using both simulation and data analysis.
• Abstract（参考訳）: 医学と工学でディープラーニングを広範に利用するための大きな障害の1つは、その解釈性である。 ニューラルネットワークモデルは予測を行うための強力なツールであるが、予測精度に影響を与える重要な役割を果たす機能についてはほとんど情報を提供していない。 この問題を克服するために、ニューラルネットワークを用いた学習のための多くの正規化手順が提案されている。 残念ながら、理論的結果の欠如は、そのようなパイプラインの適用性に疑問を投げかけている。 本研究では,ニューラルネットワークの重要な特徴を選択するための適応型グループラッソの使用に関する理論的保証を提案し,確立する。 具体的には,1つの隠れ層と双曲的接点活性化関数を持つ単一出力フィードフォワードニューラルネットワークに対して,特徴選択手法が一貫したことを示す。 シミュレーションとデータ解析の両方を用いて適用性を示す。

関連論文リスト

• Interpreting Neural Networks through Mahalanobis Distance [0.0]
  本稿では,ニューラルネットワークの線形層とマハラノビス距離を結合する理論的枠組みを提案する。 この研究は理論的であり、経験的データを含んでいないが、提案された距離に基づく解釈は、モデルロバスト性を高め、一般化を改善し、ニューラルネットワークの決定をより直観的な説明を提供する可能性がある。
  論文  参考訳（メタデータ） (2024-10-25T07:21:44Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Effective Subset Selection Through The Lens of Neural Network Pruning [31.43307762723943]
  注釈付きデータを賢明に選択することが重要であり、これは部分集合選択問題として知られている。 より広範に研究されているサブセット選択とニューラルネットワークプルーニングの関係について検討する。 ニューラルネットワークの特徴のノルム基準を利用して、サブセット選択法を改善することを提案する。
  論文  参考訳（メタデータ） (2024-06-03T08:12:32Z)
• Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
  連続学習を逐次関数空間変動推論として定式化した目的を提案する。 ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。 タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
  論文  参考訳（メタデータ） (2023-12-28T18:44:32Z)
• NCTV: Neural Clamping Toolkit and Visualization for Neural Network Calibration [66.22668336495175]
  ニューラルネットワークのキャリブレーションに対する考慮の欠如は、人間から信頼を得ることはないだろう。 我々はNeural Clamping Toolkitを紹介した。これは開発者が最先端のモデルに依存しないキャリブレーションモデルを採用するのを支援するために設計された最初のオープンソースフレームワークである。
  論文  参考訳（メタデータ） (2022-11-29T15:03:05Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
  使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。 最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
  論文  参考訳（メタデータ） (2022-01-30T04:52:31Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Consistent Feature Selection for Analytic Deep Neural Networks [3.42658286826597]
  分析深層ネットワークにおける特徴選択の問題について検討する。 我々は、広範囲のネットワークに対して、グループラッソによる適応群ラッソ選択手順が選択整合であることを証明する。 この研究は、Group Lassoがニューラルネットワークによる特徴選択に非効率であることのさらなる証拠を提供する。
  論文  参考訳（メタデータ） (2020-10-16T01:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。