論文の概要: A Nonparametric Statistics Approach to Feature Selection in Deep Neural Networks with Theoretical Guarantees

• arxiv url: http://arxiv.org/abs/2512.13565v1
• Date: Mon, 15 Dec 2025 17:22:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.77857
• Title: A Nonparametric Statistics Approach to Feature Selection in Deep Neural Networks with Theoretical Guarantees
• Title（参考訳）: 理論的保証を有するディープニューラルネットワークにおける特徴選択のための非パラメトリック統計手法
• Authors: Junye Du, Zhenghao Li, Zhutong Gu, Long Feng,
• Abstract要約: 本稿では, 特徴選択の問題に挑戦する。 $mathbbE(y | boldsymbolx) = G(boldsymbolx_mathcalS_0)$。 我々のアプローチは、ディープニューラルネットワークの機能選択から始まり、ニューラルネットワークの強い近似能力を利用して結果をHlderの滑らかな関数に一般化する。
• 参考スコア（独自算出の注目度）: 4.1091811628922486
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper tackles the problem of feature selection in a highly challenging setting: $\mathbb{E}(y | \boldsymbol{x}) = G(\boldsymbol{x}_{\mathcal{S}_0})$, where $\mathcal{S}_0$ is the set of relevant features and $G$ is an unknown, potentially nonlinear function subject to mild smoothness conditions. Our approach begins with feature selection in deep neural networks, then generalizes the results to H{ö}lder smooth functions by exploiting the strong approximation capabilities of neural networks. Unlike conventional optimization-based deep learning methods, we reformulate neural networks as index models and estimate $\mathcal{S}_0$ using the second-order Stein's formula. This gradient-descent-free strategy guarantees feature selection consistency with a sample size requirement of $n = Ω(p^2)$, where $p$ is the feature dimension. To handle high-dimensional scenarios, we further introduce a screening-and-selection mechanism that achieves nonlinear selection consistency when $n = Ω(s \log p)$, with $s$ representing the sparsity level. Additionally, we refit a neural network on the selected features for prediction and establish performance guarantees under a relaxed sparsity assumption. Extensive simulations and real-data analyses demonstrate the strong performance of our method even in the presence of complex feature interactions.
• Abstract（参考訳）: この論文は、非常に困難な設定で特徴選択の問題に取り組む: $\mathbb{E}(y | \boldsymbol{x}) = G(\boldsymbol{x}_{\mathcal{S}_0})$ ここで、$\mathcal{S}_0$は関連する特徴の集合であり、$G$は穏やかな条件下での未知の、潜在的に非線形な関数である。 我々のアプローチは、ディープニューラルネットワークの特徴選択から始まり、ニューラルネットワークの強い近似能力を利用して結果をH{ö}lder滑らかな関数に一般化する。 従来の最適化に基づくディープラーニング手法とは異なり、ニューラルネットワークをインデックスモデルとして再構成し、2階のシュタインの公式を用いて$\mathcal{S}_0$を推定する。 この勾配のない戦略は、$n = Ω(p^2)$のサンプルサイズ要件による特徴選択の整合性を保証する。 高次元シナリオを扱うために,$n = Ω(s \log p)$,$s$が空間レベルを表すとき,非線形選択一貫性を実現するスクリーニングと選択機構を導入する。 さらに、選択した特徴にニューラルネットワークを適合させて予測し、緩和された疎性仮定の下で性能保証を確立する。 大規模シミュレーションと実データ解析は,複雑な特徴相互作用が存在する場合でも,我々の手法の強い性能を示す。

関連論文リスト

• The Sample Complexity of Online Reinforcement Learning: A Multi-model Perspective [55.15192437680943]
  連続状態と行動空間を持つ非線形力学系の一般設定におけるオンライン強化学習のサンプル複雑性について検討した。 我々のアルゴリズムは、$mathcalO(N epsilon2 + Mathrmln(m(epsilon)/epsilon2)$のポリシーを後悔する。 力学がコンパクトで実数値のパラメータ集合によってパラメータ化される特別な場合、$mathcalO(sqrt)のポリシー後悔を証明する。
  論文  参考訳（メタデータ） (2025-01-27T10:01:28Z)
• Pruning is Optimal for Learning Sparse Features in High-Dimensions [15.967123173054535]
  本研究では,勾配勾配勾配で学習したプルーンドニューラルネットワークを用いて,統計モデルのクラスを最適に学習可能であることを示す。 ニューラルネットワークのプルーニングが$boldsymbolV$のスパーシリティレベルに比例すると、未切断ネットワークと比較してサンプルの複雑さが向上することを示す。
  論文  参考訳（メタデータ） (2024-06-12T21:43:12Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Convergence of Gradient Descent for Recurrent Neural Networks: A Nonasymptotic Analysis [16.893624100273108]
  教師付き学習環境において,勾配降下を訓練した斜め隠れ重み行列を用いた繰り返しニューラルネットワークの解析を行った。 我々は,パラメータ化を伴わずに勾配降下が最適性を実現することを証明した。 この結果は、繰り返しニューラルネットワークによって近似および学習できる力学系のクラスを明示的に評価することに基づいている。
  論文  参考訳（メタデータ） (2024-02-19T15:56:43Z)
• Provable Identifiability of Two-Layer ReLU Neural Networks via LASSO Regularization [15.517787031620864]
  LASSOの領域は、ファッショナブルで強力な非線形回帰モデルである2層ReLUニューラルネットワークに拡張される。 LASSO推定器はニューラルネットワークを安定的に再構築し,サンプル数が対数的にスケールする場合に$mathcalSstar$を識別可能であることを示す。 我々の理論は、2層ReLUニューラルネットワークのための拡張Restricted Isometry Property (RIP)ベースの分析フレームワークにある。
  論文  参考訳（メタデータ） (2023-05-07T13:05:09Z)
• Neural Greedy Pursuit for Feature Selection [72.4121881681861]
  我々は,非線形予測問題に対する$P$入力機能のうち,$N$重要な特徴を選択するための欲求アルゴリズムを提案する。 ニューラルネットワークをアルゴリズムの予測子として使用し、損失を計算します。
  論文  参考訳（メタデータ） (2022-07-19T16:39:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。