論文の概要: Sparse deep neural networks for nonparametric estimation in high-dimensional sparse regression

• arxiv url: http://arxiv.org/abs/2406.18137v1
• Date: Wed, 26 Jun 2024 07:41:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 14:18:49.885011
• Title: Sparse deep neural networks for nonparametric estimation in high-dimensional sparse regression
• Title（参考訳）: 高次元スパース回帰における非パラメトリック推定のためのスパースディープニューラルネットワーク
• Authors: Dongya Wu, Xin Li,
• Abstract要約: 本研究は、非パラメトリック推定とパラメトリックスパースディープニューラルネットワークを初めて組み合わせたものである。 偏微分の非パラメトリック推定は非線形変数選択にとって非常に重要であるため、現在の結果はディープニューラルネットワークの解釈可能性に有望な未来を示すものである。
• 参考スコア（独自算出の注目度）: 4.983567824636051
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalization theory has been established for sparse deep neural networks under high-dimensional regime. Beyond generalization, parameter estimation is also important since it is crucial for variable selection and interpretability of deep neural networks. Current theoretical studies concerning parameter estimation mainly focus on two-layer neural networks, which is due to the fact that the convergence of parameter estimation heavily relies on the regularity of the Hessian matrix, while the Hessian matrix of deep neural networks is highly singular. To avoid the unidentifiability of deep neural networks in parameter estimation, we propose to conduct nonparametric estimation of partial derivatives with respect to inputs. We first show that model convergence of sparse deep neural networks is guaranteed in that the sample complexity only grows with the logarithm of the number of parameters or the input dimension when the $\ell_{1}$-norm of parameters is well constrained. Then by bounding the norm and the divergence of partial derivatives, we establish that the convergence rate of nonparametric estimation of partial derivatives scales as $\mathcal{O}(n^{-1/4})$, a rate which is slower than the model convergence rate $\mathcal{O}(n^{-1/2})$. To the best of our knowledge, this study combines nonparametric estimation and parametric sparse deep neural networks for the first time. As nonparametric estimation of partial derivatives is of great significance for nonlinear variable selection, the current results show the promising future for the interpretability of deep neural networks.
• Abstract（参考訳）: 高次元状態下でのスパースディープニューラルネットワークの一般化理論が確立されている。 パラメータ推定は、一般化以外にも、ディープニューラルネットワークの可変選択と解釈可能性にとって重要であるため、重要である。 パラメータ推定に関する最近の理論的研究は、主に2層ニューラルネットワークに焦点を当てているが、これはパラメータ推定の収束がヘッセン行列の正則性に大きく依存しているのに対し、ディープニューラルネットワークのヘッセン行列は極めて特異であるという事実からである。 パラメータ推定におけるディープニューラルネットワークの不特定性を回避するため,入力に対する偏微分の非パラメトリック推定を提案する。 まず,パラメータの値が$\ell_{1}$-normの場合に,パラメータ数や入力次元の対数によってのみ,サンプルの複雑さが増大することが,スパースディープニューラルネットワークのモデル収束を保証していることを示す。 そして、偏微分のノルムと発散をバウンドすることによって、偏微分の非パラメトリック推定の収束率は$\mathcal{O}(n^{-1/4})$、モデル収束率$\mathcal{O}(n^{-1/2})$よりも遅い$としてスケールする。 我々の知る限りでは、この研究は非パラメトリック推定とパラメトリックスパースディープニューラルネットワークを初めて組み合わせている。 偏微分の非パラメトリック推定は非線形変数選択にとって非常に重要であるため、現在の結果はディープニューラルネットワークの解釈可能性に有望な未来を示すものである。

関連論文リスト

• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Semi-Supervised Deep Sobolev Regression: Estimation, Variable Selection and Beyond [3.782392436834913]
  本研究では,半教師付き深部ソボレフ回帰器であるSDOREを提案し,基礎となる回帰関数とその勾配を非パラメトリックに推定する。 我々は、SDOREの収束率を総合的に分析し、回帰関数の最小値の最適値を確立する。 また、重要なドメインシフトが存在する場合でも、関連するプラグイン勾配推定器の収束率を導出する。
  論文  参考訳（メタデータ） (2024-01-09T13:10:30Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Generalization Error Bounds for Iterative Recovery Algorithms Unfolded as Neural Networks [6.173968909465726]
  線形測定の少ないスパース再構成に適したニューラルネットワークの一般クラスを導入する。 層間の重量共有を広範囲に行うことで、全く異なるニューラルネットワークタイプに対する統一的な分析を可能にします。
  論文  参考訳（メタデータ） (2021-12-08T16:17:33Z)
• Neural Estimation of Statistical Divergences [24.78742908726579]
  ニューラルネットワーク(NN)による経験的変動形態のパラメトリゼーションによる統計的発散推定の一手法 特に、近似と経験的推定という2つのエラー源の間には、根本的なトレードオフがある。 NN成長速度がわずかに異なる神経推定器は、最小値の最適値に近づき、パラメトリック収束率を対数因子まで達成できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:42:44Z)
• The Neural Tangent Kernel in High Dimensions: Triple Descent and a Multi-Scale Theory of Generalization [34.235007566913396]
  現代のディープラーニングモデルでは、トレーニングデータに適合するために必要なパラメータよりもはるかに多くのパラメータが採用されている。 この予期せぬ振る舞いを記述するための新たなパラダイムは、エンファンダブル降下曲線(英語版)である。 本稿では,勾配降下を伴う広帯域ニューラルネットワークの挙動を特徴付けるニューラル・タンジェント・カーネルを用いた一般化の高精度な高次元解析を行う。
  論文  参考訳（メタデータ） (2020-08-15T20:55:40Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。