論文の概要: Provable Identifiability of Two-Layer ReLU Neural Networks via LASSO
Regularization
- arxiv url: http://arxiv.org/abs/2305.04267v1
- Date: Sun, 7 May 2023 13:05:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 16:40:38.768706
- Title: Provable Identifiability of Two-Layer ReLU Neural Networks via LASSO
Regularization
- Title（参考訳）: LASSO正則化による2層ReLUニューラルネットワークの確率的識別可能性
- Authors: Gen Li, Ganghua Wang, Jie Ding
- Abstract要約: LASSOの領域は、ファッショナブルで強力な非線形回帰モデルである2層ReLUニューラルネットワークに拡張される。
LASSO推定器はニューラルネットワークを安定的に再構築し,サンプル数が対数的にスケールする場合に$mathcalSstar$を識別可能であることを示す。
我々の理論は、2層ReLUニューラルネットワークのための拡張Restricted Isometry Property (RIP)ベースの分析フレームワークにある。
- 参考スコア（独自算出の注目度）: 15.517787031620864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LASSO regularization is a popular regression tool to enhance the prediction
accuracy of statistical models by performing variable selection through the
$\ell_1$ penalty, initially formulated for the linear model and its variants.
In this paper, the territory of LASSO is extended to two-layer ReLU neural
networks, a fashionable and powerful nonlinear regression model. Specifically,
given a neural network whose output $y$ depends only on a small subset of input
$\boldsymbol{x}$, denoted by $\mathcal{S}^{\star}$, we prove that the LASSO
estimator can stably reconstruct the neural network and identify
$\mathcal{S}^{\star}$ when the number of samples scales logarithmically with
the input dimension. This challenging regime has been well understood for
linear models while barely studied for neural networks. Our theory lies in an
extended Restricted Isometry Property (RIP)-based analysis framework for
two-layer ReLU neural networks, which may be of independent interest to other
LASSO or neural network settings. Based on the result, we advocate a neural
network-based variable selection method. Experiments on simulated and
real-world datasets show promising performance of the variable selection
approach compared with existing techniques.
- Abstract（参考訳）: LASSO正則化(LASSO regularization)は、まず線形モデルとその変種に対して定式化された$\ell_1$のペナルティによって変数選択を行うことにより、統計モデルの予測精度を高める一般的な回帰ツールである。
本稿では,LASSOの領域を,ファッショナブルかつ強力な非線形回帰モデルである2層ReLUニューラルネットワークに拡張する。
具体的には、出力$y$が入力の小さな部分集合である$\boldsymbol{x}$にのみ依存するニューラルネットワークを、$\mathcal{S}^{\star}$と書くと、LASSO推定器がニューラルネットワークを安定に再構成し、サンプル数が入力次元と対数的にスケールする場合に$\mathcal{S}^{\star}$を識別できることを示す。
この挑戦的な手法は線形モデルではよく理解されているが、ニューラルネットワークについてはほとんど研究されていない。
我々の理論は、拡張制限等長性(rip)に基づく2層reluニューラルネットワークの解析フレームワークであり、他のlassoやニューラルネットワークの設定とは独立した関心を持つかもしれない。
この結果に基づいて,ニューラルネットワークに基づく変数選択手法を提案する。
シミュレーションおよび実世界のデータセットに関する実験は、既存の手法と比較して変数選択アプローチの有望な性能を示している。
関連論文リスト
- Sparse-Input Neural Network using Group Concave Regularization [10.103025766129006]
ニューラルネットワークでは、同時特徴選択と非線形関数推定が困難である。
低次元と高次元の両方の設定における特徴選択のための群凹正規化を用いたスパースインプットニューラルネットワークの枠組みを提案する。
論文 参考訳（メタデータ） (2023-07-01T13:47:09Z) - The Contextual Lasso: Sparse Linear Models via Deep Neural Networks [5.607237982617641]
本研究では,空間的特徴の関数として空間的パターンと係数が変化するような説明的特徴に疎線形モデルに適合する新しい統計的推定器を開発する。
実データと合成データに関する広範な実験は、学習されたモデルは、非常に透明であり、通常のラッソよりもスペーサーであることを示している。
論文 参考訳（メタデータ） (2023-02-02T05:00:29Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Nonparametric regression with modified ReLU networks [77.34726150561087]
ネットワーク重み行列を入力ベクトルに乗じる前に,まず関数$alpha$で修正したReLUニューラルネットワークによる回帰推定を考察する。
論文 参考訳（メタデータ） (2022-07-17T21:46:06Z) - Hierarchical autoregressive neural networks for statistical systems [0.05156484100374058]
我々は、例えばスピンのような物理的自由度の階層的な結合を、システムの線形範囲$L$のスケーリングに置き換えるニューロンに提案する。
我々は,2次元Isingモデルに対して,最大128×128$スピンの格子をシミュレートし,時間ベンチマークを512×512$の格子に到達させることで,その2次元Isingモデルに対するアプローチを実証した。
論文 参考訳（メタデータ） (2022-03-21T13:55:53Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳（メタデータ） (2022-01-11T20:53:15Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T17:56:14Z) - Measurement error models: from nonparametric methods to deep neural
networks [3.1798318618973362]
本稿では,測定誤差モデルの推定に有効なニューラルネットワーク設計を提案する。
完全に接続されたフィードフォワードニューラルネットワークを用いて回帰関数を$f(x)$に近似する。
我々は、ニューラルネットワークアプローチと古典的ノンパラメトリック手法を比較するために、広範囲にわたる数値的研究を行っている。
論文 参考訳（メタデータ） (2020-07-15T06:05:37Z) - Regularization Matters: A Nonparametric Perspective on Overparametrized
Neural Network [20.132432350255087]
タンジェント降下(GD)によってトレーニングされた過度にパラメータ化されたニューラルネットワークは、任意のトレーニングデータを確実に過度に適合させることができる。
本稿では、過度にパラメータ化されたニューラルネットワークが、ランダムノイズの存在下での真のターゲット関数をいかに回復するかを考察する。
論文 参考訳（メタデータ） (2020-07-06T01:02:23Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳（メタデータ） (2020-06-16T07:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。