論文の概要: Neural Networks are Convex Regularizers: Exact Polynomial-time Convex
Optimization Formulations for Two-layer Networks
- arxiv url: http://arxiv.org/abs/2002.10553v2
- Date: Sat, 15 Aug 2020 05:26:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 03:37:20.710214
- Title: Neural Networks are Convex Regularizers: Exact Polynomial-time Convex
Optimization Formulations for Two-layer Networks
- Title（参考訳）: ニューラルネットワークは凸正規化器である:二層ネットワークのための実多項式時間凸最適化公式
- Authors: Mert Pilanci, Tolga Ergen
- Abstract要約: 我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。
我々の理論は半無限双対性と最小ノルム正規化を利用する。
- 参考スコア（独自算出の注目度）: 70.15611146583068
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop exact representations of training two-layer neural networks with
rectified linear units (ReLUs) in terms of a single convex program with number
of variables polynomial in the number of training samples and the number of
hidden neurons. Our theory utilizes semi-infinite duality and minimum norm
regularization. We show that ReLU networks trained with standard weight decay
are equivalent to block $\ell_1$ penalized convex models. Moreover, we show
that certain standard convolutional linear networks are equivalent
semi-definite programs which can be simplified to $\ell_1$ regularized linear
models in a polynomial sized discrete Fourier feature space.
- Abstract（参考訳）: 本研究では, トレーニングサンプル数と隠れニューロン数に変数多項式を持つ単一凸プログラムを用いて, 整列線形ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。
この理論は半無限双対性と最小ノルム正規化を用いる。
標準重み減衰で訓練されたreluネットワークは、ブロック$\ell_1$ペナルテッド凸モデルと同値である。
さらに、ある種の標準畳み込み線形ネットワークは、多項式サイズの離散フーリエ特徴空間において$\ell_1$正規化線形モデルに単純化できる半定値プログラムであることを示す。
関連論文リスト
- Provable Identifiability of Two-Layer ReLU Neural Networks via LASSO
Regularization [15.517787031620864]
LASSOの領域は、ファッショナブルで強力な非線形回帰モデルである2層ReLUニューラルネットワークに拡張される。
LASSO推定器はニューラルネットワークを安定的に再構築し,サンプル数が対数的にスケールする場合に$mathcalSstar$を識別可能であることを示す。
我々の理論は、2層ReLUニューラルネットワークのための拡張Restricted Isometry Property (RIP)ベースの分析フレームワークにある。
論文 参考訳（メタデータ） (2023-05-07T13:05:09Z) - Nonparametric regression with modified ReLU networks [77.34726150561087]
ネットワーク重み行列を入力ベクトルに乗じる前に,まず関数$alpha$で修正したReLUニューラルネットワークによる回帰推定を考察する。
論文 参考訳（メタデータ） (2022-07-17T21:46:06Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。
隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。
スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
論文 参考訳（メタデータ） (2022-02-13T07:12:02Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Vector-output ReLU Neural Network Problems are Copositive Programs:
Convex Analysis of Two Layer Networks and Polynomial-time Algorithms [29.975118690758126]
2層ベクトル無限ReLUニューラルネットワークトレーニング問題の半出力グローバル双対について述べる。
特定の問題のクラスに対して正確であることが保証されるソリューションを提供する。
論文 参考訳（メタデータ） (2020-12-24T17:03:30Z) - A Unifying View on Implicit Bias in Training Linear Neural Networks [31.65006970108761]
線形ニューラルネットワークトレーニングにおける勾配流(無限小ステップサイズの勾配勾配勾配勾配)の暗黙バイアスについて検討する。
本稿では, ニューラルネットワークのテンソルの定式化について検討し, 完全連結型, 対角型, 畳み込み型ネットワークを特殊な場合として提案する。
論文 参考訳（メタデータ） (2020-10-06T06:08:35Z) - Implicit Convex Regularizers of CNN Architectures: Convex Optimization
of Two- and Three-Layer Networks in Polynomial Time [70.15611146583068]
本稿では,ReLUアクティベーションを用いた畳み込みニューラルネットワーク(CNN)のトレーニングについて検討する。
我々は,データサンプル数,ニューロン数,データ次元に関して,厳密な凸最適化を導入する。
論文 参考訳（メタデータ） (2020-06-26T04:47:20Z) - Prediction of wall-bounded turbulence from wall quantities using
convolutional neural networks [0.0]
完全畳み込みニューラルネットモデルを用いて,壁面正規位置の流速場を予測する。
様々なネットワークが3つの内部スケールの場所で予測するために訓練されている。
論文 参考訳（メタデータ） (2019-12-30T15:34:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。