論文の概要: Neural Networks are Convex Regularizers: Exact Polynomial-time Convex
Optimization Formulations for Two-layer Networks
- arxiv url: http://arxiv.org/abs/2002.10553v2
- Date: Sat, 15 Aug 2020 05:26:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 03:37:20.710214
- Title: Neural Networks are Convex Regularizers: Exact Polynomial-time Convex
Optimization Formulations for Two-layer Networks
- Title（参考訳）: ニューラルネットワークは凸正規化器である:二層ネットワークのための実多項式時間凸最適化公式
- Authors: Mert Pilanci, Tolga Ergen
- Abstract要約: 我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。
我々の理論は半無限双対性と最小ノルム正規化を利用する。
- 参考スコア（独自算出の注目度）: 70.15611146583068
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop exact representations of training two-layer neural networks with
rectified linear units (ReLUs) in terms of a single convex program with number
of variables polynomial in the number of training samples and the number of
hidden neurons. Our theory utilizes semi-infinite duality and minimum norm
regularization. We show that ReLU networks trained with standard weight decay
are equivalent to block $\ell_1$ penalized convex models. Moreover, we show
that certain standard convolutional linear networks are equivalent
semi-definite programs which can be simplified to $\ell_1$ regularized linear
models in a polynomial sized discrete Fourier feature space.
- Abstract（参考訳）: 本研究では, トレーニングサンプル数と隠れニューロン数に変数多項式を持つ単一凸プログラムを用いて, 整列線形ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。
この理論は半無限双対性と最小ノルム正規化を用いる。
標準重み減衰で訓練されたreluネットワークは、ブロック$\ell_1$ペナルテッド凸モデルと同値である。
さらに、ある種の標準畳み込み線形ネットワークは、多項式サイズの離散フーリエ特徴空間において$\ell_1$正規化線形モデルに単純化できる半定値プログラムであることを示す。
関連論文リスト
- Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features [54.83898311047626]
2層から有限層まで線形に活性化するニューラルネットワークについて検討する。
まず, 分岐深さの離散辞書を用いたLassoモデルについて検討した。
論文 参考訳（メタデータ） (2024-03-02T00:33:45Z) - The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳（メタデータ） (2023-12-19T23:04:56Z) - Provable Identifiability of Two-Layer ReLU Neural Networks via LASSO
Regularization [15.517787031620864]
LASSOの領域は、ファッショナブルで強力な非線形回帰モデルである2層ReLUニューラルネットワークに拡張される。
LASSO推定器はニューラルネットワークを安定的に再構築し,サンプル数が対数的にスケールする場合に$mathcalSstar$を識別可能であることを示す。
我々の理論は、2層ReLUニューラルネットワークのための拡張Restricted Isometry Property (RIP)ベースの分析フレームワークにある。
論文 参考訳（メタデータ） (2023-05-07T13:05:09Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Vector-output ReLU Neural Network Problems are Copositive Programs:
Convex Analysis of Two Layer Networks and Polynomial-time Algorithms [29.975118690758126]
2層ベクトル無限ReLUニューラルネットワークトレーニング問題の半出力グローバル双対について述べる。
特定の問題のクラスに対して正確であることが保証されるソリューションを提供する。
論文 参考訳（メタデータ） (2020-12-24T17:03:30Z) - A Unifying View on Implicit Bias in Training Linear Neural Networks [31.65006970108761]
線形ニューラルネットワークトレーニングにおける勾配流(無限小ステップサイズの勾配勾配勾配勾配)の暗黙バイアスについて検討する。
本稿では, ニューラルネットワークのテンソルの定式化について検討し, 完全連結型, 対角型, 畳み込み型ネットワークを特殊な場合として提案する。
論文 参考訳（メタデータ） (2020-10-06T06:08:35Z) - Implicit Convex Regularizers of CNN Architectures: Convex Optimization
of Two- and Three-Layer Networks in Polynomial Time [70.15611146583068]
本稿では,ReLUアクティベーションを用いた畳み込みニューラルネットワーク(CNN)のトレーニングについて検討する。
我々は,データサンプル数,ニューロン数,データ次元に関して,厳密な凸最適化を導入する。
論文 参考訳（メタデータ） (2020-06-26T04:47:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。