論文の概要: Implicit Convex Regularizers of CNN Architectures: Convex Optimization
of Two- and Three-Layer Networks in Polynomial Time
- arxiv url: http://arxiv.org/abs/2006.14798v3
- Date: Thu, 18 Mar 2021 15:30:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 21:31:53.383552
- Title: Implicit Convex Regularizers of CNN Architectures: Convex Optimization
of Two- and Three-Layer Networks in Polynomial Time
- Title（参考訳）: CNNアーキテクチャの入出力凸正規化器:多項式時間における2層および3層ネットワークの凸最適化
- Authors: Tolga Ergen, Mert Pilanci
- Abstract要約: 本稿では,ReLUアクティベーションを用いた畳み込みニューラルネットワーク(CNN)のトレーニングについて検討する。
我々は,データサンプル数,ニューロン数,データ次元に関して,厳密な凸最適化を導入する。
- 参考スコア（独自算出の注目度）: 70.15611146583068
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study training of Convolutional Neural Networks (CNNs) with ReLU
activations and introduce exact convex optimization formulations with a
polynomial complexity with respect to the number of data samples, the number of
neurons, and data dimension. More specifically, we develop a convex analytic
framework utilizing semi-infinite duality to obtain equivalent convex
optimization problems for several two- and three-layer CNN architectures. We
first prove that two-layer CNNs can be globally optimized via an $\ell_2$ norm
regularized convex program. We then show that multi-layer circular CNN training
problems with a single ReLU layer are equivalent to an $\ell_1$ regularized
convex program that encourages sparsity in the spectral domain. We also extend
these results to three-layer CNNs with two ReLU layers. Furthermore, we present
extensions of our approach to different pooling methods, which elucidates the
implicit architectural bias as convex regularizers.
- Abstract（参考訳）: reluアクティベーションを用いた畳み込みニューラルネットワーク(cnns)のトレーニングを行い、データサンプル数、ニューロン数、データ次元に関して多項式複雑性を伴う完全凸最適化定式化を導入する。
具体的には、半無限双対性を利用した凸解析フレームワークを開発し、2層および3層CNNアーキテクチャの等価凸最適化問題を求める。
最初に、2層CNNが$\ell_2$の正規化凸プログラムによってグローバルに最適化可能であることを証明した。
次に、単一ReLU層を用いた多層円形CNNトレーニング問題は、スペクトル領域の間隔を助長する$\ell_1$正規化凸プログラムと等価であることを示す。
また、これらの結果を2つのReLU層を持つ3層CNNに拡張する。
さらに,本手法を様々なプーリング法に拡張し,凸正則化器としてアーキテクチャバイアスを明らかにする。
関連論文リスト
- A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features [54.83898311047626]
2層から有限層まで線形に活性化するニューラルネットワークについて検討する。
まず, 分岐深さの離散辞書を用いたLassoモデルについて検討した。
論文 参考訳（メタデータ） (2024-03-02T00:33:45Z) - The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳（メタデータ） (2023-12-19T23:04:56Z) - Multigrid-Augmented Deep Learning Preconditioners for the Helmholtz
Equation using Compact Implicit Layers [7.56372030029358]
高波動数に対する離散異種ヘルムホルツ方程式を解くためのディープラーニングに基づく反復的手法を提案する。
畳み込みカーネルが反転するU-Netの粗い格子上に暗黙の層を持つマルチレベルU-NetライクなエンコーダCNNを構築する。
我々のアーキテクチャは、様々な難易度の異なる低速モデルの一般化に利用することができ、低速モデルごとに多くの右辺を解くのに効率的である。
論文 参考訳（メタデータ） (2023-06-30T08:56:51Z) - Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model
Classes and Cone Decompositions [41.337814204665364]
ReLUアクティベーション機能を持つ2層ニューラルネットワークの凸最適化アルゴリズムを開発した。
凸ゲート型ReLUモデルでは,ReLUトレーニング問題に対するデータ依存の近似バウンダリが得られることを示す。
論文 参考訳（メタデータ） (2022-02-02T23:50:53Z) - Global Optimality Beyond Two Layers: Training Deep ReLU Networks via
Convex Programs [39.799125462526234]
我々は凸最適化のレンズを通して隠れ正規化機構を明らかにするための新しい統一フレームワークを開発した。
我々は、合成データセットと実データセットの両方を含む実験を通して、理論的結果を数値的に検証する。
論文 参考訳（メタデータ） (2021-10-11T18:00:30Z) - Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization
of Polynomial Activation Neural Networks in Fully Polynomial-Time [31.94590517036704]
2次活性化を持つ2層数値ネットワークの完全凸最適化定式化を考案する。
本研究では,全入力データの複雑度とサンプルサイズが半定常的なニューラル・グローバル最適化であることを示した。
提案手法は, 標準バックプロパゲーション法に比べ, テスト精度が大幅に向上した。
論文 参考訳（メタデータ） (2021-01-07T08:43:01Z) - The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural
Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。
我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
論文 参考訳（メタデータ） (2020-06-10T15:38:30Z) - Neural Networks are Convex Regularizers: Exact Polynomial-time Convex
Optimization Formulations for Two-layer Networks [70.15611146583068]
我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。
我々の理論は半無限双対性と最小ノルム正規化を利用する。
論文 参考訳（メタデータ） (2020-02-24T21:32:41Z) - Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。
正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。
ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
論文 参考訳（メタデータ） (2020-02-22T21:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。