論文の概要: Global Optimality Beyond Two Layers: Training Deep ReLU Networks via Convex Programs

• arxiv url: http://arxiv.org/abs/2110.05518v1
• Date: Mon, 11 Oct 2021 18:00:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-13 13:05:24.946379
• Title: Global Optimality Beyond Two Layers: Training Deep ReLU Networks via Convex Programs
• Title（参考訳）: 2層以上のグローバル最適性:凸プログラムによる深層reluネットワークのトレーニング
• Authors: Tolga Ergen, Mert Pilanci
• Abstract要約: 我々は凸最適化のレンズを通して隠れ正規化機構を明らかにするための新しい統一フレームワークを開発した。 我々は、合成データセットと実データセットの両方を含む実験を通して、理論的結果を数値的に検証する。
• 参考スコア（独自算出の注目度）: 39.799125462526234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the fundamental mechanism behind the success of deep neural networks is one of the key challenges in the modern machine learning literature. Despite numerous attempts, a solid theoretical analysis is yet to be developed. In this paper, we develop a novel unified framework to reveal a hidden regularization mechanism through the lens of convex optimization. We first show that the training of multiple three-layer ReLU sub-networks with weight decay regularization can be equivalently cast as a convex optimization problem in a higher dimensional space, where sparsity is enforced via a group $\ell_1$-norm regularization. Consequently, ReLU networks can be interpreted as high dimensional feature selection methods. More importantly, we then prove that the equivalent convex problem can be globally optimized by a standard convex optimization solver with a polynomial-time complexity with respect to the number of samples and data dimension when the width of the network is fixed. Finally, we numerically validate our theoretical results via experiments involving both synthetic and real datasets.
• Abstract（参考訳）: ディープニューラルネットワークの成功の背後にある基本的なメカニズムを理解することは、現代の機械学習文学における重要な課題の1つだ。 数多くの試みにもかかわらず、確固たる理論解析はまだ開発されていない。 本稿では,凸最適化のレンズによる隠れ正規化機構を明らかにするために,新しい統一フレームワークを開発する。 まず,重み減衰正規化を伴う複数の3層reluサブネットワークのトレーニングを,群 $\ell_1$-norm 正規化によってスパーシティが強制される高次元空間における凸最適化問題として同等にキャストできることを示す。 これにより、ReLUネットワークは高次元特徴選択法として解釈できる。 さらに,ネットワークの幅が固定された場合のサンプル数やデータ次元に関して,多項式時間の複雑さを持つ標準凸最適化解法により,等価凸問題を大域的に最適化できることを示す。 最後に,合成データと実データの両方を用いた実験により,理論結果を数値的に検証した。

関連論文リスト

• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Does a sparse ReLU network training problem always admit an optimum? [0.0]
  最適解の存在は、特にスパースReLUニューラルネットワークの文脈において、必ずしも保証されないことを示す。 特に,特定の疎度パターンを持つディープネットワークにおける最適化問題は,必ずしも最適パラメータを持つとは限らないことを示す。
  論文  参考訳（メタデータ） (2023-06-05T08:01:50Z)
• Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model Classes and Cone Decompositions [41.337814204665364]
  ReLUアクティベーション機能を持つ2層ニューラルネットワークの凸最適化アルゴリズムを開発した。 凸ゲート型ReLUモデルでは,ReLUトレーニング問題に対するデータ依存の近似バウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:50:53Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization of Polynomial Activation Neural Networks in Fully Polynomial-Time [31.94590517036704]
  2次活性化を持つ2層数値ネットワークの完全凸最適化定式化を考案する。 本研究では,全入力データの複雑度とサンプルサイズが半定常的なニューラル・グローバル最適化であることを示した。 提案手法は, 標準バックプロパゲーション法に比べ, テスト精度が大幅に向上した。
  論文  参考訳（メタデータ） (2021-01-07T08:43:01Z)
• Implicit Convex Regularizers of CNN Architectures: Convex Optimization of Two- and Three-Layer Networks in Polynomial Time [70.15611146583068]
  本稿では,ReLUアクティベーションを用いた畳み込みニューラルネットワーク(CNN)のトレーニングについて検討する。 我々は,データサンプル数,ニューロン数,データ次元に関して,厳密な凸最適化を導入する。
  論文  参考訳（メタデータ） (2020-06-26T04:47:20Z)
• The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
  コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。 我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
  論文  参考訳（メタデータ） (2020-06-10T15:38:30Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。