論文の概要: Parallel Deep Neural Networks Have Zero Duality Gap

• arxiv url: http://arxiv.org/abs/2110.06482v1
• Date: Wed, 13 Oct 2021 04:03:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 01:41:58.046587
• Title: Parallel Deep Neural Networks Have Zero Duality Gap
• Title（参考訳）: ゼロ双対性ギャップを持つパラレルディープニューラルネットワーク
• Authors: Yifei Wang, Tolga Ergen and Mert Pilanci
• Abstract要約: ディープニューラルネットワークにおける双対性ギャップは、まさにゼロであることを示す。 パラメータの重み減衰正則化は閉形式表現による低ランク解を明示的に促進することを示す。
• 参考スコア（独自算出の注目度）: 34.6343848741791
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training deep neural networks is a well-known highly non-convex problem. In recent works, it is shown that there is no duality gap for regularized two-layer neural networks with ReLU activation, which enables global optimization via convex programs. For multi-layer linear networks with vector outputs, we formulate convex dual problems and demonstrate that the duality gap is non-zero for depth three and deeper networks. However, by modifying the deep networks to more powerful parallel architectures, we show that the duality gap is exactly zero. Therefore, strong convex duality holds, and hence there exist equivalent convex programs that enable training deep networks to global optimality. We also demonstrate that the weight decay regularization in the parameters explicitly encourages low-rank solutions via closed-form expressions. For three-layer non-parallel ReLU networks, we show that strong duality holds for rank-1 data matrices, however, the duality gap is non-zero for whitened data matrices. Similarly, by transforming the neural network architecture into a corresponding parallel version, the duality gap vanishes.
• Abstract（参考訳）: ディープニューラルネットワークのトレーニングは、よく知られた非凸問題である。 近年の研究では、reluアクティベーションを持つ正規化2層ニューラルネットワークには、凸プログラムによるグローバル最適化を可能にする双対性ギャップが存在しないことが示されている。 ベクトル出力を持つ多層線形ネットワークでは、凸双対問題を定式化し、深さ3および深層ネットワークでは双対ギャップがゼロでないことを示す。 しかし、より強力な並列アーキテクチャにディープネットワークを変更することで、双対性ギャップが全くゼロであることが分かる。 したがって、強い凸双対性を持つので、大域的最適性のためにディープネットワークを訓練できる等価凸プログラムが存在する。 また,パラメータの重み減衰正規化は閉形式表現による低ランク解を明示的に奨励することを示した。 3層非並列reluネットワークでは、rank-1データ行列に対して強い双対性が成立するが、白化データ行列では双対性ギャップは非ゼロである。 同様に、ニューラルネットワークアーキテクチャを対応する並列バージョンに変換することで、双対性ギャップがなくなる。

関連論文リスト

• A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features [54.83898311047626]
  2層から有限層まで線形に活性化するニューラルネットワークについて検討する。 まず, 分岐深さの離散辞書を用いたLassoモデルについて検討した。
  論文  参考訳（メタデータ） (2024-03-02T00:33:45Z)
• Depth Separations in Neural Networks: Separating the Dimension from the Accuracy [9.783697404304027]
  我々は、(実入力で)深度2と深度3ニューラルネットの指数的なサイズ分離を証明した。 対象関数が深度3ネットワークを用いて効率的に表現できる場合であっても,次元の呪いは深さ2の近似で現れることを示す。
  論文  参考訳（メタデータ） (2024-02-11T17:27:26Z)
• Convex Dual Theory Analysis of Two-Layer Convolutional Neural Networks with Soft-Thresholding [15.514556290714053]
  ソフトスレッディングはニューラルネットワークで広く使われている。 ソフトなニューラルネットワークネットワークを融合させる新しい方法が提示される。 この研究は、ソフトニューラルネットワークを凸化する新しい方法を提供する。
  論文  参考訳（メタデータ） (2023-04-14T07:04:07Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• Global Optimality Beyond Two Layers: Training Deep ReLU Networks via Convex Programs [39.799125462526234]
  我々は凸最適化のレンズを通して隠れ正規化機構を明らかにするための新しい統一フレームワークを開発した。 我々は、合成データセットと実データセットの両方を含む実験を通して、理論的結果を数値的に検証する。
  論文  参考訳（メタデータ） (2021-10-11T18:00:30Z)
• Convex Regularization Behind Neural Reconstruction [21.369208659395042]
  本論文では、凸ソルバにニューラルネットワークを拡張可能にする凸双対性フレームワークを提唱する。 MNIST fastMRIデータセットを用いた実験は、二重ネットワーク最適化問題の有効性を確認する。
  論文  参考訳（メタデータ） (2020-12-09T16:57:16Z)
• Implicit Convex Regularizers of CNN Architectures: Convex Optimization of Two- and Three-Layer Networks in Polynomial Time [70.15611146583068]
  本稿では,ReLUアクティベーションを用いた畳み込みニューラルネットワーク(CNN)のトレーニングについて検討する。 我々は,データサンプル数,ニューロン数,データ次元に関して,厳密な凸最適化を導入する。
  論文  参考訳（メタデータ） (2020-06-26T04:47:20Z)
• The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
  コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。 我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
  論文  参考訳（メタデータ） (2020-06-10T15:38:30Z)
• Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
  我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。 正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。 ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
  論文  参考訳（メタデータ） (2020-02-22T21:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。