論文の概要: Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization
of Polynomial Activation Neural Networks in Fully Polynomial-Time
- arxiv url: http://arxiv.org/abs/2101.02429v1
- Date: Thu, 7 Jan 2021 08:43:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-10 13:43:42.426382
- Title: Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization
of Polynomial Activation Neural Networks in Fully Polynomial-Time
- Title（参考訳）: ニューラルスペクトルと半定自由度:完全ポリノミアル時間におけるポリノミアル活性化ニューラルネットワークのグローバル凸最適化
- Authors: Burak Bartan, Mert Pilanci
- Abstract要約: 2次活性化を持つ2層数値ネットワークの完全凸最適化定式化を考案する。
本研究では,全入力データの複雑度とサンプルサイズが半定常的なニューラル・グローバル最適化であることを示した。
提案手法は, 標準バックプロパゲーション法に比べ, テスト精度が大幅に向上した。
- 参考スコア（独自算出の注目度）: 31.94590517036704
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The training of two-layer neural networks with nonlinear activation functions
is an important non-convex optimization problem with numerous applications and
promising performance in layerwise deep learning. In this paper, we develop
exact convex optimization formulations for two-layer neural networks with
second degree polynomial activations based on semidefinite programming.
Remarkably, we show that semidefinite lifting is always exact and therefore
computational complexity for global optimization is polynomial in the input
dimension and sample size for all input data. The developed convex formulations
are proven to achieve the same global optimal solution set as their non-convex
counterparts. More specifically, the globally optimal two-layer neural network
with polynomial activations can be found by solving a semidefinite program
(SDP) and decomposing the solution using a procedure we call Neural
Decomposition. Moreover, the choice of regularizers plays a crucial role in the
computational tractability of neural network training. We show that the
standard weight decay regularization formulation is NP-hard, whereas other
simple convex penalties render the problem tractable in polynomial time via
convex programming. We extend the results beyond the fully connected
architecture to different neural network architectures including networks with
vector outputs and convolutional architectures with pooling. We provide
extensive numerical simulations showing that the standard backpropagation
approach often fails to achieve the global optimum of the training loss. The
proposed approach is significantly faster to obtain better test accuracy
compared to the standard backpropagation procedure.
- Abstract（参考訳）: 非線形アクティベーション関数を持つ2層ニューラルネットワークのトレーニングは多くのアプリケーションにおいて重要な非凸最適化問題であり、層幅深層学習において有望な性能を示す。
本稿では,半定値プログラミングに基づく2次多項式アクティベーションを持つ2層ニューラルネットワークの正確な凸最適化式を開発する。
顕著なことに、半定値リフトは常に正確であり、大域最適化の計算複雑性は入力次元の多項式であり、全ての入力データのサンプルサイズである。
開発された凸式は、非凸式と同じ大域的最適解集合を達成することが証明されている。
より具体的には、多項式活性化を伴う大域的最適2層ニューラルネットワークは、半定値プログラム(SDP)を解き、ニューラル分解と呼ばれる手順を用いて解を分解することで得られる。
さらに、正規化器の選択は、ニューラルネットワークトレーニングの計算的トラクタビリティにおいて重要な役割を果たす。
標準重み減衰正規化定式化はNP-hardであるのに対し、他の単純凸ペナルティは凸計画法により多項式時間で計算可能な問題を示す。
我々は、完全に接続されたアーキテクチャを超えて、ベクトル出力を持つネットワークやプールを伴う畳み込みアーキテクチャを含む、異なるニューラルネットワークアーキテクチャに結果を拡張します。
我々は, 標準バックプロパゲーション手法がトレーニング損失のグローバル最適化に失敗することがしばしばあることを示す, 広範な数値シミュレーションを提供する。
提案手法は, 標準バックプロパゲーション法に比べ, テスト精度が大幅に向上した。
関連論文リスト
- The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳（メタデータ） (2023-12-19T23:04:56Z) - Optimal Sets and Solution Paths of ReLU Networks [56.40911684005949]
最適なReLUネットワークの集合を特徴付ける分析フレームワークを開発した。
我々は、ReLUネットワークのニューラル化を継続する条件を確立し、ReLUネットワークに対する感度結果を開発する。
論文 参考訳（メタデータ） (2023-05-31T18:48:16Z) - Acceleration techniques for optimization over trained neural network
ensembles [1.0323063834827415]
本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。
本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
論文 参考訳（メタデータ） (2021-12-13T20:50:54Z) - Path Regularization: A Convexity and Sparsity Inducing Regularization
for Parallel ReLU Networks [75.33431791218302]
本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。
我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
論文 参考訳（メタデータ） (2021-10-18T18:00:36Z) - Global Optimality Beyond Two Layers: Training Deep ReLU Networks via
Convex Programs [39.799125462526234]
我々は凸最適化のレンズを通して隠れ正規化機構を明らかにするための新しい統一フレームワークを開発した。
我々は、合成データセットと実データセットの両方を含む実験を通して、理論的結果を数値的に検証する。
論文 参考訳（メタデータ） (2021-10-11T18:00:30Z) - Vector-output ReLU Neural Network Problems are Copositive Programs:
Convex Analysis of Two Layer Networks and Polynomial-time Algorithms [29.975118690758126]
2層ベクトル無限ReLUニューラルネットワークトレーニング問題の半出力グローバル双対について述べる。
特定の問題のクラスに対して正確であることが保証されるソリューションを提供する。
論文 参考訳（メタデータ） (2020-12-24T17:03:30Z) - Implicit Convex Regularizers of CNN Architectures: Convex Optimization
of Two- and Three-Layer Networks in Polynomial Time [70.15611146583068]
本稿では,ReLUアクティベーションを用いた畳み込みニューラルネットワーク(CNN)のトレーニングについて検討する。
我々は,データサンプル数,ニューロン数,データ次元に関して,厳密な凸最適化を導入する。
論文 参考訳（メタデータ） (2020-06-26T04:47:20Z) - The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural
Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。
我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
論文 参考訳（メタデータ） (2020-06-10T15:38:30Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。