論文の概要: The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions

• arxiv url: http://arxiv.org/abs/2006.05900v4
• Date: Sun, 13 Mar 2022 18:23:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 04:38:53.856342
• Title: The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions
• Title（参考訳）: 2層ReLUニューラルネットワークの隠れ凸最適化景観:最適解の具体的評価
• Authors: Yifei Wang, Jonathan Lacotte and Mert Pilanci
• Abstract要約: コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。 我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
• 参考スコア（独自算出の注目度）: 51.60996023961886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We prove that finding all globally optimal two-layer ReLU neural networks can be performed by solving a convex optimization program with cone constraints. Our analysis is novel, characterizes all optimal solutions, and does not leverage duality-based analysis which was recently used to lift neural network training into convex spaces. Given the set of solutions of our convex optimization program, we show how to construct exactly the entire set of optimal neural networks. We provide a detailed characterization of this optimal set and its invariant transformations. As additional consequences of our convex perspective, (i) we establish that Clarke stationary points found by stochastic gradient descent correspond to the global optimum of a subsampled convex problem (ii) we provide a polynomial-time algorithm for checking if a neural network is a global minimum of the training loss (iii) we provide an explicit construction of a continuous path between any neural network and the global minimum of its sublevel set and (iv) characterize the minimal size of the hidden layer so that the neural network optimization landscape has no spurious valleys. Overall, we provide a rich framework for studying the landscape of neural network training loss through convexity.
• Abstract（参考訳）: コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。 我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。 凸最適化プログラムの解の集合を考えると、最適なニューラルネットワークのセット全体を正確に構築する方法を示します。 この最適集合とその不変変換の詳細な特徴付けを提供する。 凸の視点のさらなる結果として (i)確率的勾配降下によって発見されたクラーク定常点が、サブサンプル凸問題の大域的最適性に対応することを立証する。 (ii)ニューラルネットワークがトレーニング損失のグローバル最小であるかどうかをチェックする多項式時間アルゴリズムを提供する。 (iii)任意のニューラルネットワークとそのサブレベル集合のグローバル最小値の間の連続経路を明示的に構成する。 (iv)隠れた層の最小サイズを特徴付け、ニューラルネットワーク最適化のランドスケープはスプリアスな谷を持たない。 全体として、凸性によるニューラルネットワークトレーニング損失の展望を研究するための豊富なフレームワークを提供する。

関連論文リスト

• Exploring the loss landscape of regularized neural networks via convex duality [42.48510370193192]
  本稿では,正規化ニューラルネットワークのロスランドスケープのいくつかの側面について論じる。 まず、その双対を用いて凸問題の解集合を特徴づけ、さらに全ての定常点を特徴づける。 ソリューションセットの特徴付けと接続結果は、異なるアーキテクチャに拡張可能であることを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:41:38Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Does a sparse ReLU network training problem always admit an optimum? [0.0]
  最適解の存在は、特にスパースReLUニューラルネットワークの文脈において、必ずしも保証されないことを示す。 特に,特定の疎度パターンを持つディープネットワークにおける最適化問題は,必ずしも最適パラメータを持つとは限らないことを示す。
  論文  参考訳（メタデータ） (2023-06-05T08:01:50Z)
• Optimal Sets and Solution Paths of ReLU Networks [56.40911684005949]
  最適なReLUネットワークの集合を特徴付ける分析フレームワークを開発した。 我々は、ReLUネットワークのニューラル化を継続する条件を確立し、ReLUネットワークに対する感度結果を開発する。
  論文  参考訳（メタデータ） (2023-05-31T18:48:16Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization of Polynomial Activation Neural Networks in Fully Polynomial-Time [31.94590517036704]
  2次活性化を持つ2層数値ネットワークの完全凸最適化定式化を考案する。 本研究では,全入力データの複雑度とサンプルサイズが半定常的なニューラル・グローバル最適化であることを示した。 提案手法は, 標準バックプロパゲーション法に比べ, テスト精度が大幅に向上した。
  論文  参考訳（メタデータ） (2021-01-07T08:43:01Z)
• A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks [23.038631072178735]
  我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。 その結果、ニューラルネットワークの収束挙動を利用することができる。 このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
  論文  参考訳（メタデータ） (2020-10-25T17:10:22Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。