論文の概要: Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model Classes and Cone Decompositions

• arxiv url: http://arxiv.org/abs/2202.01331v1
• Date: Wed, 2 Feb 2022 23:50:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-04 14:22:10.900745
• Title: Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model Classes and Cone Decompositions
• Title（参考訳）: 2層ReLUネットワークの高速凸最適化:等価モデルクラスとコーン分解
• Authors: Aaron Mishkin, Arda Sahiner, Mert Pilanci
• Abstract要約: ReLUアクティベーション機能を持つ2層ニューラルネットワークの凸最適化アルゴリズムを開発した。 凸ゲート型ReLUモデルでは,ReLUトレーニング問題に対するデータ依存の近似バウンダリが得られることを示す。
• 参考スコア（独自算出の注目度）: 41.337814204665364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop fast algorithms and robust software for convex optimization of two-layer neural networks with ReLU activation functions. Our work leverages a convex reformulation of the standard weight-decay penalized training problem as a set of group-$\ell_1$-regularized data-local models, where locality is enforced by polyhedral cone constraints. In the special case of zero-regularization, we show that this problem is exactly equivalent to unconstrained optimization of a convex "gated ReLU" network. For problems with non-zero regularization, we show that convex gated ReLU models obtain data-dependent approximation bounds for the ReLU training problem. To optimize the convex reformulations, we develop an accelerated proximal gradient method and a practical augmented Lagrangian solver. We show that these approaches are faster than standard training heuristics for the non-convex problem, such as SGD, and outperform commercial interior-point solvers. Experimentally, we verify our theoretical results, explore the group-$\ell_1$ regularization path, and scale convex optimization for neural networks to image classification on MNIST and CIFAR-10.
• Abstract（参考訳）: ReLUアクティベーション機能を持つ2層ニューラルネットワークの凸最適化のための高速アルゴリズムとロバストソフトウェアを開発した。 本研究は,多面体錐制約により局所性が強制される群-$\ell_1$-regularized data-localモデルとして,標準重み付きペナルティ化訓練問題の凸再構成を利用する。 零正則化の特別な場合において、この問題は凸「ゲートReLU」ネットワークの非制約最適化と全く同じであることを示す。 非ゼロ正則化の問題に対して、凸ゲートReLUモデルがReLUトレーニング問題に対するデータ依存近似境界を得ることを示す。 凸修正を最適化するために,高速化された近位勾配法と実用的な拡張ラグランジアン解法を開発した。 これらのアプローチはsgdのような非凸問題に対する標準的なトレーニングヒューリスティックよりも高速であり、商用の内点ソルバよりも優れることを示している。 実験により,MNISTとCIFAR-10の画像分類のためのニューラルネットワークの群$$\ell_1$正規化パス,スケール凸最適化について検証した。

関連論文リスト

• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Optimal Sets and Solution Paths of ReLU Networks [56.40911684005949]
  最適なReLUネットワークの集合を特徴付ける分析フレームワークを開発した。 我々は、ReLUネットワークのニューラル化を継続する条件を確立し、ReLUネットワークに対する感度結果を開発する。
  論文  参考訳（メタデータ） (2023-05-31T18:48:16Z)
• An Inexact Augmented Lagrangian Algorithm for Training Leaky ReLU Neural Network with Group Sparsity [13.27709100571336]
  近年,グループ正規化期間を持つリーク型ReLUネットワークが広く利用されている。 定常点を決定論的に計算する手法が存在しないことを示す。 本稿では,新しいモデルを解くための不正確な拡張ラグランジアンアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-11T11:53:15Z)
• Efficient Global Optimization of Two-layer ReLU Networks: Quadratic-time Algorithms and Adversarial Training [12.354076490479516]
  我々は,ANNをグローバル収束保証で訓練する2つの効率的なアルゴリズムを開発した。 最初のアルゴリズムは交互法乗算器(ADMM)に基づいている 第二のアルゴリズムは、"sampled convex program"理論に基づいており、実装が簡単である。
  論文  参考訳（メタデータ） (2022-01-06T08:24:11Z)
• Global Optimality Beyond Two Layers: Training Deep ReLU Networks via Convex Programs [39.799125462526234]
  我々は凸最適化のレンズを通して隠れ正規化機構を明らかにするための新しい統一フレームワークを開発した。 我々は、合成データセットと実データセットの両方を含む実験を通して、理論的結果を数値的に検証する。
  論文  参考訳（メタデータ） (2021-10-11T18:00:30Z)
• The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
  コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。 我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
  論文  参考訳（メタデータ） (2020-06-10T15:38:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。