論文の概要: Efficient Global Optimization of Two-layer ReLU Networks: Quadratic-time
Algorithms and Adversarial Training
- arxiv url: http://arxiv.org/abs/2201.01965v1
- Date: Thu, 6 Jan 2022 08:24:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-07 15:16:21.328552
- Title: Efficient Global Optimization of Two-layer ReLU Networks: Quadratic-time
Algorithms and Adversarial Training
- Title（参考訳）: 2層ReLUネットワークの効率的なグローバル最適化:二次時間アルゴリズムと逆学習
- Authors: Yatong Bai, Tanmay Gautam, Somayeh Sojoudi
- Abstract要約: 我々は,ANNをグローバル収束保証で訓練する2つの効率的なアルゴリズムを開発した。
最初のアルゴリズムは交互法乗算器(ADMM)に基づいている
第二のアルゴリズムは、"sampled convex program"理論に基づいており、実装が簡単である。
- 参考スコア（独自算出の注目度）: 12.354076490479516
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The non-convexity of the artificial neural network (ANN) training landscape
brings inherent optimization difficulties. While the traditional
back-propagation stochastic gradient descent (SGD) algorithm and its variants
are effective in certain cases, they can become stuck at spurious local minima
and are sensitive to initializations and hyperparameters. Recent work has shown
that the training of an ANN with ReLU activations can be reformulated as a
convex program, bringing hope to globally optimizing interpretable ANNs.
However, naively solving the convex training formulation has an exponential
complexity, and even an approximation heuristic requires cubic time. In this
work, we characterize the quality of this approximation and develop two
efficient algorithms that train ANNs with global convergence guarantees. The
first algorithm is based on the alternating direction method of multiplier
(ADMM). It solves both the exact convex formulation and the approximate
counterpart. Linear global convergence is achieved, and the initial several
iterations often yield a solution with high prediction accuracy. When solving
the approximate formulation, the per-iteration time complexity is quadratic.
The second algorithm, based on the "sampled convex programs" theory, is simpler
to implement. It solves unconstrained convex formulations and converges to an
approximately globally optimal classifier. The non-convexity of the ANN
training landscape exacerbates when adversarial training is considered. We
apply the robust convex optimization theory to convex training and develop
convex formulations that train ANNs robust to adversarial inputs. Our analysis
explicitly focuses on one-hidden-layer fully connected ANNs, but can extend to
more sophisticated architectures.
- Abstract（参考訳）: ニューラルネットワーク(ann)トレーニング環境の非凸性は、本質的に最適化の困難をもたらす。
従来のバックプロパゲーション確率勾配勾配法(SGD)アルゴリズムとその変種は、一部のケースでは有効であるが、急激な局所最小値で立ち往生し、初期化やハイパーパラメータに敏感である。
近年の研究では、ReLUアクティベーションを備えたANNのトレーニングが凸プログラムとして再編成され、解釈可能なANNのグローバルな最適化が期待されている。
しかし、凸トレーニングの定式化は指数関数的に複雑であり、近似ヒューリスティックでさえ3次時間を必要とする。
本研究では,この近似の質を特徴付け,ANNをグローバル収束保証で訓練する2つの効率的なアルゴリズムを開発する。
第1のアルゴリズムは乗算器の交互方向法(ADMM)に基づいている。
正確な凸定式化と近似近似式の両方を解く。
線形大域収束は達成され、最初の数回の反復は高い予測精度の解をもたらす。
近似定式化を解くとき、文毎の時間複雑性は二次的である。
第2のアルゴリズムは、"sampled convex programs"理論に基づくもので、実装が容易である。
制約のない凸の定式化を解き、大まかに最適な分類器に収束する。
annトレーニングランドスケープの非凸性は、敵対的なトレーニングを考えると悪化する。
我々は,ロバスト凸最適化理論を凸トレーニングに適用し,逆入力にロバストな ann を訓練する凸定式法を開発した。
分析は一層完全連結のanに明示的に焦点を当てるが、より洗練されたアーキテクチャに拡張できる。
関連論文リスト
- Faster Adaptive Decentralized Learning Algorithms [24.379734053137597]
適応学習と有限サム最適化のための高速分散非分散アルゴリズム(AdaMDOSとAdaMDOF)のクラスを提案する。
いくつかの実験結果から,アルゴリズムの有効性が示された。
論文 参考訳（メタデータ） (2024-08-19T08:05:33Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - An Inexact Augmented Lagrangian Algorithm for Training Leaky ReLU Neural
Network with Group Sparsity [13.27709100571336]
近年,グループ正規化期間を持つリーク型ReLUネットワークが広く利用されている。
定常点を決定論的に計算する手法が存在しないことを示す。
本稿では,新しいモデルを解くための不正確な拡張ラグランジアンアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-11T11:53:15Z) - Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model
Classes and Cone Decompositions [41.337814204665364]
ReLUアクティベーション機能を持つ2層ニューラルネットワークの凸最適化アルゴリズムを開発した。
凸ゲート型ReLUモデルでは,ReLUトレーニング問題に対するデータ依存の近似バウンダリが得られることを示す。
論文 参考訳（メタデータ） (2022-02-02T23:50:53Z) - Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex
Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。
我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。
我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文 参考訳（メタデータ） (2021-06-08T15:54:44Z) - Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization
of Polynomial Activation Neural Networks in Fully Polynomial-Time [31.94590517036704]
2次活性化を持つ2層数値ネットワークの完全凸最適化定式化を考案する。
本研究では,全入力データの複雑度とサンプルサイズが半定常的なニューラル・グローバル最適化であることを示した。
提案手法は, 標準バックプロパゲーション法に比べ, テスト精度が大幅に向上した。
論文 参考訳（メタデータ） (2021-01-07T08:43:01Z) - Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth
Nonlinear TD Learning [145.54544979467872]
本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。
本研究の結果は, 同時一次および二重側収束の形で表される。
論文 参考訳（メタデータ） (2020-08-23T20:36:49Z) - The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural
Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。
我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
論文 参考訳（メタデータ） (2020-06-10T15:38:30Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳（メタデータ） (2020-02-04T20:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。