論文の概要: A Convergent ADMM Framework for Efficient Neural Network Training
- arxiv url: http://arxiv.org/abs/2112.11619v1
- Date: Wed, 22 Dec 2021 01:55:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-23 15:37:03.033620
- Title: A Convergent ADMM Framework for Efficient Neural Network Training
- Title（参考訳）: 効率的なニューラルネットワークトレーニングのための収束型admmフレームワーク
- Authors: Junxiang Wang, Hongyi Li, Liang Zhao
- Abstract要約: 乗算器の交互方向法(ADMM)は多くの分類と回帰の応用において大きな成功を収めた。
本稿では,ADMM (dlADMM) を用いてニューラルネットワークの一般的なトレーニング問題を同時に解くための新しい枠組みを提案する。
提案したdlADMMアルゴリズムの収束, 効率, 有効性を示す7つのベンチマークデータセットの実験を行った。
- 参考スコア（独自算出の注目度）: 17.764095204676973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a well-known optimization framework, the Alternating Direction Method of
Multipliers (ADMM) has achieved tremendous success in many classification and
regression applications. Recently, it has attracted the attention of deep
learning researchers and is considered to be a potential substitute to Gradient
Descent (GD). However, as an emerging domain, several challenges remain
unsolved, including 1) The lack of global convergence guarantees, 2) Slow
convergence towards solutions, and 3) Cubic time complexity with regard to
feature dimensions. In this paper, we propose a novel optimization framework to
solve a general neural network training problem via ADMM (dlADMM) to address
these challenges simultaneously. Specifically, the parameters in each layer are
updated backward and then forward so that parameter information in each layer
is exchanged efficiently. When the dlADMM is applied to specific architectures,
the time complexity of subproblems is reduced from cubic to quadratic via a
dedicated algorithm design utilizing quadratic approximations and backtracking
techniques. Last but not least, we provide the first proof of convergence to a
critical point sublinearly for an ADMM-type method (dlADMM) under mild
conditions. Experiments on seven benchmark datasets demonstrate the
convergence, efficiency, and effectiveness of our proposed dlADMM algorithm.
- Abstract（参考訳）: 良く知られた最適化フレームワークとして、ALMM (Alternating Direction Method of Multipliers) が多くの分類および回帰アプリケーションで大きな成功を収めている。
近年、深層学習研究者の関心を惹きつけ、グラディエント・Descent(GD)に取って代わる可能性があると考えられている。
しかし、新興領域としての課題は未解決のままである。
1)グローバル収束保証の欠如
2)解に対する緩やかな収束、及び
3) 特徴量に関する立方体時間の複雑さ。
本稿では,ADMM(dlADMM)を用いてニューラルネットワークの一般的なトレーニング問題を同時に解くための新しい最適化フレームワークを提案する。
具体的には、各層内のパラメータ情報を効率的に交換できるように、各層内のパラメータを前後に更新する。
dladmmを特定のアーキテクチャに適用すると、二次近似とバックトラック技術を利用した専用アルゴリズム設計により、サブプロブレムの時間複雑性が立方体から二次に減少する。
最後に,ADMM型法(dlADMM)の臨界点への収束の第一の証明を軽度条件下で提供する。
提案したdlADMMアルゴリズムの収束, 効率, 有効性を示す7つのベンチマークデータセットの実験を行った。
関連論文リスト
- LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。
このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
論文 参考訳（メタデータ） (2024-10-03T18:12:29Z) - A unified consensus-based parallel ADMM algorithm for high-dimensional
regression with combined regularizations [3.280169909938912]
並列交互乗算器 (ADMM) は大規模分散データセットの処理に有効であることが広く認識されている。
提案アルゴリズムは,財務事例の信頼性,安定性,スケーラビリティを示す。
論文 参考訳（メタデータ） (2023-11-21T03:30:38Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Efficient differentiable quadratic programming layers: an ADMM approach [0.0]
乗算器の交互方向法(ADMM)に基づく代替ネットワーク層アーキテクチャを提案する。
後方微分は、修正された固定点反復の残差写像の暗黙の微分によって行われる。
シミュレーションの結果は、中規模の問題に対してOptNet二次プログラミング層よりも約1桁高速であるADMM層の計算上の利点を示している。
論文 参考訳（メタデータ） (2021-12-14T15:25:07Z) - Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex
Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。
我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。
我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文 参考訳（メタデータ） (2021-06-08T15:54:44Z) - Distributed Optimization, Averaging via ADMM, and Network Topology [0.0]
センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係について検討する。
また、ADMMと持ち上げマルコフ連鎖の間の興味深い関係を示すとともに、その収束を明示的に特徴づける。
論文 参考訳（メタデータ） (2020-09-05T21:44:39Z) - Faster Stochastic Alternating Direction Method of Multipliers for
Nonconvex Optimization [110.52708815647613]
本稿では、SPADMMと呼ばれる新しい経路を用いて、非積分最適化のための乗算器の高速な交互方向(ADMM)を提案する。
我々は,SPADMMが1次微分オラクル推定器 (IFO) を達成し,IFOの記録を求める。
我々は,オンラインSPIDER-ADMMがIFOFO(epsilon)を$mathcalO(n1)$の係数で持つことを示した。
論文 参考訳（メタデータ） (2020-08-04T02:59:42Z) - Deep unfolding of the weighted MMSE beamforming algorithm [9.518010235273783]
MISOダウンリンクチャネルに対するWMMSEアルゴリズムに対する深部展開の新たな適用法を提案する。
深層展開は、自然に専門家の知識を取り入れており、即時かつしっかりとしたアーキテクチャ選択の利点、トレーニング可能なパラメータの少ないこと、説明可能性の向上がある。
シミュレーションにより、ほとんどの設定において、展開されたWMMSEは、一定回数の反復に対して、WMMSEよりも優れているか、等しく動作することを示す。
論文 参考訳（メタデータ） (2020-06-15T14:51:20Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳（メタデータ） (2020-06-15T02:57:57Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。