論文の概要: An Analysis of Alternating Direction Method of Multipliers for
Feed-forward Neural Networks
- arxiv url: http://arxiv.org/abs/2009.02825v1
- Date: Sun, 6 Sep 2020 22:13:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 08:04:21.128319
- Title: An Analysis of Alternating Direction Method of Multipliers for
Feed-forward Neural Networks
- Title（参考訳）: フィードフォワードニューラルネットワークにおける乗算器の交互方向法の解析
- Authors: Seyedeh Niusha Alavi Foumani, Ce Guo, Wayne Luk
- Abstract要約: このアプローチの背後にある動機は、スケーラブルで並列化可能なニューラルネットワークのトレーニング方法を実行することにある。
我々はそれぞれSGDとAdamと比較して6.9%と6.8%の精度を達成した。
- 参考スコア（独自算出の注目度）: 2.8747398859585376
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we present a hardware compatible neural network training
algorithm in which we used alternating direction method of multipliers (ADMM)
and iterative least-square methods. The motive behind this approach was to
conduct a method of training neural networks that is scalable and can be
parallelised. These characteristics make this algorithm suitable for hardware
implementation. We have achieved 6.9\% and 6.8\% better accuracy comparing to
SGD and Adam respectively, with a four-layer neural network with hidden size of
28 on HIGGS dataset. Likewise, we could observe 21.0\% and 2.2\% accuracy
improvement comparing to SGD and Adam respectively, on IRIS dataset with a
three-layer neural network with hidden size of 8. This is while the use of
matrix inversion, which is challenging for hardware implementation, is avoided
in this method. We assessed the impact of avoiding matrix inversion on ADMM
accuracy and we observed that we can safely replace matrix inversion with
iterative least-square methods and maintain the desired performance. Also, the
computational complexity of the implemented method is polynomial regarding
dimensions of the input dataset and hidden size of the network.
- Abstract（参考訳）: 本研究では,乗算器の交互方向法(ADMM)と反復最小二乗法を用いて,ハードウェア互換のニューラルネットワークトレーニングアルゴリズムを提案する。
このアプローチの背後にある動機は、スケーラブルで並列化可能なニューラルネットワークのトレーニング方法を実行することだ。
これらの特徴により、このアルゴリズムはハードウェアの実装に適している。
higgsデータセット上では,隠れサイズ28の4層ニューラルネットワークを用いて,sgdとadamと比較して6.9\%,6.8\%の精度をそれぞれ達成した。
同様に、SGDとAdamと比較して21.0\%と2.2\%の精度改善を、隠れたサイズ8の3層ニューラルネットワークでIRISデータセットで観測することができる。
これは、ハードウェア実装において困難である行列反転(matrix inversion)の使用は、この方法では避けられている。
我々は,行列逆転がADMM精度に与える影響を評価し,行列逆転を最小二乗法に安全に置き換えて,所望の性能を維持することができることを示した。
また,提案手法の計算複雑性は,入力データセットの次元とネットワークの隠れサイズに関する多項式である。
関連論文リスト
- Two Sparse Matrices are Better than One: Sparsifying Neural Networks with Double Sparse Factorization [0.0]
重み行列を2つのスパース行列に分解するDouble Sparse Factorization(DSF)を提案する。
提案手法は最先端の結果を達成し,従来のニューラルネットワークのスペーサー化を可能にした。
論文 参考訳（メタデータ） (2024-09-27T15:48:39Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - Layer-wise Adaptive Step-Sizes for Stochastic First-Order Methods for
Deep Learning [8.173034693197351]
深層学習における一階最適化のための新しい階層ごとの適応的なステップサイズ手順を提案する。
提案手法は,ディープニューラルネットワーク(DNN)におけるヘシアン対角ブロックに含まれる層次曲率情報を用いて,各層に対する適応的なステップサイズ(LR)を算出する。
数値実験により、SGDの運動量とAdamWと、提案した層ごとのステップサイズを組み合わせることで、効率的なLRスケジュールを選択できることが示されている。
論文 参考訳（メタデータ） (2023-05-23T04:12:55Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-06T13:18:31Z) - Revisiting Recursive Least Squares for Training Deep Neural Networks [10.44340837533087]
再帰最小二乗法(RLS)アルゴリズムは、その高速収束のため、かつては小規模ニューラルネットワークのトレーニングに広く用いられていた。
従来のRSSアルゴリズムは、計算複雑性が高く、事前条件が多すぎるため、ディープニューラルネットワーク(DNN)のトレーニングには適さない。
本稿では,フィードフォワードニューラルネットワーク,畳み込みニューラルネットワーク,リカレントニューラルネットワークの3つの新しいRSS最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-07T17:43:51Z) - Adam in Private: Secure and Fast Training of Deep Neural Networks with
Adaptive Moment Estimation [6.342794803074475]
本稿では,最先端の機械学習アルゴリズムを効率的に評価するフレームワークを提案する。
これは、MLアルゴリズムを「MPCフレンドリ」な変種に置き換える以前のほとんどの作業とは対照的である。
我々は、最先端のサードパーティシステムより優れたセキュアなトレーニングを得る。
論文 参考訳（メタデータ） (2021-06-04T01:40:09Z) - Partitioning sparse deep neural networks for scalable training and
inference [8.282177703075453]
最先端のディープニューラルネットワーク(DNN)には、計算とデータ管理の大幅な要件がある。
スパシフィケーション法とプルーニング法は,DNNの大量の接続を除去するのに有効であることが示されている。
その結果得られたスパースネットワークは、ディープラーニングにおけるトレーニングと推論の計算効率をさらに向上するためのユニークな課題を提示する。
論文 参考訳（メタデータ） (2021-04-23T20:05:52Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Exploiting Adam-like Optimization Algorithms to Improve the Performance
of Convolutional Neural Networks [82.61182037130405]
勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。
本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。
resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
論文 参考訳（メタデータ） (2021-03-26T18:55:08Z) - MOPS-Net: A Matrix Optimization-driven Network forTask-Oriented 3D Point
Cloud Downsampling [86.42733428762513]
MOPS-Netは行列最適化のための新しい解釈可能な深層学習手法である。
我々はMOPS-Netが様々なタスクに対して最先端の深層学習手法に対して好適な性能が得られることを示す。
論文 参考訳（メタデータ） (2020-05-01T14:01:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。