論文の概要: AskewSGD : An Annealed interval-constrained Optimisation method to train
Quantized Neural Networks
- arxiv url: http://arxiv.org/abs/2211.03741v1
- Date: Mon, 7 Nov 2022 18:13:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 16:11:04.014832
- Title: AskewSGD : An Annealed interval-constrained Optimisation method to train
Quantized Neural Networks
- Title(参考訳): AskewSGD : 量子ニューラルネットワークの訓練のためのアニール付き間隔制約最適化法
- Authors: Louis Leconte, Sholom Schechtman, Eric Moulines
- Abstract要約: 我々は、深層ニューラルネットワーク(DNN)を量子化重みでトレーニングするための新しいアルゴリズム、Annealed Skewed SGD - AskewSGDを開発した。
アクティブなセットと実行可能な方向を持つアルゴリズムとは異なり、AskewSGDは実行可能な全セットの下でのプロジェクションや最適化を避けている。
実験結果から,AskewSGDアルゴリズムは古典的ベンチマークの手法と同等以上の性能を示した。
- 参考スコア(独自算出の注目度): 12.229154524476405
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we develop a new algorithm, Annealed Skewed SGD - AskewSGD -
for training deep neural networks (DNNs) with quantized weights. First, we
formulate the training of quantized neural networks (QNNs) as a smoothed
sequence of interval-constrained optimization problems. Then, we propose a new
first-order stochastic method, AskewSGD, to solve each constrained optimization
subproblem. Unlike algorithms with active sets and feasible directions,
AskewSGD avoids projections or optimization under the entire feasible set and
allows iterates that are infeasible. The numerical complexity of AskewSGD is
comparable to existing approaches for training QNNs, such as the
straight-through gradient estimator used in BinaryConnect, or other state of
the art methods (ProxQuant, LUQ). We establish convergence guarantees for
AskewSGD (under general assumptions for the objective function). Experimental
results show that the AskewSGD algorithm performs better than or on par with
state of the art methods in classical benchmarks.
- Abstract(参考訳): 本稿では,量子化重み付き深層ニューラルネットワーク(dnn)を訓練するための新しいアルゴリズムである annealed strained sgd - askewsgd を開発した。
まず、間隔制約のある最適化問題のスムーズなシーケンスとして量子ニューラルネットワーク(QNN)のトレーニングを定式化する。
次に,制約付き最適化部分問題を解くための新しい一階確率法askewsgdを提案する。
アクティブな集合と実行可能な方向を持つアルゴリズムとは異なり、askewsgdは実行可能集合全体の射影や最適化を避け、実現不可能なイテレートを可能にする。
AskewSGDの数値複雑性は、BinaryConnectで使用されるストレートスルー勾配推定器(ProxQuant, LUQ)など、QNNをトレーニングするための既存のアプローチに匹敵する。
AskewSGD に対する収束保証を確立する(目的関数の一般仮定の下で)。
実験の結果,askewsgdアルゴリズムは,古典的ベンチマークにおけるart法と同等か同等の性能を示すことがわかった。
関連論文リスト
- Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。
本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
論文 参考訳(メタデータ) (2024-06-06T23:19:57Z) - The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳(メタデータ) (2023-12-19T23:04:56Z) - Unfolded proximal neural networks for robust image Gaussian denoising [7.018591019975253]
本稿では,二元FBと二元Chambolle-Pockアルゴリズムの両方に基づいて,ガウス分母タスクのためのPNNを統一的に構築するフレームワークを提案する。
また、これらのアルゴリズムの高速化により、関連するNN層におけるスキップ接続が可能であることを示す。
論文 参考訳(メタデータ) (2023-08-06T15:32:16Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - An Inexact Augmented Lagrangian Algorithm for Training Leaky ReLU Neural
Network with Group Sparsity [13.27709100571336]
近年,グループ正規化期間を持つリーク型ReLUネットワークが広く利用されている。
定常点を決定論的に計算する手法が存在しないことを示す。
本稿では,新しいモデルを解くための不正確な拡張ラグランジアンアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-11T11:53:15Z) - Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex
Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。
我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。
我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文 参考訳(メタデータ) (2021-06-08T15:54:44Z) - A Dynamical View on Optimization Algorithms of Overparameterized Neural
Networks [23.038631072178735]
我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。
その結果、ニューラルネットワークの収束挙動を利用することができる。
このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
論文 参考訳(メタデータ) (2020-10-25T17:10:22Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳(メタデータ) (2020-06-15T02:57:57Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2020-05-05T18:08:23Z) - Deep Neural Network Learning with Second-Order Optimizers -- a Practical
Study with a Stochastic Quasi-Gauss-Newton Method [0.0]
本稿では,準ニュートン法,ガウスニュートン法,分散還元法を併用した2次準ニュートン最適化法を提案する。
ベンチマークによるSQGNの実装について検討し、その収束性と計算性能を選択された一階法と比較する。
論文 参考訳(メタデータ) (2020-04-06T23:41:41Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳(メタデータ) (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。