Fugu-MT 論文翻訳(概要): A Bregman Learning Framework for Sparse Neural Networks

論文の概要: A Bregman Learning Framework for Sparse Neural Networks

arxiv url: http://arxiv.org/abs/2105.04319v1
Date: Mon, 10 May 2021 12:56:01 GMT
ステータス: 処理完了
システム内更新日: 2021-05-11 14:23:01.490624
Title: A Bregman Learning Framework for Sparse Neural Networks
Title（参考訳）: スパースニューラルネットワークのためのBregman学習フレームワーク
Authors: Leon Bungert, Tim Roith, Daniel Tenbrinck, Martin Burger
Abstract要約: Bregmanの反復に基づく学習フレームワークを提案し、スパースニューラルネットワークを訓練する。我々は、運動量を用いた加速版であるLinBregと、AdamアルゴリズムのBregmanized GeneralizationであるAdaBregというベースラインアルゴリズムを導出する。
参考スコア（独自算出の注目度）: 1.7778609937758323
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a learning framework based on stochastic Bregman iterations to train sparse neural networks with an inverse scale space approach. We derive a baseline algorithm called LinBreg, an accelerated version using momentum, and AdaBreg, which is a Bregmanized generalization of the Adam algorithm. In contrast to established methods for sparse training the proposed family of algorithms constitutes a regrowth strategy for neural networks that is solely optimization-based without additional heuristics. Our Bregman learning framework starts the training with very few initial parameters, successively adding only significant ones to obtain a sparse and expressive network. The proposed approach is extremely easy and efficient, yet supported by the rich mathematical theory of inverse scale space methods. We derive a statistically profound sparse parameter initialization strategy and provide a rigorous stochastic convergence analysis of the loss decay and additional convergence proofs in the convex regime. Using only 3.4% of the parameters of ResNet-18 we achieve 90.2% test accuracy on CIFAR-10, compared to 93.6% using the dense network. Our algorithm also unveils an autoencoder architecture for a denoising task. The proposed framework also has a huge potential for integrating sparse backpropagation and resource-friendly training.
Abstract（参考訳）: 逆スケール空間アプローチを用いてスパースニューラルネットワークを学習するための確率論的ブレグマン反復に基づく学習フレームワークを提案する。我々は、モーメントを用いた高速化版であるLinBregと、Adamアルゴリズムのブレグマン一般化であるAdaBregというベースラインアルゴリズムを導出する。スパーストレーニングの確立された方法とは対照的に、提案されたアルゴリズム群は、追加のヒューリスティックを伴わない最適化に基づくニューラルネットワークの再成長戦略を構成する。私たちのBregman学習フレームワークは、ごく少数の初期パラメータでトレーニングを開始し、スパースで表現力のあるネットワークを得るために、重要なパラメータのみを連続的に追加します。提案手法は非常に簡単で効率的であるが、逆スケール空間法(英語版)のリッチな数学的理論によって支持されている。統計的に深いスパースパラメータの初期化戦略を導出し、損失減衰の厳密な確率収束解析と凸系における追加収束証明を提供する。 ResNet-18のパラメータの3.4%しか使用せず、CIFAR-10で90.2%の精度を達成した。提案アルゴリズムは,雑音処理のためのオートエンコーダアーキテクチャも提示する。提案フレームワークはまた、スパースバックプロパゲーションとリソースフレンドリなトレーニングを統合する大きな可能性を持っている。

関連論文リスト

Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
論文参考訳（メタデータ） (2024-11-14T02:00:22Z)
Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文参考訳（メタデータ） (2023-05-24T17:26:22Z)
The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文参考訳（メタデータ） (2023-03-17T02:01:11Z)
On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee [21.818773423324235]
本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
論文参考訳（メタデータ） (2023-03-13T02:14:42Z)
Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
論文参考訳（メタデータ） (2022-10-12T06:49:16Z)
Robust Learning of Parsimonious Deep Neural Networks [0.0]
本稿では,ニューラルネットワークにおける無関係構造を識別・排除できる同時学習および刈り取りアルゴリズムを提案する。最適選択に欠かせないパラメータに対して,新しい超優先度分布を導出する。我々は,提案アルゴリズムをMNISTデータセット上で評価し,完全連結型および畳み込み型LeNetアーキテクチャを用いた。
論文参考訳（メタデータ） (2022-05-10T03:38:55Z)
Algorithms for Efficiently Learning Low-Rank Neural Networks [12.916132936159713]
低ランクニューラルネットワークの学習アルゴリズムについて検討する。単層ReLUネットワークに最適な低ランク近似を学習するアルゴリズムを提案する。低ランク$textitdeep$ネットワークをトレーニングするための新しい低ランクフレームワークを提案する。
論文参考訳（メタデータ） (2022-02-02T01:08:29Z)
Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
論文参考訳（メタデータ） (2021-04-14T09:22:42Z)
GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文参考訳（メタデータ） (2021-02-16T11:45:35Z)
Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
論文参考訳（メタデータ） (2020-08-21T19:35:54Z)
Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。