Fugu-MT 論文翻訳(概要): A Simple and Efficient Stochastic Rounding Method for Training Neural Networks in Low Precision

論文の概要: A Simple and Efficient Stochastic Rounding Method for Training Neural Networks in Low Precision

arxiv url: http://arxiv.org/abs/2103.13445v1
Date: Wed, 24 Mar 2021 18:47:03 GMT
ステータス: 処理完了
システム内更新日: 2021-03-26 13:33:17.427812
Title: A Simple and Efficient Stochastic Rounding Method for Training Neural Networks in Low Precision
Title（参考訳）: 低精度ニューラルネットワーク学習のための簡易かつ効率的な確率的ラウンドリング法
Authors: Lu Xia, Martijn Anthonissen, Michiel Hochstenbach and Barry Koren
Abstract要約: ニューラルネットワーク(NN)のトレーニングにおいて,従来型ラウンドリング(CSR)が広く用いられている本稿では, 簡易かつ効率的な丸め方式を提案する。提案手法は16ビット固定点数によるnnの訓練に成功している。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Conventional stochastic rounding (CSR) is widely employed in the training of neural networks (NNs), showing promising training results even in low-precision computations. We introduce an improved stochastic rounding method, that is simple and efficient. The proposed method succeeds in training NNs with 16-bit fixed-point numbers and provides faster convergence and higher classification accuracy than both CSR and deterministic rounding-to-the-nearest method.
Abstract（参考訳）: 従来の確率ラウンドリング(CSR)はニューラルネットワーク(NN)のトレーニングに広く用いられ、低精度計算においても有望なトレーニング結果を示す。よりシンプルで効率的な確率的ラウンドリング法を提案する。提案手法は16ビットの固定点数を持つNNのトレーニングに成功し,CSRおよび決定論的ラウンドリング・トゥ・ザ・アレスト法よりも高速な収束と高い分類精度を提供する。

関連論文リスト

A lifted Bregman strategy for training unfolded proximal neural network Gaussian denoisers [8.343594411714934]
屈曲した近位ニューラルネットワーク(PNN)は、深層学習と近位最適化のアプローチを組み合わせた一連の手法である。展開されたPNNに対するBregman距離に基づく揚力トレーニングの定式化を提案する。画像復調の数値シミュレーションにより,提案したPNNのトレーニング手法の挙動を評価する。
論文参考訳（メタデータ） (2024-08-16T13:41:34Z)
Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文参考訳（メタデータ） (2023-05-24T17:26:22Z)
The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文参考訳（メタデータ） (2023-03-17T02:01:11Z)
Practical Convex Formulation of Robust One-hidden-layer Neural Network Training [12.71266194474117]
本研究では,一層型スカラーアウトプット完全接続型ReLULUニューラルネットワークのトレーニングを,有限次元凸プログラムとして再構成可能であることを示す。我々は「敵の訓練」問題を効率的に解くために凸最適化手法を導出する。本手法は二項分類と回帰に応用でき、現在の対角訓練法に代わる手段を提供する。
論文参考訳（メタデータ） (2021-05-25T22:06:27Z)
Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文参考訳（メタデータ） (2021-03-15T16:16:18Z)
Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文参考訳（メタデータ） (2021-02-20T23:26:58Z)
AIN: Fast and Accurate Sequence Labeling with Approximate Inference Network [75.44925576268052]
線形鎖条件ランダム場(CRF)モデルは最も広く使われているニューラルネットワークラベリング手法の1つである。厳密な確率的推論アルゴリズムは典型的にはCRFモデルの訓練と予測段階に適用される。 CRFモデルに対して並列化可能な近似変分推論アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-09-17T12:18:43Z)
Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
論文参考訳（メタデータ） (2020-08-21T19:35:54Z)
Tune smarter not harder: A principled approach to tuning learning rates for shallow nets [13.203765985718201]
浅いフィードフォワードニューラルネットワークに対して,学習率を選択するための原則的アプローチを提案する。シミュレーションにより,提案手法が既存のチューニング手法よりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2020-03-22T09:38:35Z)
Stochastic gradient descent with random learning rate [0.0]
本稿では,一様分散ランダム学習率でニューラルネットワークを最適化することを提案する。ランダムな学習率プロトコルを周期的および定常的なプロトコルと比較することにより、ランダムな選択は、一般に小規模学習率体系における最良の戦略であると示唆する。我々は、MNISTデータセットとCIFAR10データセットの画像分類のための、浅い、完全に接続された、深い、畳み込みニューラルネットワークの実験を通じて、支持エビデンスを提供する。
論文参考訳（メタデータ） (2020-03-15T21:36:46Z)
Large Batch Training Does Not Need Warmup [111.07680619360528]
大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
論文参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。