論文の概要: Is Integer Arithmetic Enough for Deep Learning Training?
- arxiv url: http://arxiv.org/abs/2207.08822v1
- Date: Mon, 18 Jul 2022 22:36:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 14:33:39.497024
- Title: Is Integer Arithmetic Enough for Deep Learning Training?
- Title(参考訳): Integer Arithmeticはディープラーニングトレーニングに十分か?
- Authors: Alireza Ghaffari, Marzieh S. Tahaei, Mohammadreza Tayaranian, Masoud
Asgharian, Vahid Partovi Nia
- Abstract要約: 浮動小数点演算を低ビット整数演算に置き換えることは、ディープラーニングモデルのエネルギー、メモリフットプリント、レイテンシを節約するための有望なアプローチである。
本稿では,フォワードパス,バックプロパゲーション,勾配降下を含む完全関数型整数学習パイプラインを提案する。
提案手法は, 視覚変換器, オブジェクト検出, セマンティックセグメンテーションなど, 多様なタスクに有効であることを示す。
- 参考スコア(独自算出の注目度): 2.9136421025415205
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ever-increasing computational complexity of deep learning models makes
their training and deployment difficult on various cloud and edge platforms.
Replacing floating-point arithmetic with low-bit integer arithmetic is a
promising approach to save energy, memory footprint, and latency of deep
learning models. As such, quantization has attracted the attention of
researchers in recent years. However, using integer numbers to form a fully
functional integer training pipeline including forward pass, back-propagation,
and stochastic gradient descent is not studied in detail. Our empirical and
mathematical results reveal that integer arithmetic is enough to train deep
learning models. Unlike recent proposals, instead of quantization, we directly
switch the number representation of computations. Our novel training method
forms a fully integer training pipeline that does not change the trajectory of
the loss and accuracy compared to floating-point, nor does it need any special
hyper-parameter tuning, distribution adjustment, or gradient clipping. Our
experimental results show that our proposed method is effective in a wide
variety of tasks such as classification (including vision transformers), object
detection, and semantic segmentation.
- Abstract(参考訳): ディープラーニングモデルの計算複雑性の増大により、さまざまなクラウドやエッジプラットフォーム上でのトレーニングとデプロイメントが困難になる。
低ビット整数演算による浮動小数点演算の置き換えは、ディープラーニングモデルのエネルギー、メモリフットプリント、レイテンシを節約するための有望なアプローチである。
このように量子化は近年研究者の注目を集めている。
しかし、整数数を用いて前方通過、バックプロパゲーション、確率勾配勾配を含む完全に機能的な整数トレーニングパイプラインを形成することは、詳しくは研究されていない。
我々の経験的および数学的結果は、整数演算がディープラーニングモデルを訓練するのに十分であることを示している。
最近の提案とは異なり、量子化の代わりに計算の数値表現を直接切り替える。
提案手法は,浮動小数点に比べて損失と精度の軌跡を変えず,また特別なハイパーパラメータチューニングや分布調整,勾配クリッピングも必要としない完全整数トレーニングパイプラインを形成する。
提案手法は,分類(視覚トランスフォーマーを含む),物体検出,意味セグメンテーションなど,様々なタスクに有効であることを示す。
関連論文リスト
- Speeding up and reducing memory usage for scientific machine learning
via mixed precision [3.746841257785099]
偏微分方程式のためのニューラルネットワークのトレーニングには、大量のメモリと計算資源が必要である。
計算効率の探索において,半精度(float16)を用いたニューラルネットワークのトレーニングが注目されている。
本研究では,float16とfloat32の数値形式を組み合わせた混合精度について検討し,メモリ使用量の削減と計算速度の向上を図る。
実験の結果,混合精度トレーニングはトレーニング時間とメモリ要求を大幅に削減するだけでなく,モデル精度も維持することがわかった。
論文 参考訳(メタデータ) (2024-01-30T00:37:57Z) - Hadamard Domain Training with Integers for Class Incremental Quantized
Learning [1.4416751609100908]
継続的な学習は、リソース制約のあるエッジプラットフォームにとってコストを抑えることができる。
本稿では,整数行列の乗算のみを用いて,低精度の学習を可能にする手法を提案する。
行列乗算の入力を8ビットのアキュムレータで4ビットまで量子化しながら、0.5%未満の精度と3%の精度の劣化を実現する。
論文 参考訳(メタデータ) (2023-10-05T16:52:59Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of
Language Model [92.55145016562867]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳(メタデータ) (2023-05-24T15:52:08Z) - Quantized Training of Gradient Boosting Decision Trees [84.97123593657584]
我々は,GBDTのトレーニングアルゴリズムにおいて,高精度勾配を非常に単純かつ効果的な方法で定量化することを提案する。
低精度勾配では、GBDTトレーニングにおけるほとんどの算術演算は、8, 16, 32ビットの整数演算に置き換えられる。
大規模なデータセット上でのSOTA GBDTシステムと比較して、単純な量子化戦略の2$times$スピードアップを観測する。
論文 参考訳(メタデータ) (2022-07-20T06:27:06Z) - Refining neural network predictions using background knowledge [68.35246878394702]
学習システムにおける論理的背景知識を用いて,ラベル付きトレーニングデータの不足を補うことができることを示す。
そこで本研究では,修正された予測を元の予測に近い精度で検出する微分可能精細関数を提案する。
このアルゴリズムは、複雑なSATの公式に対して、非常に少ない繰り返しで最適に洗練され、勾配降下ができない解がしばしば見つかる。
論文 参考訳(メタデータ) (2022-06-10T10:17:59Z) - NITI: Training Integer Neural Networks Using Integer-only Arithmetic [4.361357921751159]
我々は,整数演算のみを用いて計算を行う,効率的なディープニューラルネットワークトレーニングフレームワークであるNITIを提案する。
ネイティブ8ビット整数演算を用いたNITIの概念実証ソフトウェア実装について述べる。
NITIは8ビット整数ストレージと計算を用いてMNISTとCIFAR10データセットの無視可能な精度劣化を実現する。
論文 参考訳(メタデータ) (2020-09-28T07:41:36Z) - A Partial Regularization Method for Network Compression [0.0]
本稿では, モデル圧縮を高速に行うために, 完全正則化と言われる全てのパラメータをペナライズする元の形式ではなく, 部分正則化のアプローチを提案する。
実験結果から, ほぼすべての状況において, 走行時間の減少を観測することにより, 計算複雑性を低減できることが示唆された。
驚くべきことに、複数のデータセットのトレーニングフェーズとテストフェーズの両方において、回帰フィッティング結果や分類精度などの重要な指標を改善するのに役立ちます。
論文 参考訳(メタデータ) (2020-09-03T00:38:27Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳(メタデータ) (2020-07-14T09:07:29Z) - Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality
Regularization and Singular Value Sparsification [53.50708351813565]
各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。
SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
論文 参考訳(メタデータ) (2020-04-20T02:40:43Z) - Variance Reduction with Sparse Gradients [82.41780420431205]
SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。
我々は、新しい空間演算子:ランダムトップk演算子を導入する。
我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
論文 参考訳(メタデータ) (2020-01-27T08:23:58Z) - Improving the convergence of SGD through adaptive batch sizes [0.1813006808606333]
ミニバッチ勾配勾配(SGD)とその変種は、少数のトレーニング例で目的関数の勾配を近似する。
この研究は、バッチサイズをモデルのトレーニング損失に適応させる方法を示す。
論文 参考訳(メタデータ) (2019-10-18T01:45:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。