論文の概要: Is Integer Arithmetic Enough for Deep Learning Training?

• arxiv url: http://arxiv.org/abs/2207.08822v1
• Date: Mon, 18 Jul 2022 22:36:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 14:33:39.497024
• Title: Is Integer Arithmetic Enough for Deep Learning Training?
• Title（参考訳）: Integer Arithmeticはディープラーニングトレーニングに十分か?
• Authors: Alireza Ghaffari, Marzieh S. Tahaei, Mohammadreza Tayaranian, Masoud Asgharian, Vahid Partovi Nia
• Abstract要約: 浮動小数点演算を低ビット整数演算に置き換えることは、ディープラーニングモデルのエネルギー、メモリフットプリント、レイテンシを節約するための有望なアプローチである。 本稿では,フォワードパス,バックプロパゲーション,勾配降下を含む完全関数型整数学習パイプラインを提案する。 提案手法は, 視覚変換器, オブジェクト検出, セマンティックセグメンテーションなど, 多様なタスクに有効であることを示す。
• 参考スコア（独自算出の注目度）: 2.9136421025415205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ever-increasing computational complexity of deep learning models makes their training and deployment difficult on various cloud and edge platforms. Replacing floating-point arithmetic with low-bit integer arithmetic is a promising approach to save energy, memory footprint, and latency of deep learning models. As such, quantization has attracted the attention of researchers in recent years. However, using integer numbers to form a fully functional integer training pipeline including forward pass, back-propagation, and stochastic gradient descent is not studied in detail. Our empirical and mathematical results reveal that integer arithmetic is enough to train deep learning models. Unlike recent proposals, instead of quantization, we directly switch the number representation of computations. Our novel training method forms a fully integer training pipeline that does not change the trajectory of the loss and accuracy compared to floating-point, nor does it need any special hyper-parameter tuning, distribution adjustment, or gradient clipping. Our experimental results show that our proposed method is effective in a wide variety of tasks such as classification (including vision transformers), object detection, and semantic segmentation.
• Abstract（参考訳）: ディープラーニングモデルの計算複雑性の増大により、さまざまなクラウドやエッジプラットフォーム上でのトレーニングとデプロイメントが困難になる。 低ビット整数演算による浮動小数点演算の置き換えは、ディープラーニングモデルのエネルギー、メモリフットプリント、レイテンシを節約するための有望なアプローチである。 このように量子化は近年研究者の注目を集めている。 しかし、整数数を用いて前方通過、バックプロパゲーション、確率勾配勾配を含む完全に機能的な整数トレーニングパイプラインを形成することは、詳しくは研究されていない。 我々の経験的および数学的結果は、整数演算がディープラーニングモデルを訓練するのに十分であることを示している。 最近の提案とは異なり、量子化の代わりに計算の数値表現を直接切り替える。 提案手法は,浮動小数点に比べて損失と精度の軌跡を変えず,また特別なハイパーパラメータチューニングや分布調整,勾配クリッピングも必要としない完全整数トレーニングパイプラインを形成する。 提案手法は,分類(視覚トランスフォーマーを含む),物体検出,意味セグメンテーションなど,様々なタスクに有効であることを示す。

関連論文リスト

• Stepping Forward on the Last Mile [8.756033984943178]
  本稿では,バックプロパゲーションと比較してメモリフットプリントと精度のギャップを低減させるアルゴリズムの一連の拡張を提案する。 その結果、エッジデバイス上でのモデルカスタマイズの最後のマイルでは、固定点前方勾配によるトレーニングが実現可能で実践的なアプローチであることが示されている。
  論文  参考訳（メタデータ） (2024-11-06T16:33:21Z)
• Gradient-Free Neural Network Training on the Edge [12.472204825917629]
  ニューラルネットワークのトレーニングは計算的に重く、エネルギー集約的である。 この研究は、勾配を必要とせずにニューラルネットワークをトレーニングするための新しいテクニックを提示している。 本研究では,各ニューロンの予測された分類に対する誤った寄与を同定することにより,勾配に基づく最適化手法を使わずにモデルを訓練することが可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-13T05:38:39Z)
• Speeding up and reducing memory usage for scientific machine learning via mixed precision [3.746841257785099]
  偏微分方程式のためのニューラルネットワークのトレーニングには、大量のメモリと計算資源が必要である。 計算効率の探索において,半精度(float16)を用いたニューラルネットワークのトレーニングが注目されている。 本研究では,float16とfloat32の数値形式を組み合わせた混合精度について検討し,メモリ使用量の削減と計算速度の向上を図る。 実験の結果,混合精度トレーニングはトレーニング時間とメモリ要求を大幅に削減するだけでなく,モデル精度も維持することがわかった。
  論文  参考訳（メタデータ） (2024-01-30T00:37:57Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Quantized Training of Gradient Boosting Decision Trees [84.97123593657584]
  我々は,GBDTのトレーニングアルゴリズムにおいて,高精度勾配を非常に単純かつ効果的な方法で定量化することを提案する。 低精度勾配では、GBDTトレーニングにおけるほとんどの算術演算は、8, 16, 32ビットの整数演算に置き換えられる。 大規模なデータセット上でのSOTA GBDTシステムと比較して、単純な量子化戦略の2$times$スピードアップを観測する。
  論文  参考訳（メタデータ） (2022-07-20T06:27:06Z)
• Refining neural network predictions using background knowledge [68.35246878394702]
  学習システムにおける論理的背景知識を用いて,ラベル付きトレーニングデータの不足を補うことができることを示す。 そこで本研究では,修正された予測を元の予測に近い精度で検出する微分可能精細関数を提案する。 このアルゴリズムは、複雑なSATの公式に対して、非常に少ない繰り返しで最適に洗練され、勾配降下ができない解がしばしば見つかる。
  論文  参考訳（メタデータ） (2022-06-10T10:17:59Z)
• NITI: Training Integer Neural Networks Using Integer-only Arithmetic [4.361357921751159]
  我々は,整数演算のみを用いて計算を行う,効率的なディープニューラルネットワークトレーニングフレームワークであるNITIを提案する。 ネイティブ8ビット整数演算を用いたNITIの概念実証ソフトウェア実装について述べる。 NITIは8ビット整数ストレージと計算を用いてMNISTとCIFAR10データセットの無視可能な精度劣化を実現する。
  論文  参考訳（メタデータ） (2020-09-28T07:41:36Z)
• A Partial Regularization Method for Network Compression [0.0]
  本稿では, モデル圧縮を高速に行うために, 完全正則化と言われる全てのパラメータをペナライズする元の形式ではなく, 部分正則化のアプローチを提案する。 実験結果から, ほぼすべての状況において, 走行時間の減少を観測することにより, 計算複雑性を低減できることが示唆された。 驚くべきことに、複数のデータセットのトレーニングフェーズとテストフェーズの両方において、回帰フィッティング結果や分類精度などの重要な指標を改善するのに役立ちます。
  論文  参考訳（メタデータ） (2020-09-03T00:38:27Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。