論文の概要: Training with Mixed-Precision Floating-Point Assignments
- arxiv url: http://arxiv.org/abs/2301.13464v2
- Date: Fri, 23 Jun 2023 15:41:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-26 17:13:18.052712
- Title: Training with Mixed-Precision Floating-Point Assignments
- Title(参考訳): 混合精度浮動小数点アサインメントによる訓練
- Authors: Wonyeol Lee, Rahul Sharma, Alex Aiken
- Abstract要約: より少ないメモリを使用する畳み込みニューラルネットワークの精度割当を生成する。
CIFAR-10, CIFAR-100, ImageNet上で, 畳み込みネットワークを訓練し, 画像分類タスクの評価を行った。
- 参考スコア(独自算出の注目度): 8.5323697848377
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When training deep neural networks, keeping all tensors in high precision
(e.g., 32-bit or even 16-bit floats) is often wasteful. However, keeping all
tensors in low precision (e.g., 8-bit floats) can lead to unacceptable accuracy
loss. Hence, it is important to use a precision assignment -- a mapping from
all tensors (arising in training) to precision levels (high or low) -- that
keeps most of the tensors in low precision and leads to sufficiently accurate
models. We provide a technique that explores this memory-accuracy tradeoff by
generating precision assignments for convolutional neural networks that (i) use
less memory and (ii) lead to more accurate convolutional networks at the same
time, compared to the precision assignments considered by prior work in
low-precision floating-point training. We evaluate our technique on image
classification tasks by training convolutional networks on CIFAR-10, CIFAR-100,
and ImageNet. Our method typically provides > 2x memory reduction over a
baseline precision assignment while preserving training accuracy, and gives
further reductions by trading off accuracy. Compared to other baselines which
sometimes cause training to diverge, our method provides similar or better
memory reduction while avoiding divergence.
- Abstract(参考訳): ディープニューラルネットワークのトレーニングでは、すべてのテンソルを高精度(例えば32ビットまたは16ビットフロート)に保つことはしばしば無駄である。
しかし、全てのテンソルを低い精度(例えば8ビットフロート)に保つと、許容できない精度を失う。
したがって、すべてのテンソル(訓練中)から高精度レベル(高いか低いか)へのマッピングである精度割当を使用することが重要であり、ほとんどのテンソルを低い精度で保持し、十分に正確なモデルをもたらす。
畳み込みニューラルネットワークの高精度割り当てを生成することにより,このメモリ精度トレードオフを探索する手法を提案する。
(i)少ないメモリ使用と
(ii)低精度浮動小数点訓練における事前作業が考慮した精度課題と比較して,畳み込みネットワークの精度が向上した。
CIFAR-10, CIFAR-100, ImageNet上で, 畳み込みネットワークを訓練し, 画像分類タスクの評価を行った。
本手法は,トレーニング精度を保ちながら,ベースライン精度よりも2倍のメモリ削減を実現し,精度のトレードオフによるさらなる削減を実現する。
トレーニングの発散の原因となる他のベースラインと比較して,本手法は発散を回避しつつ,類似あるいはより良いメモリ削減を実現する。
関連論文リスト
- Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。
局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。
特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文 参考訳(メタデータ) (2023-09-29T13:09:40Z) - Speeding up Fourier Neural Operators via Mixed Precision [94.01161800203221]
フーリエニューラル作用素 (FNO) は偏微分方程式 (PDE) 解作用素の代理写像を学習する強力な手法である。
高解像度のデータポイントを必要とする多くの現実世界アプリケーションにとって、トレーニング時間とメモリ使用量は重大なボトルネックとなる。
本研究では,FNOの混合精度トレーニングの数値安定性について検討し,トレーニング時間とメモリ使用量を大幅に削減するトレーニングルーチンを考案した。
論文 参考訳(メタデータ) (2023-07-27T17:42:06Z) - Quantized Neural Networks for Low-Precision Accumulation with Guaranteed
Overflow Avoidance [68.8204255655161]
本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。
本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
論文 参考訳(メタデータ) (2023-01-31T02:46:57Z) - Training ReLU networks to high uniform accuracy is intractable [7.723983475351976]
与えられた一様精度を保証するために,任意の学習アルゴリズムに必要なトレーニングサンプル数を定量化する。
我々は、ReLUニューラルネットワークを高精度にトレーニングすることは難解であると結論付けた。
論文 参考訳(メタデータ) (2022-05-26T17:50:55Z) - Bit-wise Training of Neural Network Weights [4.56877715768796]
ニューラルネットワークの重みを表す個々のビットを学習するアルゴリズムを導入する。
この方法は任意のビット深度で整数値で重みをトレーニングし、スパースネットワークを自然に発見する。
完全連結ネットワークを用いた標準的なトレーニング手法と,畳み込みネットワークや残留ネットワークの標準トレーニングと同等の性能を示す。
論文 参考訳(メタデータ) (2022-02-19T10:46:54Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳(メタデータ) (2021-10-08T17:03:34Z) - PositNN: Training Deep Neural Networks with Mixed Low-Precision Posit [5.534626267734822]
本研究は、ポジットを用いた深層畳み込みニューラルネットワークの訓練の可能性を評価することを目的とする。
エンドツーエンドのトレーニングと推論にシミュレートされたポジットとクィアを使用するソフトウェアフレームワークが開発された。
その結果、8ビットポジットはトレーニング中に32ビットフロートを置換でき、その結果の損失や精度に悪影響を及ぼさないことが示唆された。
論文 参考訳(メタデータ) (2021-04-30T19:30:37Z) - Multi-Precision Policy Enforced Training (MuPPET): A precision-switching
strategy for quantised fixed-point training of CNNs [13.83645579871775]
大規模な畳み込みニューラルネットワーク(CNN)は、数時間から数週間にわたる非常に長いトレーニング時間に悩まされる。
この研究は、複数の精度を利用するマルチレベルアプローチを採用することで、定量化トレーニングの境界を押し上げる。
MuPPETは、トレーニング時のスピードアップを最大1.84$times$、ネットワーク全体の平均スピードアップを1.58$times$とすることで、通常の完全精度トレーニングと同じ精度を達成する。
論文 参考訳(メタデータ) (2020-06-16T10:14:36Z) - Intra Order-preserving Functions for Calibration of Multi-Class Neural
Networks [54.23874144090228]
一般的なアプローチは、元のネットワークの出力をキャリブレーションされた信頼スコアに変換する、ポストホックキャリブレーション関数を学ぶことである。
以前のポストホックキャリブレーション技術は単純なキャリブレーション機能でしか機能しない。
本稿では,順序保存関数のクラスを表すニューラルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-03-15T12:57:21Z) - A Closer Look at Accuracy vs. Robustness [94.2226357646813]
堅牢なネットワークをトレーニングする現在の方法は、テスト精度の低下につながる。
実際の画像データセットが実際に分離されていることを示す。
我々は、実際に堅牢性と精度を達成するには、局所的なリプシッツを強制する手法を使う必要があると結論付けている。
論文 参考訳(メタデータ) (2020-03-05T07:09:32Z) - Shifted and Squeezed 8-bit Floating Point format for Low-Precision
Training of Deep Neural Networks [13.929168096016957]
本研究では,8ビット浮動小数点(FP8)数を用いたディープニューラルネットワークのトレーニング手法を提案する。
ビット精度の低減により、有効メモリが大きくなり、計算速度が向上する。
提案手法は,従来の8ビット精度訓練法と異なり,代表モデルに対して最初から動作可能であることを示す。
論文 参考訳(メタデータ) (2020-01-16T06:38:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。