論文の概要: Training with Mixed-Precision Floating-Point Assignments

• arxiv url: http://arxiv.org/abs/2301.13464v2
• Date: Fri, 23 Jun 2023 15:41:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 17:13:18.052712
• Title: Training with Mixed-Precision Floating-Point Assignments
• Title（参考訳）: 混合精度浮動小数点アサインメントによる訓練
• Authors: Wonyeol Lee, Rahul Sharma, Alex Aiken
• Abstract要約: より少ないメモリを使用する畳み込みニューラルネットワークの精度割当を生成する。 CIFAR-10, CIFAR-100, ImageNet上で, 畳み込みネットワークを訓練し, 画像分類タスクの評価を行った。
• 参考スコア（独自算出の注目度）: 8.5323697848377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When training deep neural networks, keeping all tensors in high precision (e.g., 32-bit or even 16-bit floats) is often wasteful. However, keeping all tensors in low precision (e.g., 8-bit floats) can lead to unacceptable accuracy loss. Hence, it is important to use a precision assignment -- a mapping from all tensors (arising in training) to precision levels (high or low) -- that keeps most of the tensors in low precision and leads to sufficiently accurate models. We provide a technique that explores this memory-accuracy tradeoff by generating precision assignments for convolutional neural networks that (i) use less memory and (ii) lead to more accurate convolutional networks at the same time, compared to the precision assignments considered by prior work in low-precision floating-point training. We evaluate our technique on image classification tasks by training convolutional networks on CIFAR-10, CIFAR-100, and ImageNet. Our method typically provides > 2x memory reduction over a baseline precision assignment while preserving training accuracy, and gives further reductions by trading off accuracy. Compared to other baselines which sometimes cause training to diverge, our method provides similar or better memory reduction while avoiding divergence.
• Abstract（参考訳）: ディープニューラルネットワークのトレーニングでは、すべてのテンソルを高精度(例えば32ビットまたは16ビットフロート)に保つことはしばしば無駄である。 しかし、全てのテンソルを低い精度(例えば8ビットフロート)に保つと、許容できない精度を失う。 したがって、すべてのテンソル(訓練中)から高精度レベル(高いか低いか)へのマッピングである精度割当を使用することが重要であり、ほとんどのテンソルを低い精度で保持し、十分に正確なモデルをもたらす。 畳み込みニューラルネットワークの高精度割り当てを生成することにより,このメモリ精度トレードオフを探索する手法を提案する。 (i)少ないメモリ使用と (ii)低精度浮動小数点訓練における事前作業が考慮した精度課題と比較して,畳み込みネットワークの精度が向上した。 CIFAR-10, CIFAR-100, ImageNet上で, 畳み込みネットワークを訓練し, 画像分類タスクの評価を行った。 本手法は,トレーニング精度を保ちながら,ベースライン精度よりも2倍のメモリ削減を実現し,精度のトレードオフによるさらなる削減を実現する。 トレーニングの発散の原因となる他のベースラインと比較して,本手法は発散を回避しつつ,類似あるいはより良いメモリ削減を実現する。

関連論文リスト

• Collage: Light-Weight Low-Precision Strategy for LLM Training [21.190363633580233]
  低精度浮動小数点は、トレーニング過程における臨界点における誤差が適切に補償されている場合、十分に機能する可能性があると我々は主張する。 本論文では,マルチコンポーネントフロート表現を低精度で利用し,数値誤差を考慮した演算を高精度に行うコラージュを提案する。 提案手法は半精度(16$-bit 浮動小数点)のような一般的な低精度で動作し、8$-bit などのより低い精度で動作するように自然に拡張できる。
  論文  参考訳（メタデータ） (2024-05-06T16:55:30Z)
• Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
  本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。 局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。 特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
  論文  参考訳（メタデータ） (2023-09-29T13:09:40Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Training ReLU networks to high uniform accuracy is intractable [7.723983475351976]
  与えられた一様精度を保証するために,任意の学習アルゴリズムに必要なトレーニングサンプル数を定量化する。 我々は、ReLUニューラルネットワークを高精度にトレーニングすることは難解であると結論付けた。
  論文  参考訳（メタデータ） (2022-05-26T17:50:55Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• PositNN: Training Deep Neural Networks with Mixed Low-Precision Posit [5.534626267734822]
  本研究は、ポジットを用いた深層畳み込みニューラルネットワークの訓練の可能性を評価することを目的とする。 エンドツーエンドのトレーニングと推論にシミュレートされたポジットとクィアを使用するソフトウェアフレームワークが開発された。 その結果、8ビットポジットはトレーニング中に32ビットフロートを置換でき、その結果の損失や精度に悪影響を及ぼさないことが示唆された。
  論文  参考訳（メタデータ） (2021-04-30T19:30:37Z)
• Intra Order-preserving Functions for Calibration of Multi-Class Neural Networks [54.23874144090228]
  一般的なアプローチは、元のネットワークの出力をキャリブレーションされた信頼スコアに変換する、ポストホックキャリブレーション関数を学ぶことである。 以前のポストホックキャリブレーション技術は単純なキャリブレーション機能でしか機能しない。 本稿では,順序保存関数のクラスを表すニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-15T12:57:21Z)
• A Closer Look at Accuracy vs. Robustness [94.2226357646813]
  堅牢なネットワークをトレーニングする現在の方法は、テスト精度の低下につながる。 実際の画像データセットが実際に分離されていることを示す。 我々は、実際に堅牢性と精度を達成するには、局所的なリプシッツを強制する手法を使う必要があると結論付けている。
  論文  参考訳（メタデータ） (2020-03-05T07:09:32Z)
• Shifted and Squeezed 8-bit Floating Point format for Low-Precision Training of Deep Neural Networks [13.929168096016957]
  本研究では,8ビット浮動小数点(FP8)数を用いたディープニューラルネットワークのトレーニング手法を提案する。 ビット精度の低減により、有効メモリが大きくなり、計算速度が向上する。 提案手法は,従来の8ビット精度訓練法と異なり,代表モデルに対して最初から動作可能であることを示す。
  論文  参考訳（メタデータ） (2020-01-16T06:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。