論文の概要: Memory-Efficient Integer-Only Training of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2610.16298v1
• Date: Mon, 12 Oct 2026 07:25:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.324317
• Title: Memory-Efficient Integer-Only Training of Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークのメモリ効率の良い整数オンリートレーニング
• Abstract要約: 精度の低下によるニューラルネットワークのトレーニングは、大幅な効率向上をもたらす可能性がある。 標準的なコンピュータビジョンベンチマークにスケールする既存の方法は、少なくとも1つの段階で浮動小数点を保持する。 現代のディープニューラルネットワークにスケールするトレーニングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 4.373192121914541
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training neural networks in reduced precision can yield significant efficiency gains, yet all existing methods that scale to standard computer vision benchmarks retain floating-point in at least one stage, typically the weight update or optimizer state. We present a training algorithm that scales to modern deep neural networks, in which every tensor (weights, gradients, and activations) is stored as INT8, and every operation (forward pass, backward pass, weight update, optimizer update) is performed in integer arithmetic. Specifically, tensors are stored as signed integer mantissas paired with explicit power-of-two exponents, on which integer-only operations are performed using five custom composable building blocks (products, sums, divide-by-constant, nonlinear functions, and weight updates). This allows complete implementation of trainable integer layers, including convolutions, batch and layer normalization, softmax, and GELU. A per-group velocity mechanism with independent exponent tracking preserves gradient precision across neurons and channels with diverse magnitudes. As every tensor fits in INT8, training memory is roughly 4x smaller than the FP32 baseline. We validate our training algorithm on CNNs (ResNet-18/34/50/101, MobileNetV2) and Vision Transformers (ViT-Ti / B), demonstrating for the first time that training neural networks with INT8 tensors and integer arithmetic can achieve competitive accuracy on CIFAR-10, CIFAR-100 and ImageNet at a reduced memory budget.
• Abstract（参考訳）: 精度の低下によるニューラルネットワークのトレーニングは、大きな効率向上をもたらす可能性があるが、標準的なコンピュータビジョンベンチマークにスケールするすべての既存の方法は、少なくとも1つの段階で浮動小数点(通常は重み更新またはオプティマイザ状態)を保持する。 本稿では,最新の深層ニューラルネットワークにスケールするトレーニングアルゴリズムを提案し,各テンソル(重み,勾配,アクティベーション)をINT8として格納し,演算(前方通過,後方通過,重み更新,オプティマイザ更新)を整数算術で行う。 具体的には、テンソルは、明示的な2つの指数を持つ符号付き整数マンティサとして格納され、5つのカスタム構成可能なビルディングブロック(積、和、分割対定数、非線形関数、重み付け更新)を使用して整数のみの操作が実行される。 これにより、畳み込み、バッチとレイヤの正規化、ソフトマックス、GELUなど、トレーニング可能な整数層の完全な実装が可能になる。 独立指数追跡を用いた群ごとの速度メカニズムは、ニューロンやチャネル間の勾配精度を様々な大きさで保存する。 すべてのテンソルがINT8に適合するので、トレーニングメモリはFP32ベースラインの約4倍小さい。 我々は,CNN(ResNet-18/34/50/101,MobileNetV2)とビジョントランスフォーマー(ViT-Ti/B)のトレーニングアルゴリズムを検証する。

関連論文リスト

• Full Integer Arithmetic Online Training for Spiking Neural Networks [0.006486143522483092]
  スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とエネルギー効率のために、ニューロモルフィックコンピューティングを約束している。 この研究は、混合精度アプローチを用いて整数のみのオンライントレーニングアルゴリズムを導入し、効率を改善し、メモリ使用量を60%以上削減する。
  論文  参考訳（メタデータ） (2025-09-08T12:54:30Z)
• NITRO-D: Native Integer-only Training of Deep Convolutional Neural Networks [2.6230959823681834]
  この研究は、任意の整数のみの畳み込みニューラルネットワーク(CNN)を学習するための新しいフレームワークであるNITRO-Dを導入する。 NiTRO-Dは、量子化スキームを導入することなく整数のみのCNNのトレーニングを可能にする文献の中で最初のフレームワークである。
  論文  参考訳（メタデータ） (2024-07-16T13:16:49Z)
• Multiplication-Free Transformer Training via Piecewise Affine Operations [44.99157696237478]
  本稿では,浮動小数点数のビット表現を整数として加えることで実現した,安価なアフィン近似に置き換える。 変換器は、視覚と言語の両方のタスクに対して、結果の修正された行列乗法で、ほとんど、あるいは全く性能に影響を与えずに訓練できることが示される。
  論文  参考訳（メタデータ） (2023-05-26T18:28:28Z)
• Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
  品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。 小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。 数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-01-16T07:22:47Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• NITI: Training Integer Neural Networks Using Integer-only Arithmetic [4.361357921751159]
  我々は,整数演算のみを用いて計算を行う,効率的なディープニューラルネットワークトレーニングフレームワークであるNITIを提案する。 ネイティブ8ビット整数演算を用いたNITIの概念実証ソフトウェア実装について述べる。 NITIは8ビット整数ストレージと計算を用いてMNISTとCIFAR10データセットの無視可能な精度劣化を実現する。
  論文  参考訳（メタデータ） (2020-09-28T07:41:36Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。