論文の概要: Activation Compression of Graph Neural Networks using Block-wise Quantization with Improved Variance Minimization

• arxiv url: http://arxiv.org/abs/2309.11856v2
• Date: Tue, 16 Jan 2024 17:44:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 20:53:09.201236
• Title: Activation Compression of Graph Neural Networks using Block-wise Quantization with Improved Variance Minimization
• Title（参考訳）: 可変最小化を改良したブロックワイド量子化を用いたグラフニューラルネットワークの活性化圧縮
• Authors: Sebastian Eliassen, Raghavendra Selvan
• Abstract要約: 中間活性化マップのブロックワイド量子化によるEXACT戦略の改善を提案する。 極端に量子化を行う場合であっても、メモリ消費(>15%)とエポックあたりの実行速度(約5%)がさらに減少することを示す。
• 参考スコア（独自算出の注目度）: 0.21756081703275998
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient training of large-scale graph neural networks (GNNs) has been studied with a specific focus on reducing their memory consumption. Work by Liu et al. (2022) proposed extreme activation compression (EXACT) which demonstrated drastic reduction in memory consumption by performing quantization of the intermediate activation maps down to using INT2 precision. They showed little to no reduction in performance while achieving large reductions in GPU memory consumption. In this work, we present an improvement to the EXACT strategy by using block-wise quantization of the intermediate activation maps. We experimentally analyze different block sizes and show further reduction in memory consumption (>15%), and runtime speedup per epoch (about 5%) even when performing extreme extents of quantization with similar performance trade-offs as with the original EXACT. Further, we present a correction to the assumptions on the distribution of intermediate activation maps in EXACT (assumed to be uniform) and show improved variance estimations of the quantization and dequantization steps.
• Abstract（参考訳）: 大規模グラフニューラルネットワーク(GNN)の効率的なトレーニングは、メモリ使用量の削減に特化して研究されている。 Liu et al. (2022) によって提案された極端なアクティベーション圧縮(EXACT)は、中間アクティベーションマップをINT2の精度で量子化することでメモリ消費を大幅に削減することを示した。 gpuメモリ消費を大幅に削減しながら、パフォーマンスをほとんど、あるいは全く低下させませんでした。 本研究では、中間活性化マップのブロックワイズ量子化を用いてEXACT戦略の改善を提案する。 異なるブロックサイズを実験的に解析し、従来のEXACTと同様の性能トレードオフで極端に量子化を行う場合であっても、メモリ消費(>15%)とエポックあたりの実行速度(約5%)の低下を示す。 さらに,中間活性化写像の分布に関する仮定を(一様であると仮定して)正確に補正し,量子化および非量子化ステップの分散推定の改善を示す。

関連論文リスト

• Unlocking Data-free Low-bit Quantization with Matrix Decomposition for KV Cache Compression [87.5604418100301]
  キー値(KV)キャッシングは,大規模言語モデルの推論を高速化する重要な手法である。 既存の手法はしばしば精度を損なうか、キャリブレーションのために余分なデータを必要とする。 テンソル分解法に基づく新しいデータフリー低ビット量子化手法である textbfDecoQuant を導入する。
  論文  参考訳（メタデータ） (2024-05-21T08:35:10Z)
• Compressing the Backward Pass of Large-Scale Neural Architectures by Structured Activation Pruning [0.0]
  ディープニューラルネットワーク(DNN)におけるスパシティはソリューションとして注目されている。 この研究は、訓練中のメモリ消費を減らすことを目的として、短命の空間性に焦点を当てている。 大規模ニューラルアーキテクチャのトレーニング速度,精度,メモリ使用量を評価することにより,アクティベーションプルーニングの有効性を報告する。
  論文  参考訳（メタデータ） (2023-11-28T15:31:31Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Learnable Mixed-precision and Dimension Reduction Co-design for Low-storage Activation [9.838135675969026]
  深層畳み込みニューラルネットワーク(CNN)は多くの眼球運動の結果を得た。 リソース制約のあるエッジデバイスにCNNをデプロイすることは、推論中に大きな中間データを送信するためのメモリ帯域幅の制限によって制限される。 チャネルをグループに分割し,その重要度に応じて圧縮ポリシーを割り当てる,学習可能な混合精度・次元縮小協調設計システムを提案する。
  論文  参考訳（メタデータ） (2022-07-16T12:53:52Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• LUT-GEMM: Quantized Matrix Multiplication based on LUTs for Efficient Inference in Large-Scale Generative Language Models [9.727062803700264]
  量子化行列乗算のための効率的なカーネルであるLUT-GEMMを紹介する。 LUT-GEMMは資源集約化プロセスを取り除き、計算コストを削減する。 我々は,3ビット量子化を用いたOPT-175Bモデルに適用した場合,LUT-GEMMはトークン生成遅延を大幅に高速化することを示した。
  論文  参考訳（メタデータ） (2022-06-20T03:48:17Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)
• Compression-aware Projection with Greedy Dimension Reduction for Convolutional Neural Network Activations [3.6188659868203388]
  分類精度と圧縮比のトレードオフを改善するための圧縮対応投影システムを提案する。 提案手法は,MobileNetV2/ResNet18/VGG16の精度低下により2.91x5.97xのメモリアクセスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2021-10-17T14:02:02Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。