論文の概要: Toward INT4 Fixed-Point Training via Exploring Quantization Error for Gradients

• arxiv url: http://arxiv.org/abs/2407.12637v1
• Date: Wed, 17 Jul 2024 15:06:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 16:35:48.602289
• Title: Toward INT4 Fixed-Point Training via Exploring Quantization Error for Gradients
• Title（参考訳）: 勾配の量子化誤差探索によるINT4固定点学習に向けて
• Authors: Dohyung Kim, Junghyup Lee, Jeimin Jeon, Jaehyeon Moon, Bumsub Ham,
• Abstract要約: 大振幅勾配の誤差の低減は量子化性能を著しく向上させることを示す。 また、大きな勾配に対する小さな量子化誤差を維持するために、量子化間隔を適応的に調整する間隔更新アルゴリズムを導入する。
• 参考スコア（独自算出の注目度）: 24.973203825917906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Network quantization generally converts full-precision weights and/or activations into low-bit fixed-point values in order to accelerate an inference process. Recent approaches to network quantization further discretize the gradients into low-bit fixed-point values, enabling an efficient training. They typically set a quantization interval using a min-max range of the gradients or adjust the interval such that the quantization error for entire gradients is minimized. In this paper, we analyze the quantization error of gradients for the low-bit fixed-point training, and show that lowering the error for large-magnitude gradients boosts the quantization performance significantly. Based on this, we derive an upper bound of quantization error for the large gradients in terms of the quantization interval, and obtain an optimal condition for the interval minimizing the quantization error for large gradients. We also introduce an interval update algorithm that adjusts the quantization interval adaptively to maintain a small quantization error for large gradients. Experimental results demonstrate the effectiveness of our quantization method for various combinations of network architectures and bit-widths on various tasks, including image classification, object detection, and super-resolution.
• Abstract（参考訳）: ネットワーク量子化は一般的に、推論プロセスを加速するために、全精度の重みと/またはアクティベーションを低ビットの固定点値に変換する。 ネットワーク量子化への最近のアプローチは、勾配をさらに低ビットの固定点値に離散化し、効率的なトレーニングを可能にしている。 彼らは通常、勾配のmin-max範囲を使って量子化間隔を設定したり、勾配全体の量子化誤差を最小限に抑えるように間隔を調整する。 本稿では,低ビット定点訓練における勾配の量子化誤差を分析し,大振幅勾配の誤差の低減が量子化性能を著しく向上させることを示す。 これに基づいて、大勾配の量子化誤差の上限を量子化間隔で導出し、大勾配の量子化誤差を最小化する区間の最適条件を得る。 また、大きな勾配に対する小さな量子化誤差を維持するために、量子化間隔を適応的に調整する間隔更新アルゴリズムを導入する。 実験により,画像分類,物体検出,超解像といった様々なタスクにおけるネットワークアーキテクチャとビット幅の組み合わせに対する量子化手法の有効性が示された。

関連論文リスト

• One-Step Forward and Backtrack: Overcoming Zig-Zagging in Loss-Aware Quantization Training [12.400950982075948]
  重み量子化は、限られたリソースを持つエッジデバイスに展開するディープニューラルネットワークを圧縮する効果的な手法である。 従来の損失対応量子化法は、全精度勾配を置き換えるために量子化勾配を用いるのが一般的である。 本稿では、損失認識量子化のための1ステップの前進およびバックトラック手法を提案し、より正確で安定した勾配方向を得る。
  論文  参考訳（メタデータ） (2024-01-30T05:42:54Z)
• Quantum Shadow Gradient Descent for Variational Quantum Algorithms [14.286227676294034]
  量子ニューラルネットワーク(QNN)における変分量子回路のトレーニングのための勾配勾配推定法が提案されている。 勾配推定の課題は、状態崩壊や測定の不整合といった特異な量子的特徴のために困難であることが証明されている。 我々は,1イテレーション毎に1つのサンプルを用いて勾配のすべての成分を推定する量子シャドウ降下という新しい手法を開発した。
  論文  参考訳（メタデータ） (2023-10-10T18:45:43Z)
• Neural Networks with Quantization Constraints [111.42313650830248]
  量子化学習における制約付き学習手法を提案する。 結果の問題は強い双対であり、勾配推定は不要であることを示す。 提案手法は画像分類タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2022-10-27T17:12:48Z)
• Efficient factored gradient descent algorithm for quantum state tomography [10.100843479138222]
  本稿では,量子トモグラフィープロトコルを提案する。このプロトコルは,状態要素と固有値マッピングを組み合わせ,ランク不足問題に対処する。 また, ランダムな11ビット混合状態のフル状態トモグラフィを1分以内で達成できることも確認した。
  論文  参考訳（メタデータ） (2022-07-12T06:45:35Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• Distribution Adaptive INT8 Quantization for Training CNNs [12.708068468737286]
  本稿では,畳み込みニューラルネットワークのための新しいINT8量子化学習フレームワークを提案する。 具体的には, 層幅勾配がチャネル次元に沿って複数の分布を含むという観測に基づいて, 勾配の量子化にグラディエントベクトル化量子化を用いる。 次に、量子化誤差を最小化する際に、勾配の等級を考慮に入れ、マグニチュード対応のクリッピング戦略を導入する。
  論文  参考訳（メタデータ） (2021-02-09T11:58:10Z)
• Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
  クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。 グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。 通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-08T19:14:21Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)
• DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks [49.191062785007006]
  画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。 既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。 高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
  論文  参考訳（メタデータ） (2020-12-21T10:19:42Z)
• Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
  勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。 本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。 最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
  論文  参考訳（メタデータ） (2020-02-25T18:28:39Z)
• Post-Training Piecewise Linear Quantization for Deep Neural Networks [13.717228230596167]
  リソース制限されたデバイスへのディープニューラルネットワークのエネルギー効率向上において、量子化は重要な役割を果たす。 本稿では,長い尾を持つベル形状のテンソル値の正確な近似を実現するために,一方向線形量子化方式を提案する。 提案手法は,最先端のポストトレーニング量子化手法と比較して,画像分類,セマンティックセグメンテーション,オブジェクト検出においてわずかなオーバーヘッドで優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-01-31T23:47:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。