論文の概要: Nearly Lossless Adaptive Bit Switching

• arxiv url: http://arxiv.org/abs/2502.01199v1
• Date: Mon, 03 Feb 2025 09:46:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:03:26.379838
• Title: Nearly Lossless Adaptive Bit Switching
• Title（参考訳）: ほとんどロスレス適応ビットスイッチング
• Authors: Haiduo Huang, Zhenhua Liu, Tian Xia, Wenzhe zhao, Pengju Ren,
• Abstract要約: ImageNet-1K分類の実験結果から,本手法は多精度・混合精度の両面において,最先端のワンショットジョイントQATに十分な利点があることが示された。
• 参考スコア（独自算出の注目度）: 8.485009775430411
• License:
• Abstract: Model quantization is widely applied for compressing and accelerating deep neural networks (DNNs). However, conventional Quantization-Aware Training (QAT) focuses on training DNNs with uniform bit-width. The bit-width settings vary across different hardware and transmission demands, which induces considerable training and storage costs. Hence, the scheme of one-shot joint training multiple precisions is proposed to address this issue. Previous works either store a larger FP32 model to switch between different precision models for higher accuracy or store a smaller INT8 model but compromise accuracy due to using shared quantization parameters. In this paper, we introduce the Double Rounding quantization method, which fully utilizes the quantized representation range to accomplish nearly lossless bit-switching while reducing storage by using the highest integer precision instead of full precision. Furthermore, we observe a competitive interference among different precisions during one-shot joint training, primarily due to inconsistent gradients of quantization scales during backward propagation. To tackle this problem, we propose an Adaptive Learning Rate Scaling (ALRS) technique that dynamically adapts learning rates for various precisions to optimize the training process. Additionally, we extend our Double Rounding to one-shot mixed precision training and develop a Hessian-Aware Stochastic Bit-switching (HASB) strategy. Experimental results on the ImageNet-1K classification demonstrate that our methods have enough advantages to state-of-the-art one-shot joint QAT in both multi-precision and mixed-precision. We also validate the feasibility of our method on detection and segmentation tasks, as well as on LLMs task. Our codes are available at https://github.com/haiduo/Double-Rounding.
• Abstract（参考訳）: モデル量子化はディープニューラルネットワーク(DNN)の圧縮と加速に広く応用されている。 しかし、従来のQAT(Quantization-Aware Training)は、均一なビット幅でDNNを訓練することに焦点を当てている。 ビット幅の設定はハードウェアやトランスミッションの要求によって異なり、トレーニングやストレージのコストがかなり高い。 そこで, この課題に対処するために, 単発共同訓練を複数精度で行う方式が提案されている。 以前の作業では、より大型のFP32モデルを格納して、異なる精度のモデルの切り替えを高精度に行うか、より小型のINT8モデルを格納するが、共有量子化パラメータの使用により精度が低下する。 本稿では、量子化表現範囲を完全に活用して、完全精度ではなく高い整数精度を用いて、ストレージを削減しつつ、ほとんどロスレスなビットスイッチングを実現するダブルラウンド量子化法を提案する。 さらに, 後方伝播中の量子化スケールの不整合勾配により, 単発関節訓練における異なる精度の競合的干渉が観察された。 この問題に対処するために,様々な精度で学習率を動的に適用し,学習過程を最適化する適応学習レートスケーリング(ALRS)手法を提案する。 さらに,Double Roundingを1ショットの混合精度トレーニングに拡張し,Hessian-Aware Stochastic Bit-switching(HASB)戦略を開発した。 ImageNet-1K分類の実験結果から,本手法は多精度・混合精度の両面において,最先端のワンショットジョイントQATに十分な利点があることが示された。 また,本手法がLLMタスクだけでなく,検出・分節タスクにも適用可能であることを検証した。 私たちのコードはhttps://github.com/haiduo/Double-Rounding.comで公開しています。

関連論文リスト

• SKIM: Any-bit Quantization Pushing The Limits of Post-Training Quantization [7.198819240352308]
  大きな言語モデル(LLM)は、様々なタスクにまたがって素晴らしいパフォーマンスを示すが、推論のためにそれらをデプロイすることは、課題を引き起こす。 SKIM: Scaled K-means clustering wIth Mixed precisionを提案する。 モデルパープレキシティの観点からは、3ビット量子化LLaMAモデルとそれらの完全精度モデルとのギャップを平均16.3%縮小する。
  論文  参考訳（メタデータ） (2024-12-05T14:19:59Z)
• AdaBM: On-the-Fly Adaptive Bit Mapping for Image Super-Resolution [53.23803932357899]
  我々は、処理時間を数時間から秒に短縮する最初のオンザフライ適応量子化フレームワークを導入する。 我々は,従来の適応量子化法と競合する性能を実現し,処理時間をx2000で高速化する。
  論文  参考訳（メタデータ） (2024-04-04T08:37:27Z)
• FLIQS: One-Shot Mixed-Precision Floating-Point and Integer Quantization Search [50.07268323597872]
  本稿では,整数浮動小数点モデルと低精度浮動小数点モデルの両方において再学習を不要とする,最初のワンショット混合量子化探索を提案する。 整数モデルでは、ImageNet上のResNet-18の精度を1.31%、ResNet-50の精度を0.90%向上させる。 従来のFP8モデルと比較して,新しい混合精度浮動小数点探索を探索し,最大0.98%改善した。
  論文  参考訳（メタデータ） (2023-08-07T04:17:19Z)
• Augmenting Hessians with Inter-Layer Dependencies for Mixed-Precision Post-Training Quantization [7.392278887917975]
  本稿では,ネットワーク上のテンソルに異なる数値精度を割り当てる混合精度ポストトレーニング量子化手法を提案する。 実験では,16ビットベースラインの25.48%$,21.69%$,33.28%$に対して,レイテンシの低減を実証した。
  論文  参考訳（メタデータ） (2023-06-08T02:18:58Z)
• Mixed Precision of Quantization of Transformer Language Models for Speech Recognition [67.95996816744251]
  トランスフォーマーが表現する最先端のニューラルネットワークモデルは、実用アプリケーションにとってますます複雑で高価なものになりつつある。 現在の低ビット量子化法は、均一な精度に基づいており、量子化エラーに対するシステムの異なる部分での様々な性能感度を考慮できない。 最適局所精度設定は2つの手法を用いて自動的に学習される。 Penn Treebank (PTB)とSwitchboard corpusによるLF-MMI TDNNシステムの試験を行った。
  論文  参考訳（メタデータ） (2021-11-29T09:57:00Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• Differentiable Joint Pruning and Quantization for Hardware Efficiency [16.11027058505213]
  DJPQは、変動情報ボトルネックに基づく構造化プルーニングと混合ビット精度量子化を1つの微分可能損失関数に組み込む。 DJPQは、複数のネットワークにおけるビット演算数(BOP)を大幅に削減し、元の浮動小数点モデルのトップ1の精度を維持していることを示す。
  論文  参考訳（メタデータ） (2020-07-20T20:45:47Z)
• Learning to Learn Parameterized Classification Networks for Scalable Input Images [76.44375136492827]
  畳み込みニューラルネットワーク(CNN)は、入力解像度の変化に関して予測可能な認識動作を持たない。 我々はメタラーナーを用いて、様々な入力スケールのメインネットワークの畳み込み重みを生成する。 さらに、異なる入力解像度に基づいて、モデル予測よりもフライでの知識蒸留を利用する。
  論文  参考訳（メタデータ） (2020-07-13T04:27:25Z)
• FracBits: Mixed Precision Quantization via Fractional Bit-Widths [29.72454879490227]
  混合精度量子化は、複数のビット幅での算術演算をサポートするカスタマイズハードウェアで好適である。 本稿では,目標計算制約下での混合精度モデルに基づく学習に基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-04T06:09:09Z)
• APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
  本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。 ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。 同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
  論文  参考訳（メタデータ） (2020-06-15T16:09:17Z)
• Efficient Bitwidth Search for Practical Mixed Precision Neural Network [33.80117489791902]
  ネットワーク量子化は、ディープニューラルネットワークを圧縮し加速する最も広く使われている方法の1つとなっている。 近年の研究では、異なる精度で異なる層からの重みと活性化を定量化し、全体的な性能を向上させることを提案する。 それぞれの層の重みと活性化に最適なビット幅(すなわち精度)を見つけることは困難である。 一般的なハードウェアプラットフォーム上で、異なる精度の重み付けとアクティベーションのためにどのように畳み込みを実行するかは、まだ不明である。
  論文  参考訳（メタデータ） (2020-03-17T08:27:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。