論文の概要: Error Diffusion: Post Training Quantization with Block-Scaled Number Formats for Neural Networks
- arxiv url: http://arxiv.org/abs/2410.11203v1
- Date: Tue, 15 Oct 2024 02:40:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 14:01:40.765659
- Title: Error Diffusion: Post Training Quantization with Block-Scaled Number Formats for Neural Networks
- Title（参考訳）: Error Diffusion: ニューラルネットワークのためのブロックスケール数フォーマットによるポストトレーニング量子化
- Authors: Alireza Khodamoradi, Kristof Denolf, Eric Dellinger,
- Abstract要約: 量子化は、データ移動、ストレージ、乗算や加算のような操作など、モデルのハードウェアコストを削減します。
ブロックスケールの数値形式のようなよりエキゾチックな数値エンコーディングは、固定ビット予算を利用してモデルパラメータをエンコードする利点を示している。
本稿では,ブロックスケールデータフォーマットをサポートするポストトレーニング量子化のための誤り拡散(ED)を提案する。
- 参考スコア（独自算出の注目度）: 1.042733720689638
- License:
- Abstract: Quantization reduces the model's hardware costs, such as data movement, storage, and operations like multiply and addition. It also affects the model's behavior by degrading the output quality. Therefore, there is a need for methods that preserve the model's behavior when quantizing model parameters. More exotic numerical encodings, such as block-scaled number formats, have shown advantages for utilizing a fixed bit budget to encode model parameters. This paper presents error diffusion (ED), a hyperparameter-free method for post-training quantization with support for block-scaled data formats. Our approach does not rely on backpropagation or Hessian information. We describe how to improve the quantization process by viewing the neural model as a composite function and diffusing the quantization error in every layer. In addition, we introduce TensorCast, an open-source library based on PyTorch to emulate a variety of number formats, including the block-scaled ones, to aid the research in neural model quantization. We demonstrate the efficacy of our algorithm through rigorous testing on various architectures, including vision and large language models (LLMs), where it consistently delivers competitive results. Our experiments confirm that block-scaled data formats provide a robust choice for post-training quantization and could be used effectively to enhance the practical deployment of advanced neural networks.
- Abstract（参考訳）: 量子化は、データ移動、ストレージ、乗算や加算のような操作など、モデルのハードウェアコストを削減します。
また、出力品質を劣化させることによってモデルの振舞いにも影響を与えます。
したがって、モデルのパラメータを定量化する際にモデルの振舞いを保存するメソッドが必要である。
ブロックスケールの数値形式のようなよりエキゾチックな数値エンコーディングは、固定ビット予算を利用してモデルパラメータをエンコードする利点を示している。
本稿では,ブロックスケールデータフォーマットをサポートしたポストトレーニング量子化のためのハイパーパラメータフリー手法であるエラー拡散(ED)を提案する。
私たちのアプローチは、バックプロパゲーションやヘッセン情報に依存していません。
本稿では,ニューラルネットワークを複合関数とみなし,各層における量子化誤差を拡散することにより,量子化のプロセスを改善する方法について述べる。
さらに、PyTorchをベースとしたオープンソースライブラリであるTensorCastを導入し、ブロックスケールのものを含むさまざまな数値フォーマットをエミュレートし、ニューラルモデル量子化の研究を支援する。
我々は,視覚や大規模言語モデル(LLM)など,さまざまなアーキテクチャの厳密なテストを通じて,アルゴリズムの有効性を実証する。
我々の実験は、ブロックスケールのデータフォーマットが、訓練後の量子化に堅牢な選択をもたらすことを確認し、高度なニューラルネットワークの実践的展開を強化するために効果的に使用できることを示した。
関連論文リスト
- Augmenting Hessians with Inter-Layer Dependencies for Mixed-Precision
Post-Training Quantization [7.392278887917975]
本稿では,ネットワーク上のテンソルに異なる数値精度を割り当てる混合精度ポストトレーニング量子化手法を提案する。
実験では,16ビットベースラインの25.48%$,21.69%$,33.28%$に対して,レイテンシの低減を実証した。
論文 参考訳（メタデータ） (2023-06-08T02:18:58Z) - Post-training Model Quantization Using GANs for Synthetic Data
Generation [57.40733249681334]
量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。
本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
論文 参考訳（メタデータ） (2023-05-10T11:10:09Z) - A priori compression of convolutional neural networks for wave
simulators [0.0]
現在のニューラルネットワークの設計には数百万のパラメータが含まれており、メモリに制限のあるデバイスにそのような複雑なモデルをインストールすることは困難である。
本稿では,ニューラルネットワークのトレーニングに先立って,畳み込み層を圧縮したテンソル形式,先行処理を提案する。
提案手法は,訓練可能なパラメータが少なく,メモリフットプリントも少ない古典的畳み込み層として同等の性能を発揮することを示す。
論文 参考訳（メタデータ） (2023-04-11T04:18:59Z) - ClusterQ: Semantic Feature Distribution Alignment for Data-Free
Quantization [111.12063632743013]
本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。
意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。
また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
論文 参考訳（メタデータ） (2022-04-30T06:58:56Z) - Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。
本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文 参考訳（メタデータ） (2022-03-23T12:52:49Z) - Learning Summary Statistics for Bayesian Inference with Autoencoders [58.720142291102135]
我々は,ディープニューラルネットワークに基づくオートエンコーダの内部次元を要約統計として利用する。
パラメータ関連情報を全て符号化するエンコーダのインセンティブを作成するため,トレーニングデータの生成に使用した暗黙的情報にデコーダがアクセスできるようにする。
論文 参考訳（メタデータ） (2022-01-28T12:00:31Z) - MoEfication: Conditional Computation of Transformer Models for Efficient
Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。
スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。
そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文 参考訳（メタデータ） (2021-10-05T02:14:38Z) - ECQ$^{\text{x}}$: Explainability-Driven Quantization for Low-Bit and
Sparse DNNs [13.446502051609036]
我々はディープニューラルネットワーク(DNN)のための新しい量子化パラダイムを開発し、記述する。
本手法は,説明可能なAI(XAI)の概念と情報理論の概念を活用する。
最終的な目標は、最高の情報内容の量子化クラスタにおいて、最も関連性の高い重みを維持することである。
論文 参考訳（メタデータ） (2021-09-09T12:57:06Z) - Zero-shot Adversarial Quantization [11.722728148523366]
ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。
これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。
強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
論文 参考訳（メタデータ） (2021-03-29T01:33:34Z) - Variational Bayesian Quantization [31.999462074510305]
訓練されたモデルにおける連続潜伏表現の定量化のための新しいアルゴリズムを提案する。
固定量子化スキームにモデルを組み込む現在のエンドツーエンドのニューラル圧縮法とは異なり、我々のアルゴリズムはモデル設計とトレーニングを量子化から分離する。
我々のアルゴリズムは連続領域への算術符号の新たな拡張と見なすことができる。
論文 参考訳（メタデータ） (2020-02-18T00:15:37Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。