論文の概要: Starting Positions Matter: A Study on Better Weight Initialization for Neural Network Quantization

• arxiv url: http://arxiv.org/abs/2506.10463v1
• Date: Thu, 12 Jun 2025 08:11:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.642898
• Title: Starting Positions Matter: A Study on Better Weight Initialization for Neural Network Quantization
• Title（参考訳）: 開始位置が重要:ニューラルネットワーク量子化のためのより軽量な初期化に関する研究
• Authors: Stone Yun, Alexander Wong,
• Abstract要約: 正規化、量子化対応トレーニング、量子化不正性ペナルティといった量子化固有のモデル開発技術は、現代のDNNの精度と堅牢性を大幅に向上させるのに役立っている。 本研究は, 各種CNNビルディングブロックの重み付け初期化が, 効率のよいCNNに共通する各種CNNビルディングブロックに与える影響について検討する。 次に、量子化されたDNNのパラメータを予測するために、グラフハイパーネットワークス(GHN)を用いた量子化ロバストなCNN初期化の新しい手法を検討する。
• 参考スコア（独自算出の注目度）: 71.44469196328507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural network (DNN) quantization for fast, efficient inference has been an important tool in limiting the cost of machine learning (ML) model inference. Quantization-specific model development techniques such as regularization, quantization-aware training, and quantization-robustness penalties have served to greatly boost the accuracy and robustness of modern DNNs. However, very little exploration has been done on improving the initial conditions of DNN training for quantization. Just as random weight initialization has been shown to significantly impact test accuracy of floating point models, it would make sense that different weight initialization methods impact quantization robustness of trained models. We present an extensive study examining the effects of different weight initializations on a variety of CNN building blocks commonly used in efficient CNNs. This analysis reveals that even with varying CNN architectures, the choice of random weight initializer can significantly affect final quantization robustness. Next, we explore a new method for quantization-robust CNN initialization -- using Graph Hypernetworks (GHN) to predict parameters of quantized DNNs. Besides showing that GHN-predicted parameters are quantization-robust after regular float32 pretraining (of the GHN), we find that finetuning GHNs to predict parameters for quantized graphs (which we call GHN-QAT) can further improve quantized accuracy of CNNs. Notably, GHN-QAT shows significant accuracy improvements for even 4-bit quantization and better-than-random accuracy for 2-bits. To the best of our knowledge, this is the first in-depth study on quantization-aware DNN weight initialization. GHN-QAT offers a novel approach to quantized DNN model design. Future investigations, such as using GHN-QAT-initialized parameters for quantization-aware training, can further streamline the DNN quantization process.
• Abstract（参考訳）: 高速かつ効率的な推論のためのディープニューラルネットワーク(DNN)量子化は、機械学習(ML)モデル推論のコストを制限する重要なツールである。 正規化、量子化対応トレーニング、量子化不正性ペナルティといった量子化固有のモデル開発技術は、現代のDNNの精度と堅牢性を大幅に向上させるのに役立っている。 しかし、量子化のためのDNNトレーニングの初期条件を改善するための調査はほとんど行われていない。 ランダムウェイト初期化が浮動小数点モデルの試験精度に大きな影響を与えることが示されているように、異なるウェイト初期化法が訓練されたモデルの量子化堅牢性に影響を与えることは理にかなっている。 本研究は, 各種CNNビルディングブロックの重み付け初期化が, 効率のよいCNNに共通する各種CNNビルディングブロックに与える影響について検討する。 この分析により, 異なるCNNアーキテクチャであっても, ランダムウェイト初期化器の選択は最終量子化のロバスト性に大きな影響を及ぼすことが示された。 次に、量子化されたDNNのパラメータを予測するために、グラフハイパーネットワークス(GHN)を用いた量子化ロバストなCNN初期化の新しい手法を検討する。 GHN予測パラメータは、通常のfloat32事前学習(GHNの)後に量子化ロバストであることを示すだけでなく、量子化されたグラフ(GHN-QATと呼ぶ)のパラメータを予測するための微調整GHNは、CNNの量子化精度をさらに向上させることができる。 特に、GHN-QATは、4ビットの量子化でも大幅に精度が向上し、2ビットのランダムな精度が向上した。 我々の知る限りでは、これは量子化を意識したDNN重み初期化に関する最初の詳細な研究である。 GHN-QATは量子化されたDNNモデル設計に新しいアプローチを提供する。 GHN-QAT初期化パラメータを用いた量子化学習のような将来の研究は、DNN量子化プロセスをさらに合理化することができる。

関連論文リスト

• Low-bit Model Quantization for Deep Neural Networks: A Survey [123.89598730307208]
  本稿では、ディープニューラルネットワーク(DNN)における低ビット量子化に向けた最近の5年間の進歩について調査する。 我々は最先端の量子化手法を議論し、それらのコア技術に基づいて8つの主要なカテゴリと24のサブカテゴリに分類する。 我々は、モデル量子化の分野における潜在的研究の機会に光を当てた。
  論文  参考訳（メタデータ） (2025-05-08T13:26:19Z)
• GHN-QAT: Training Graph Hypernetworks to Predict Quantization-Robust Parameters of Unseen Limited Precision Neural Networks [80.29667394618625]
  Graph Hypernetworks(GHN)は、さまざまな未知のCNNアーキテクチャのパラメータを驚くほど高い精度で予測することができる。 予備研究は、8ビットおよび4ビットの量子化CNNの量子化-ロバストパラメータの予測にGHNを使うことを検討した。 4ビットの量子化CNNのGHN予測パラメータの量子化精度を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-09-24T23:01:00Z)
• GHN-Q: Parameter Prediction for Unseen Quantized Convolutional Architectures via Graph Hypernetworks [80.29667394618625]
  我々は,未知の量子化CNNアーキテクチャのパラメータの予測にグラフハイパーネットを用いることを初めて検討した。 我々は、CNNの探索空間の縮小に着目し、GHN-Qが実際に8ビットの量子化されたCNNの量子化-ロバストパラメータを予測できることを見出した。
  論文  参考訳（メタデータ） (2022-08-26T08:00:02Z)
• A Comprehensive Survey on Model Quantization for Deep Neural Networks in Image Classification [0.0]
  有望なアプローチは量子化であり、完全な精度の値は低ビット幅の精度で保存される。 本稿では、画像分類に焦点をあてて、量子化の概念と方法に関する包括的調査を行う。 本稿では,量子化DNNにおける浮動小数点演算の低コストなビット演算への置き換えと,量子化における異なる層の感度について説明する。
  論文  参考訳（メタデータ） (2022-05-14T15:08:32Z)
• Where Should We Begin? A Low-Level Exploration of Weight Initialization Impact on Quantized Behaviour of Deep Neural Networks [93.4221402881609]
  異なる重みの初期化が重みの最終的な分布と異なるCNNアーキテクチャの活性化に与える影響について、詳細なアブレーション研究を行う。 我々の知る限りでは、ウェイトの初期化とその量子化行動に対する影響について、そのような低レベルで詳細な定量分析を行うのは、私たちは初めてである。
  論文  参考訳（メタデータ） (2020-11-30T06:54:28Z)
• Filter Pre-Pruning for Improved Fine-tuning of Quantized Deep Neural Networks [0.0]
  本稿では,DNNの微調整を妨害するフィルタを除去するPruning for Quantization (PfQ)と呼ばれる新しいプルーニング手法を提案する。 良く知られたモデルとデータセットを用いた実験により,提案手法が類似したモデルサイズで高い性能を実現することを確認した。
  論文  参考訳（メタデータ） (2020-11-13T04:12:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。