論文の概要: Quantization-Aware Regularizers for Deep Neural Networks Compression

• arxiv url: http://arxiv.org/abs/2602.03614v1
• Date: Tue, 03 Feb 2026 15:07:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.528016
• Title: Quantization-Aware Regularizers for Deep Neural Networks Compression
• Title（参考訳）: 深部ニューラルネットワーク圧縮のための量子化対応正規化器
• Authors: Dario Malchiodi, Mattia Ferraretto, Marco Frasca,
• Abstract要約: トレーニング中に自然にクラスタを形成するために重みを駆動する層ごとの正規化用語を導入します。 これにより、量子化法に典型的に関連付けられた精度損失が減少する。 AlexNet と VGG16 モデルを用いた CIFAR-10 の実験により,提案手法の有効性が確認された。
• 参考スコア（独自算出の注目度）: 0.061173711613792085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks reached state-of-the-art performance across numerous domains, but this progress has come at the cost of increasingly large and over-parameterized models, posing serious challenges for deployment on resource-constrained devices. As a result, model compression has become essential, and -- among compression techniques -- weight quantization is largely used and particularly effective, yet it typically introduces a non-negligible accuracy drop. However, it is usually applied to already trained models, without influencing how the parameter space is explored during the learning phase. In contrast, we introduce per-layer regularization terms that drive weights to naturally form clusters during training, integrating quantization awareness directly into the optimization process. This reduces the accuracy loss typically associated with quantization methods while preserving their compression potential. Furthermore, in our framework quantization representatives become network parameters, marking, to the best of our knowledge, the first approach to embed quantization parameters directly into the backpropagation procedure. Experiments on CIFAR-10 with AlexNet and VGG16 models confirm the effectiveness of the proposed strategy.
• Abstract（参考訳）: Deep Neural Networksは多くのドメインで最先端のパフォーマンスを達成したが、この進歩は大規模で過度にパラメータ化されたモデルのコストが増大し、リソースに制約のあるデバイスにデプロイする上で深刻な課題となっている。 その結果、モデル圧縮が不可欠となり、(圧縮技術の中で)重み量子化は主に使われ、特に有効になっているが、一般的には非無視の精度低下をもたらす。 しかし、通常は、学習期間中にパラメータ空間がどのように探索されるかに影響を与えることなく、既に訓練されたモデルに適用される。 対照的に、トレーニング中のクラスタを自然に形成するために重みを駆動する層ごとの正規化用語を導入し、量子化の意識を直接最適化プロセスに統合する。 これにより、圧縮電位を保ったまま、量子化法と関連付けられた精度損失を低減できる。 さらに,本フレームワークでは,量子化パラメータをバックプロパゲーション手順に直接埋め込む手法として,量子化の代表者がネットワークパラメータ,マーキングを行う。 AlexNet と VGG16 モデルを用いた CIFAR-10 の実験により,提案手法の有効性が確認された。

関連論文リスト

• Integrating Pruning with Quantization for Efficient Deep Neural Networks Compression [0.0]
  プルーニングと量子化は、モデルのサイズを減らし、処理速度を向上させるために広く使われている圧縮技術である。 本稿では,類似性に基づくフィルタプルーニングとアダプティブ・パワー・オブ・ツー(APoT)量子化を統合し,高い圧縮効率を実現する2つの手法を提案する。 実験により,提案手法は精度の低下を最小限に抑え,効率的なモデル圧縮を実現することを示す。
  論文  参考訳（メタデータ） (2025-09-04T14:17:28Z)
• Progressive Element-wise Gradient Estimation for Neural Network Quantization [2.1413624861650358]
  量子化アウェアトレーニング(QAT)法は、離散化関数の非微分可能性に対処するためにSTE(Straight-Through Estimator)に依存する。 本稿では,連続値と量子化値の離散化誤差に対処するため,PEGE(Progressive Element-wise Gradient Estimation)を提案する。 PEGEは、既存のバックプロパゲーション手法を一貫して上回り、低精度のモデルが彼らの完全精度の精度にマッチしたり、さらに上回ったりすることを可能にしている。
  論文  参考訳（メタデータ） (2025-08-27T15:59:36Z)
• QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
  領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 我々は、減量量化が損失景観におけるより平坦なミニマムを効果的に導くことを実証した。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。
  論文  参考訳（メタデータ） (2024-10-08T13:21:48Z)
• Retraining-free Model Quantization via One-Shot Weight-Coupling Learning [41.299675080384]
  混合精度量子化(MPQ)は、層に不均一なビット幅を割り当てることで、モデルを効果的に圧縮することを提唱する。 MPQは典型的には、探索訓練された2段階のプロセスに編成される。 本稿では,混合精度モデル圧縮のためのワンショットトレーニング探索パラダイムを考案する。
  論文  参考訳（メタデータ） (2024-01-03T05:26:57Z)
• Quantization Aware Factorization for Deep Neural Network Compression [20.04951101799232]
  畳み込み層と完全連結層の分解は、ニューラルネットワークにおけるパラメータとFLOPを減らす効果的な方法である。 従来のトレーニング後量子化手法は重み付きネットワークに適用され、精度が低下する。 これは、分解された近似を量子化因子で直接発見するアルゴリズムを開発する動機となった。
  論文  参考訳（メタデータ） (2023-08-08T21:38:02Z)
• PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
  ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T08:41:33Z)
• Quantize Once, Train Fast: Allreduce-Compatible Compression with Provable Guarantees [53.950234267704]
  我々は、全リデュース勾配互換量子化法であるGlobal-QSGDを紹介する。 ベースライン量子化法で最大3.51%の分散トレーニングを高速化することを示す。
  論文  参考訳（メタデータ） (2023-05-29T21:32:15Z)
• OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization [32.60139548889592]
  本稿では,新しいワンショットプルーニング量子化(OPQ)を提案する。 OPQは、事前訓練された重みパラメータのみによる圧縮割り当てを解析的に解決する。 本稿では,共通コードブックを共有するために各レイヤの全チャネルを強制する,統一的なチャネルワイド量子化手法を提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:05:25Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• Gradient $\ell_1$ Regularization for Quantization Robustness [70.39776106458858]
  トレーニング後の量子化に対するロバスト性を改善するための単純な正規化スキームを導出する。 量子化対応ネットワークをトレーニングすることにより、異なるビット幅にオンデマンドで量子化できる1組の重みを格納できる。
  論文  参考訳（メタデータ） (2020-02-18T12:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。