論文の概要: CoDeQ: End-to-End Joint Model Compression with Dead-Zone Quantizer for High-Sparsity and Low-Precision Networks
- arxiv url: http://arxiv.org/abs/2512.12981v1
- Date: Mon, 15 Dec 2025 04:53:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-16 17:54:56.537909
- Title: CoDeQ: End-to-End Joint Model Compression with Dead-Zone Quantizer for High-Sparsity and Low-Precision Networks
- Title（参考訳）: CoDeQ:高分離・低精度ネットワークのためのデッドゾーン量子化器を用いたエンド・ツー・エンド結合モデル圧縮
- Authors: Jonathan Wenshøj, Tong Chen, Bob Pepin, Raghavendra Selvan,
- Abstract要約: CoDeQは、単純で完全に微分可能なジョイントプルーニング-量子化法である。
デッドゾーン幅をパラメータ化し、量子化パラメータとともにバックプロパゲーションにより学習する。
ResNet-18のImageNetでは、CoDeQはビット演算を5%まで削減し、完全な精度を維持している。
- 参考スコア（独自算出の注目度）: 9.784730417146335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While joint pruning--quantization is theoretically superior to sequential application, current joint methods rely on auxiliary procedures outside the training loop for finding compression parameters. This reliance adds engineering complexity and hyperparameter tuning, while also lacking a direct data-driven gradient signal, which might result in sub-optimal compression. In this paper, we introduce CoDeQ, a simple, fully differentiable method for joint pruning--quantization. Our approach builds on a key observation: the dead-zone of a scalar quantizer is equivalent to magnitude pruning, and can be used to induce sparsity directly within the quantization operator. Concretely, we parameterize the dead-zone width and learn it via backpropagation, alongside the quantization parameters. This design provides explicit control of sparsity, regularized by a single global hyperparameter, while decoupling sparsity selection from bit-width selection. The result is a method for Compression with Dead-zone Quantizer (CoDeQ) that supports both fixed-precision and mixed-precision quantization (controlled by an optional second hyperparameter). It simultaneously determines the sparsity pattern and quantization parameters in a single end-to-end optimization. Consequently, CoDeQ does not require any auxiliary procedures, making the method architecture-agnostic and straightforward to implement. On ImageNet with ResNet-18, CoDeQ reduces bit operations to ~5% while maintaining close to full precision accuracy in both fixed and mixed-precision regimes.
- Abstract（参考訳）: ジョイントプルーニング-量子化はシーケンシャルな応用よりも理論的に優れているが、現在のジョイントメソッドは、圧縮パラメータを見つけるためのトレーニングループ外の補助手順に依存している。
この依存は、エンジニアリングの複雑さとハイパーパラメータチューニングを増し、直接データ駆動の勾配信号が欠如し、亜最適圧縮をもたらす可能性がある。
本稿では, 単純かつ完全微分可能なジョイントプルーニング法であるCoDeQについて紹介する。
我々のアプローチは、スカラー量子化器のデッドゾーンはマグニチュードプルーニングと等価であり、量子化演算子内でのスパーシリティの誘導に使うことができる。
具体的には、デッドゾーン幅をパラメータ化し、量子化パラメータとともにバックプロパゲーションにより学習する。
この設計は、ビット幅選択から空間選択を分離しながら、1つの大域ハイパーパラメータによって正規化される空間選択の明示的な制御を提供する。
その結果、Dead-zone Quantizer (CoDeQ) による圧縮法は、固定精度と混合精度の量子化(オプションの第2ハイパーパラメータによって制御される)の両方をサポートする。
単一のエンドツーエンド最適化において、スパーシティパターンと量子化パラメータを同時に決定する。
その結果、CoDeQは補助的な手続きを一切必要とせず、メソッドがアーキテクチャに依存しず、実装が簡単になる。
ResNet-18のImageNetでは、CoDeQはビット演算を約5%まで削減し、固定と混合の精度で完全な精度を維持する。
関連論文リスト
- MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
論文 参考訳（メタデータ） (2025-07-06T08:16:50Z) - Towards Accurate Post-training Quantization for Reparameterized Models [6.158896686945439]
現在のポストトレーニング量子化法(PTQ)は、しばしばかなりの精度の劣化を引き起こす。
これは主にチャネル特異的およびサンプル特異的な外れ値によって引き起こされる。
本稿では、量子化された再パラメータ化モデルの精度を維持する新しいフレームワークであるRepAPQを提案する。
論文 参考訳（メタデータ） (2024-02-25T15:42:12Z) - Gradient-descent quantum process tomography by learning Kraus operators [63.69764116066747]
離散および連続変数の量子システムに対して量子プロセストモグラフィー(QPT)を行う。
我々は、クラウス作用素を得るために、最適化中にいわゆるスティーフェル多様体に対して制約付き勾配-退化(GD)アプローチを用いる。
GD-QPTは、2量子ランダムプロセスを持つベンチマークにおいて、圧縮センシング(CS)と投影最小二乗QPT(PLS)の両方のパフォーマンスと一致する。
論文 参考訳（メタデータ） (2022-08-01T12:48:48Z) - OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization [32.60139548889592]
本稿では,新しいワンショットプルーニング量子化(OPQ)を提案する。
OPQは、事前訓練された重みパラメータのみによる圧縮割り当てを解析的に解決する。
本稿では,共通コードブックを共有するために各レイヤの全チャネルを強制する,統一的なチャネルワイド量子化手法を提案する。
論文 参考訳（メタデータ） (2022-05-23T09:05:25Z) - Data post-processing for the one-way heterodyne protocol under
composable finite-size security [62.997667081978825]
本研究では,実用的連続可変(CV)量子鍵分布プロトコルの性能について検討する。
ヘテロダイン検出を用いたガウス変調コヒーレント状態プロトコルを高信号対雑音比で検討する。
これにより、プロトコルの実践的な実装の性能を調べ、上記のステップに関連付けられたパラメータを最適化することができる。
論文 参考訳（メタデータ） (2022-05-20T12:37:09Z) - Automatic Mixed-Precision Quantization Search of BERT [62.65905462141319]
BERTのような事前訓練された言語モデルは、様々な自然言語処理タスクにおいて顕著な効果を示している。
これらのモデルは通常、数百万のパラメータを含んでおり、リソースに制約のあるデバイスへの実践的なデプロイを妨げている。
本稿では,サブグループレベルでの量子化とプルーニングを同時に行うことができるBERT用に設計された混合精密量子化フレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-30T06:32:47Z) - Composably secure data processing for Gaussian-modulated continuous
variable quantum key distribution [58.720142291102135]
連続可変量子鍵分布(QKD)は、ボソニックモードの二次構造を用いて、2つのリモートパーティ間の秘密鍵を確立する。
構成可能な有限サイズセキュリティの一般的な設定におけるホモダイン検出プロトコルについて検討する。
特に、ハイレート(非バイナリ)の低密度パリティチェックコードを使用する必要のあるハイシグネチャ・ツー・ノイズ・システマを解析する。
論文 参考訳（メタデータ） (2021-03-30T18:02:55Z) - BSQ: Exploring Bit-Level Sparsity for Mixed-Precision Neural Network
Quantization [32.770842274996774]
混合精度量子化は、ディープニューラルネットワークの性能と圧縮率の最適なトレードオフを実現できる可能性がある。
従来の方法は、小さな手作業で設計された検索空間のみを調べるか、面倒なニューラルネットワークアーキテクチャ検索を使用して広大な検索空間を探索する。
本研究では、ビットレベルスパーシティを誘導する新たな角度から、混合精度量子化に取り組むためのビットレベルスパーシティ量子化(BSQ)を提案する。
論文 参考訳（メタデータ） (2021-02-20T22:37:41Z) - DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic
Convolution [136.7261709896713]
本稿では,インスタンスの性質に応じて適切な畳み込みカーネルを生成するデータ駆動型アプローチを提案する。
提案手法はScanetNetV2とS3DISの両方で有望な結果が得られる。
また、現在の最先端よりも推論速度を25%以上向上させる。
論文 参考訳（メタデータ） (2020-11-26T14:56:57Z) - Automated Model Compression by Jointly Applied Pruning and Quantization [14.824593320721407]
従来のディープ圧縮フレームワークでは、反復的にネットワークプルーニングと量子化を行うことで、モデルのサイズと計算コストを削減できる。
ネットワークプルーニングと量子化を統一的な共同圧縮問題として統合し,AutoMLを用いて自動的に解き出すことで,この問題に対処する。
共同適用プルーニングと量子化(AJPQ)による自動モデル圧縮を提案する。
論文 参考訳（メタデータ） (2020-11-12T07:06:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。