論文の概要: DPQuant: Efficient and Differentially-Private Model Training via Dynamic Quantization Scheduling
- arxiv url: http://arxiv.org/abs/2509.03472v1
- Date: Wed, 03 Sep 2025 16:51:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 21:40:46.60005
- Title: DPQuant: Efficient and Differentially-Private Model Training via Dynamic Quantization Scheduling
- Title（参考訳）: DPQuant:動的量子化スケジューリングによる効率的・差別化モデルトレーニング
- Authors: Yubo Gao, Renbo Tu, Gennady Pekhimenko, Nandita Vijaykumar,
- Abstract要約: Differentially-Private SGD(DP-SGD)は、機密データを使用してニューラルネットワークをトレーニングする際のユーザのプライバシを保護する強力なテクニックである。
DP-SGDの量子化は,通常のSGDに比べて高い精度で劣化することを示した。
QPQuantは動的量子化フレームワークであり、各エポックで量子化するレイヤの変動部分集合を適応的に選択する。
- 参考スコア（独自算出の注目度）: 7.79764032127686
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Differentially-Private SGD (DP-SGD) is a powerful technique to protect user privacy when using sensitive data to train neural networks. During training, converting model weights and activations into low-precision formats, i.e., quantization, can drastically reduce training times, energy consumption, and cost, and is thus a widely used technique. In this work, we demonstrate that quantization causes significantly higher accuracy degradation in DP-SGD compared to regular SGD. We observe that this is caused by noise injection in DP-SGD, which amplifies quantization variance, leading to disproportionately large accuracy degradation. To address this challenge, we present QPQuant, a dynamic quantization framework that adaptively selects a changing subset of layers to quantize at each epoch. Our method combines two key ideas that effectively reduce quantization variance: (i) probabilistic sampling of the layers that rotates which layers are quantized every epoch, and (ii) loss-aware layer prioritization, which uses a differentially private loss sensitivity estimator to identify layers that can be quantized with minimal impact on model quality. This estimator consumes a negligible fraction of the overall privacy budget, preserving DP guarantees. Empirical evaluations on ResNet18, ResNet50, and DenseNet121 across a range of datasets demonstrate that DPQuant consistently outperforms static quantization baselines, achieving near Pareto-optimal accuracy-compute trade-offs and up to 2.21x theoretical throughput improvements on low-precision hardware, with less than 2% drop in validation accuracy.
- Abstract（参考訳）: Differentially-Private SGD(DP-SGD)は、機密データを使用してニューラルネットワークをトレーニングする際のユーザのプライバシを保護する強力なテクニックである。
トレーニング中、モデルの重みとアクティベーションを低精度のフォーマット、すなわち量子化に変換することで、トレーニング時間、エネルギー消費、コストを大幅に削減することができる。
本研究では,DP-SGDの量子化により,通常のSGDに比べて高い精度で劣化することを示す。
DP-SGDにおけるノイズインジェクションは,量子化のばらつきを増幅し,不均等に大きな精度劣化をもたらす。
この課題に対処するために、各エポックで量子化するレイヤの変動部分集合を適応的に選択する動的量子化フレームワークQPQuantを提案する。
本手法は,量子化の分散を効果的に低減する2つの鍵となる考え方を組み合わせたものである。
一 時代ごとにどの層が定量化され、どの層が回転するかの確率的サンプリング
モデル品質への影響を最小限に抑えながら定量化できる層を特定するために,差分プライベートな損失感度推定器を用いた損失認識層優先順位付けを行う。
この推定器は、DPの保証を保ちながら、全体のプライバシー予算の無視できる割合を消費する。
ResNet18、ResNet50、DenseNet121の様々なデータセットに対する実証的な評価は、DPQuantが静的量子化ベースラインを一貫して上回り、パレート最適精度-計算トレードオフに近い精度で達成し、低い精度のハードウェアで2.21倍のスループット向上を実現し、検証精度は2%未満であることを示している。
関連論文リスト
- Progressive Element-wise Gradient Estimation for Neural Network Quantization [2.1413624861650358]
量子化アウェアトレーニング(QAT)法は、離散化関数の非微分可能性に対処するためにSTE(Straight-Through Estimator)に依存する。
本稿では,連続値と量子化値の離散化誤差に対処するため,PEGE(Progressive Element-wise Gradient Estimation)を提案する。
PEGEは、既存のバックプロパゲーション手法を一貫して上回り、低精度のモデルが彼らの完全精度の精度にマッチしたり、さらに上回ったりすることを可能にしている。
論文 参考訳（メタデータ） (2025-08-27T15:59:36Z) - On the Convergence of DP-SGD with Adaptive Clipping [56.24689348875711]
勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。
本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。
本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
論文 参考訳（メタデータ） (2024-12-27T20:29:47Z) - Gradient-based Automatic Mixed Precision Quantization for Neural Networks On-Chip [0.9187138676564589]
本稿では,革新的な量子化学習手法である高粒度量子化(HGQ)を提案する。
HGQは、勾配降下によって最適化できるようにすることで、重量当たりおよび活動当たりの精度を微調整する。
このアプローチは、演算演算が可能なハードウェア上で、超低レイテンシと低電力ニューラルネットワークを実現する。
論文 参考訳（メタデータ） (2024-05-01T17:18:46Z) - Augmenting Hessians with Inter-Layer Dependencies for Mixed-Precision
Post-Training Quantization [7.392278887917975]
本稿では,ネットワーク上のテンソルに異なる数値精度を割り当てる混合精度ポストトレーニング量子化手法を提案する。
実験では,16ビットベースラインの25.48%$,21.69%$,33.28%$に対して,レイテンシの低減を実証した。
論文 参考訳（メタデータ） (2023-06-08T02:18:58Z) - Neural Networks with Quantization Constraints [111.42313650830248]
量子化学習における制約付き学習手法を提案する。
結果の問題は強い双対であり、勾配推定は不要であることを示す。
提案手法は画像分類タスクにおける競合性能を示す。
論文 参考訳（メタデータ） (2022-10-27T17:12:48Z) - DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling [23.8561225168394]
ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。
この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。
DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
論文 参考訳（メタデータ） (2022-10-18T07:03:14Z) - BiTAT: Neural Network Binarization with Task-dependent Aggregated
Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。
コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。
本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文 参考訳（メタデータ） (2022-07-04T13:25:49Z) - Low-Precision Stochastic Gradient Langevin Dynamics [70.69923368584588]
本稿では,低精度のグラジエントランゲヴィンダイナミクスを初めて研究し,性能を犠牲にすることなくコストを大幅に削減できることを示した。
本研究では,各更新ステップの分散を保存したSGLDの新しい量子化関数を開発する。
我々は,低精度のSGLDが,様々なディープラーニングタスクにおいて8ビットしか持たない完全精度のSGLDに匹敵する性能を実現することを実証した。
論文 参考訳（メタデータ） (2022-06-20T17:25:41Z) - Sharpness-aware Quantization for Deep Neural Networks [45.150346855368]
シャープネス・アウェア量子化(SAQ)は,シャープネス・アウェア最小化(SAM)がモデル圧縮に与える影響を探索する新しい手法である。
本研究では,SAQにより量子化モデルの一般化性能が向上し,SOTAの結果が均一に量子化されることを示す。
論文 参考訳（メタデータ） (2021-11-24T05:16:41Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳（メタデータ） (2020-07-14T09:07:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。