論文の概要: On the Relationship between Model Quantization and Model Inversion Attacks
- arxiv url: http://arxiv.org/abs/2610.00382v1
- Date: Wed, 30 Sep 2026 09:17:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.628315
- Title: On the Relationship between Model Quantization and Model Inversion Attacks
- Title（参考訳）: モデル量子化とモデル反転攻撃の関係について
- Abstract要約: モデル量子化は、ニューラルネットワークの重みとアクティベーションの数値的精度を下げ、ストレージと計算コストを下げる。
これらの知見は、実用性を回復しながら反転抵抗を改善した、プライバシーに配慮したポストトレーニング量子化法を導出する。
実験では、複数のメトリクス、ニューラルネットワークアーキテクチャ、顔、ヤシプリント、虹彩認識タスクをカバーしている。
- 参考スコア（独自算出の注目度）: 13.500064157310662
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model quantization reduces the numerical precision of neural network weights and activations to lower storage and computational costs. Model inversion attacks recover or reconstruct sensitive training data or inference inputs from model outputs or intermediate features, so quantization may also alter their effectiveness. However, two questions remain unresolved: How does model quantization affect model inversion? How do data characteristics influence this relationship? To address the first, we bound quantization-induced changes in mutual information between inputs and a categorical variable defined by prediction probabilities, distinguishing informational effects from attack optimization obstacles. To address the second, we identify data-dependent changes in feature distributions and inversion outcomes, with pronounced quantization sensitivity differences at 4 bits. These insights guide a privacy-aware post-training quantization method that improves inversion resistance while recovering utility. It uses a Fisher-type task-sensitivity proxy for budget-aware bit allocation, calibrates activation ranges, and jointly optimizes weight and activation scales and weight-rounding decisions with task-recovery and geometry-retention objectives and scale and rounding regularization. Experiments cover multiple metrics, neural network architectures, and face, palmprint, and iris recognition tasks. On ResNet-50, Palm at 4 bits reduces RL-MIA's strict success from 54% to 26%, while accuracy decreases from 99.01% to 96.55% relative to FP32. Our method also supports output-level defenses: adding Stealthy Shield Defense (SSD, epsilon = 0.1) to Iris at 4.5 bits reduces BREP-MI's strict success from 63.33% to 37.33%, while accuracy decreases from 92.8% to 87.6% relative to quantization alone.
- Abstract（参考訳）: モデル量子化は、ニューラルネットワークの重みとアクティベーションの数値的精度を下げ、ストレージと計算コストを下げる。
モデルインバージョンアタックは、モデル出力または中間特徴からセンシティブなトレーニングデータや推論入力を復元または再構成する。
しかし、2つの疑問は未解決のままである: モデルの量子化はモデルの反転にどのように影響するのか?
データ特性はこの関係にどのように影響しますか?
まず、入力と予測確率で定義されるカテゴリ変数間の相互情報の量子化による変化を、攻撃最適化障害から情報的影響を区別する。
第二に、4ビットの量子化感度差を顕著に表し、特徴分布と反転結果におけるデータ依存的な変化を同定する。
これらの知見は、実用性を回復しながら反転抵抗を改善した、プライバシーに配慮したポストトレーニング量子化法を導出する。
予算対応のビット割り当て、キャラブレートのアクティベーション範囲、およびタスクの回復と幾何学的保持の目的とスケールと丸めの正規化によるウェイトとアクティベーションのスケールとウェイトラウンドの決定を共同で最適化するために、フィッシャー型タスクセンシティブプロキシを使用する。
実験では、複数のメトリクス、ニューラルネットワークアーキテクチャ、顔、ヤシプリント、虹彩認識タスクをカバーしている。
ResNet-50では、4ビットでのPalmはRL-MIAの厳密な成功を54%から26%に削減し、精度はFP32と比較して99.01%から96.55%に低下した。
4.5ビットでアイリスにステルスシールドディフェンス(SSD, epsilon = 0.1)を追加すると、BREP-MIの厳密な成功は63.33%から37.33%に減少し、精度は92.8%から87.6%に低下する。
関連論文リスト
- Low-bit Model Quantization for Deep Neural Networks: A Survey [123.89598730307208]
本稿では、ディープニューラルネットワーク(DNN)における低ビット量子化に向けた最近の5年間の進歩について調査する。
我々は最先端の量子化手法を議論し、それらのコア技術に基づいて8つの主要なカテゴリと24のサブカテゴリに分類する。
我々は、モデル量子化の分野における潜在的研究の機会に光を当てた。
論文 参考訳（メタデータ） (2025-05-08T13:26:19Z) - Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。
SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。
したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
論文 参考訳（メタデータ） (2025-05-01T06:47:45Z) - Augmenting Hessians with Inter-Layer Dependencies for Mixed-Precision
Post-Training Quantization [7.392278887917975]
本稿では,ネットワーク上のテンソルに異なる数値精度を割り当てる混合精度ポストトレーニング量子化手法を提案する。
実験では,16ビットベースラインの25.48%$,21.69%$,33.28%$に対して,レイテンシの低減を実証した。
論文 参考訳（メタデータ） (2023-06-08T02:18:58Z) - Mixed Precision Post Training Quantization of Neural Networks with
Sensitivity Guided Search [7.392278887917975]
混合精度量子化により、異なるテンソルを様々な数値精度のレベルに量子化することができる。
我々は,コンピュータビジョンと自然言語処理の手法を評価し,最大27.59%,34.31%のレイテンシ低減を実証した。
論文 参考訳（メタデータ） (2023-02-02T19:30:00Z) - Quantized Neural Networks for Low-Precision Accumulation with Guaranteed
Overflow Avoidance [68.8204255655161]
本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。
本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
論文 参考訳（メタデータ） (2023-01-31T02:46:57Z) - PD-Quant: Post-Training Quantization based on Prediction Difference
Metric [43.81334288840746]
ポストトレーニング量子化(PTQ)は、ニューラルネットワーク圧縮技術で、完全精度のモデルを低精度のデータ型を使用した量子化モデルに変換する。
適切な量子化パラメータを決定する方法が、現在直面している主要な問題である。
PD-Quantは、グローバル情報を考慮してこの制限に対処する手法である。
論文 参考訳（メタデータ） (2022-12-14T05:48:58Z) - Hessian Aware Quantization of Spiking Neural Networks [1.90365714903665]
ニューロモルフィックアーキテクチャは、可変ビット精度と局所ビット精度の大規模並列計算を可能にする。
SNNトレーニングの現在の勾配に基づく方法は、複数の状態変数を持つ複雑なニューロンモデルを使用する。
我々は、勾配に基づくトレーニングと互換性を保ちつつ、状態変数の数を4倍に削減する単純化されたニューロンモデルを提案する。
論文 参考訳（メタデータ） (2021-04-29T05:27:34Z) - Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech
Recognition [65.7040645560855]
ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。
全精度ベースラインモデルと比較すると,wrの変化は無視できる。
Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
論文 参考訳（メタデータ） (2021-03-31T06:05:40Z) - VS-Quant: Per-vector Scaled Quantization for Accurate Low-Precision
Neural Network Inference [7.886868529510128]
量子化は、訓練されたモデルの浮動小数点重みとアクティベーションをスケールファクターを用いて低ビット幅整数値にマッピングする。
過剰な量子化、過度に精度を低下させると、精度が低下する。
ベクトル単位のスケールファクタは、2レベル量子化スキームを使用する場合、低ビット幅の整数で実装できる。
論文 参考訳（メタデータ） (2021-02-08T19:56:04Z) - Fast Uncertainty Quantification for Deep Object Pose Estimation [91.09217713805337]
深層学習に基づくオブジェクトポーズ推定は、しばしば信頼できない、自信過剰である。
本研究では,6-DoFオブジェクトのポーズ推定のための,シンプルで効率的かつプラグアンドプレイなUQ手法を提案する。
論文 参考訳（メタデータ） (2020-11-16T06:51:55Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳（メタデータ） (2020-07-14T09:07:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。