論文の概要: Robust Machine Unlearning for Quantized Neural Networks via Adaptive Gradient Reweighting with Similar Labels

• arxiv url: http://arxiv.org/abs/2503.13917v1
• Date: Tue, 18 Mar 2025 05:22:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:15:12.826099
• Title: Robust Machine Unlearning for Quantized Neural Networks via Adaptive Gradient Reweighting with Similar Labels
• Title（参考訳）: 類似ラベルを用いた適応勾配重み付けによる量子ニューラルネットワークのロバスト機械学習
• Authors: Yujia Tong, Yuze Wang, Jingling Yuan, Chuang Hu,
• Abstract要約: モデル量子化は、低ビットパラメータ表現によるエッジデバイスへのディープニューラルネットワークの効率的な展開を可能にする。 既存のマシン・アンラーニング(MU)手法は量子化されたネットワークにおける2つの基本的な制限に対処できない。 本稿では,量子化モデルのための学習フレームワークQ-MULを提案する。
• 参考スコア（独自算出の注目度）: 5.868949328814509
• License:
• Abstract: Model quantization enables efficient deployment of deep neural networks on edge devices through low-bit parameter representation, yet raises critical challenges for implementing machine unlearning (MU) under data privacy regulations. Existing MU methods designed for full-precision models fail to address two fundamental limitations in quantized networks: 1) Noise amplification from label mismatch during data processing, and 2) Gradient imbalance between forgotten and retained data during training. These issues are exacerbated by quantized models' constrained parameter space and discrete optimization. We propose Q-MUL, the first dedicated unlearning framework for quantized models. Our method introduces two key innovations: 1) Similar Labels assignment replaces random labels with semantically consistent alternatives to minimize noise injection, and 2) Adaptive Gradient Reweighting dynamically aligns parameter update contributions from forgotten and retained data. Through systematic analysis of quantized model vulnerabilities, we establish theoretical foundations for these mechanisms. Extensive evaluations on benchmark datasets demonstrate Q-MUL's superiority over existing approaches.
• Abstract（参考訳）: モデル量子化は、低ビットパラメータ表現によるエッジデバイスへのディープニューラルネットワークの効率的なデプロイを可能にするが、データプライバシ規制の下での機械学習(MU)を実装する上で重要な課題を提起する。 完全精度モデル用に設計された既存のMUメソッドは、量子化されたネットワークにおける2つの基本的な制限に対処できない。 1)データ処理中のラベルミスマッチによるノイズ増幅 2) 訓練中, 忘れられたデータと保持されたデータとのバランスが緩やかであった。 これらの問題は、量子化されたモデルの制約されたパラメータ空間と離散最適化によって悪化する。 量子化モデルのための学習フレームワークQ-MULを提案する。 我々の手法は2つの重要な革新をもたらす。 1)類似ラベルの割り当ては、ノイズ注入を最小限に抑えるために、ランダムラベルを意味的に一貫した代替品に置き換え、 2)Adaptive Gradient Reweightingは、忘れられたデータと保持されたデータからのパラメータ更新コントリビューションを動的に調整する。 量子化モデル脆弱性の体系的解析を通じて、これらのメカニズムの理論的基礎を確立する。 ベンチマークデータセットの大規模な評価は、既存のアプローチよりもQ-MULの方が優れていることを示している。

関連論文リスト

• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• Discrete Randomized Smoothing Meets Quantum Computing [40.54768963869454]
  重畳における入力バイナリデータの摂動をエンコードし、量子振幅推定(QAE)を用いてモデルへの呼び出し数を2次的に削減する方法を示す。 さらに、画像、グラフ、テキストに対するアプローチの広範な評価を可能にする新しいバイナリ脅威モデルを提案する。
  論文  参考訳（メタデータ） (2024-08-01T20:21:52Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Retraining-free Model Quantization via One-Shot Weight-Coupling Learning [41.299675080384]
  混合精度量子化(MPQ)は、層に不均一なビット幅を割り当てることで、モデルを効果的に圧縮することを提唱する。 MPQは典型的には、探索訓練された2段階のプロセスに編成される。 本稿では,混合精度モデル圧縮のためのワンショットトレーニング探索パラダイムを考案する。
  論文  参考訳（メタデータ） (2024-01-03T05:26:57Z)
• Evaluation of machine learning architectures on the quantification of epistemic and aleatoric uncertainties in complex dynamical systems [0.0]
  不確実量化(英: Uncertainty Quantification、UQ)は、モデル誤差の自己評価値である。 ガウス過程とファミリーUQ強化ニューラルネットワークの両方を含む機械学習技術について検討する。 検証データ上の正規化残差の分布と推定不確かさの分布の2つの指標を用いて,UQ精度(モデル精度とは異なる)を評価する。
  論文  参考訳（メタデータ） (2023-06-27T02:35:25Z)
• Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
  画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:20:54Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)
• ECQ$^{\text{x}}$: Explainability-Driven Quantization for Low-Bit and Sparse DNNs [13.446502051609036]
  我々はディープニューラルネットワーク(DNN)のための新しい量子化パラダイムを開発し、記述する。 本手法は,説明可能なAI(XAI)の概念と情報理論の概念を活用する。 最終的な目標は、最高の情報内容の量子化クラスタにおいて、最も関連性の高い重みを維持することである。
  論文  参考訳（メタデータ） (2021-09-09T12:57:06Z)
• Zero-shot Adversarial Quantization [11.722728148523366]
  ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。 これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。 強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
  論文  参考訳（メタデータ） (2021-03-29T01:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。