論文の概要: DurableUn: Quantization-Induced Recovery Attacks in Machine Unlearning

• arxiv url: http://arxiv.org/abs/2605.02196v1
• Date: Mon, 04 May 2026 03:54:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.128649
• Title: DurableUn: Quantization-Induced Recovery Attacks in Machine Unlearning
• Title（参考訳）: DurableUn: 機械学習における量子化による回復攻撃
• Authors: Abdullah Ahmad Khan, Ferdous Sohel,
• Abstract要約: INT4量子化は,bfloat16(BF16)において,モデルがコンプライアンス監査をパスしても,忘れられたコンテンツを復元することを示す。 我々は,NFLoRA方式において,アダプタ空間INT4量子化の下での非学習的ロバスト性に関する最初の体系的研究を行った。 Q-INT4 は FA と RA と並んで標準評価基準として採用されることが求められます。
• 参考スコア（独自算出の注目度）: 8.466251176705423
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning aims to remove specified training data to satisfy privacy regulations such as GDPR. However, existing evaluations assume identical precision at unlearning and deployment, overlooking that production LLMs are deployed at low-bit precision. We show that INT4 quantization systematically restores forgotten content even when models pass compliance audits at bfloat16 (BF16), we term this the quantization recovery attack (QRA). We conduct the first systematic study of unlearning robustness under adapter-space INT4 quantization in the NF4+LoRA regime, evaluating seven methods on LLaMA-3-8B-Instruct across TOFU, MUSE-News, and WikiBio-WPU. INT8 is benign; INT4 induces recovery of up to 22x, worsening with dataset difficulty. We identify the FA-RA-Q-INT4 trilemma: no method simultaneously achieves strong forgetting, high utility, and quantization robustness. A dense Pareto sweep reveals a sharp phase transition once robustness is achieved, retaining accuracy collapses regardless of further tuning. To address this, we propose DURABLEUN-SAF (Sharpness-Aware Forgetting), a quantization-aware objective using Straight-Through Estimator gradients through INT4 rounding. DURABLEUN-SAF is the only method to achieve a stable empirical (0.047, {BF16, INT8, INT4})- durability certificate: Q-INT4= 0.043 +- 0.002, cert rate= 3/3, versus SalUn's cert rate= 1/3 at its own published hyperparameters. We call for Q-INT4 to be adopted as a standard evaluation metric alongside FA and RA.
• Abstract（参考訳）: 機械学習はGDPRのようなプライバシー規制を満たすために、特定のトレーニングデータを削除することを目的としている。 しかし、既存の評価では、LLMが低ビット精度で展開されていることを見越して、アンラーニングとデプロイメントにおいて同じ精度を仮定している。 本稿では,Bfloat16(BF16)において,モデルがコンプライアンス監査をパスしても,INT4量子化が無視されたコンテンツを体系的に復元することを示し,これをQRAと呼ぶ。 我々は,NF4+LoRA方式において,適応空間INT4量子化の下での非学習的ロバスト性に関する最初の体系的研究を行い,TOFU,MUSE-News,WikiBio-WPUを横断するLLaMA-3-8B命令の7つの手法を評価する。 INT8は良心的であり、INT4は最大22倍のリカバリを誘導し、データセットの難しさにより悪化する。 FA-RA-Q-INT4トリレンマを同定する。 密度の高いパレートスイープは、ロバストネスが達成されるとシャープな相転移を示し、さらなるチューニングにかかわらず精度の低下を維持する。 そこで本研究では、INT4ラウンドリングによるストレート・スルー推定器勾配を用いた量子化対象であるDURABLEUN-SAF(Sharpness-Aware Forgetting)を提案する。 DURABLEUN-SAFは安定した実験(0.047, {BF16, INT8, INT4})を実現する唯一の方法である。 Q-INT4 は FA と RA と並んで標準評価基準として採用されることが求められます。

関連論文リスト

• Gated Relational Alignment via Confidence-based Distillation for Efficient VLMs [22.280338887759623]
  VLM(Vision-Language Models)は、強力なマルチモーダル性能を実現するが、デプロイにコストがかかり、トレーニング後の量子化は、しばしばかなりの精度を失う。 本稿では,知識蒸留とQATを統合化するためのフレームワークであるGRACEを提案する。 教師をタスク関連情報のプロキシとして扱うことで,信頼できない監督をフィルタリングするために,信頼度の高い分離蒸留を導入する。
  論文  参考訳（メタデータ） (2026-01-30T08:30:52Z)
• Quantization Blindspots: How Model Compression Breaks Backdoor Defenses [1.8646269335840449]
  標準量子化パイプライン下でのバックドアディフェンスの動作について検討する。 INT8量子化は,攻撃成功率を99%以上に抑えながら,すべての評価された防御の検知率を0%に低下させることがわかった。 我々の結果は、防衛が一般的に評価される方法と、モデルが実際にどのようにデプロイされるかのミスマッチを明らかにします。
  論文  参考訳（メタデータ） (2025-12-06T02:04:32Z)
• INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
  NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。 本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。 FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
  論文  参考訳（メタデータ） (2025-10-29T15:11:53Z)
• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。 FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)
• QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving [52.31791050376249]
  量子化は大規模言語モデル(LLM)の推論を加速させる。 4ビット重み、8ビットアクティベーション、4ビットKVキャッシュを備えたW4A8KV4量子化アルゴリズムQoQを導入する。 QServeは、Llama-3-8BをA100で1.2倍、L40Sで1.4倍、Qwen-721.5BをA100で2.4倍、L40Sで3.5倍、達成可能な最大機能を改善する。
  論文  参考訳（メタデータ） (2024-05-07T17:59:30Z)
• Understanding INT4 Quantization for Transformer Models: Latency Speedup, Composability, and Failure Cases [24.34969722921442]
  W4A4量子化は、エンコーダのみのモデルとエンコーダデコーダのみのモデルに対して、無視可能な精度劣化を起こさないが、デコーダのみのモデルでは相当な精度低下を引き起こすことを示す。 我々は、異なる量子化戦略をサポートする高度に最適化されたエンドツーエンドのW4A4エンコーダ推論パイプラインを開発した。
  論文  参考訳（メタデータ） (2023-01-27T22:44:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。