論文の概要: QUAIL: Quantization Aware Unlearning for Mitigating Misinformation in LLMs

• arxiv url: http://arxiv.org/abs/2601.15538v1
• Date: Wed, 21 Jan 2026 23:48:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 21:37:20.449479
• Title: QUAIL: Quantization Aware Unlearning for Mitigating Misinformation in LLMs
• Title（参考訳）: QUIIL:LLMにおける誤情報検出のための学習を意識した量子化
• Authors: Himanshu Mishra, Kanwal Mehreen,
• Abstract要約: 低ビット量子化が機械学習を損なう理由を分析する。 量子化を意識したアンラーニング手法を提案する。 提案手法は, 4ビット量子化下での忘れを保存し, 既存の手法は忘れた知識をほぼ完全に復元する。
• 参考スコア（独自算出の注目度）: 0.16114012813668935
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Machine unlearning aims to remove specific knowledge (e.g., copyrighted or private data) from a trained model without full retraining. In practice, models are often quantized (e.g., 4-bit) for deployment, but we find that quantization can catastrophically restore forgotten information [1]. In this paper, we (1) analyze why low-bit quantization undermines unlearning, and (2) propose a quantization-aware unlearning method to mitigate this. We first compute weight-change statistics and bucket overlaps in quantization to show that typical unlearning updates are too small to cross quantization thresholds. Building on this insight, we introduce a logits space hinge loss: for each forget example, we force the output logits of the unlearned model to differ from the original model by at least a margin (half the quantization step). This ensures forgotten examples remain distinguishable even after quantization. We evaluate on language and classification tasks (including a Twitter misinformation dataset) and show our method preserves forgetting under 4-bit quantization, whereas existing methods almost entirely recover the forgotten knowledge.
• Abstract（参考訳）: 機械学習の目的は、トレーニングされたモデルから特定の知識(著作権、プライベートデータなど)を、完全なリトレーニングなしで取り除くことである。 実際には、モデルは配置のために量子化されることが多い(例:4ビット)が、量子化は忘れられた情報を破滅的に復元する [1]。 本稿では,(1)低ビット量子化が非学習を損なう理由を分析し,(2)これを緩和するための量子化を意識した未学習法を提案する。 我々はまず、量子化における重み付けとバケットの重なりを計算し、典型的な未学習更新が量子化しきい値を越えるには小さすぎることを示す。 この知見に基づいて、我々はロジッツ空間のヒンジ損失(英語版)を導入する: それぞれの忘れ物例に対して、未学習モデルの出力ロジッツを、少なくともマージン(量子化ステップの半分)で元のモデルと異なるように強制する。 これにより、量子化後も忘れられた例は識別可能である。 言語と分類タスク(Twitterの誤情報データセットを含む)を評価し、4ビットの量子化の下での忘れを保存できることを示す一方、既存の手法は忘れられた知識をほぼ完全に回復する。

関連論文リスト

• GuidedQuant: Large Language Model Quantization via Exploiting End Loss Guidance [20.85642850555899]
  トレーニング後の量子化は、大規模言語モデルのメモリと推論遅延を低減するための重要なテクニックである。 本稿では,エンドロスからの勾配情報を量子化対象に組み込む新しい量子化手法である GuidedQuant を提案する。 GuidedQuantは、ウェイトオンリーのスカラー、ウェイトオンリーのベクトル、ウェイト・アンド・アクティベーションの量子化にまたがる最先端の量子化手法の性能を一貫して向上させる。
  論文  参考訳（メタデータ） (2025-05-11T14:55:09Z)
• Catastrophic Failure of LLM Unlearning via Quantization [36.524827594501495]
  未学習のモデルに量子化を適用することで、「忘れられた」情報を復元できることを示す。 実用性制約のある未学習の手法では、未学習モデルは、意図された忘れられた知識の21%を完全な精度で保持する。
  論文  参考訳（メタデータ） (2024-10-21T19:28:37Z)
• MUSE: Machine Unlearning Six-Way Evaluation for Language Models [109.76505405962783]
  言語モデル(LM)は、プライベートおよび著作権のあるコンテンツを含む大量のテキストデータに基づいて訓練される。 総合的な機械学習評価ベンチマークであるMUSEを提案する。 人気のある8つのアンラーニングアルゴリズムがハリー・ポッターの本やニュース記事をいかに効果的に解き放つかをベンチマークする。
  論文  参考訳（メタデータ） (2024-07-08T23:47:29Z)
• Ticketed Learning-Unlearning Schemes [57.89421552780526]
  そこで我々は,学習のためのチケット付きモデルを提案する。 広義のコンセプトクラスに対して,空間効率のよいチケット付き学習スキームを提供する。
  論文  参考訳（メタデータ） (2023-06-27T18:54:40Z)
• Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers [71.70205894168039]
  そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。 本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T07:53:50Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。