論文の概要: Quantization-Robust Unlearning through the Lens of Retain-Forget Loss Landscapes Interaction

• arxiv url: http://arxiv.org/abs/2609.27355v1
• Date: Wed, 23 Sep 2026 04:55:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.889136
• Title: Quantization-Robust Unlearning through the Lens of Retain-Forget Loss Landscapes Interaction
• Title（参考訳）: ランドスケープ相互作用のレンズによる量子化・ロバスト学習
• Abstract要約: Unlearningは、プライベートまたは著作権のあるトレーニングデータの影響を取り除くことでコンプライアンスを保証する。 未学習効果は, モデルユーティリティよりも過度に劣化し, 著しく弱まることが観察された。 本稿では,全体のモデルユーティリティを維持しながら,量子化に頑健な非学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 44.29535234629844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unlearning ensures LLM compliance by removing the influence of private or copyrighted training data. However, since LLM models typically undergo post-training compression, like quantization, in practical deployment, it has been observed that the unlearning effect can be substantially weakened, with the forgetting behavior degrading more severely than that of model utility. This paper proposes a quantization-robust unlearning framework that makes forgetting robust to quantization while maintaining overall model utility. We analyze this gap through the lens of loss landscape. Specifically, our analysis reveals a curvature-based criteria that pinpoints sensitive weights in the unlearned model that leads to both non-robust forgetting and reduced utility. We therefore propose sensitivity-guided noisy regularization, which is applied on the sensitive parameters to steer the model convergence towards a smoother minima of uniformly low forget and retain losses. Balancing unlearning and utility, we further propose forget-critical optimization, which updates only forget-critical layers, preserving most of the network to retain useful knowledge. Extensive experiments on the MUSE and TOFU benchmarks across multiple LLM unlearning algorithms show that our approach achieves substantially more quantization-resilient forgetting while maintaining utility.
• Abstract（参考訳）: アンラーニングは、個人または著作権のあるトレーニングデータの影響を取り除き、LCMコンプライアンスを保証する。 しかし、LLMモデルは量子化のような後学習圧縮を実践的に実施しているため、非学習効果は大幅に弱められ、忘れることの挙動はモデルユーティリティよりもひどく低下することが観察されている。 本稿では,全体のモデルユーティリティを維持しながら,量子化に頑健な非学習フレームワークを提案する。 我々はこのギャップを損失景観のレンズを通して解析する。 特に,本研究では,未学習モデルの重みをピンポイントする曲率に基づく基準を明らかにした。 そこで, 感度誘導型雑音正規化法を提案し, モデル収束を均一に低次元のスムーズなミニマへ誘導し, 損失を抑える。 未学習とユーティリティのバランスをとることで、忘れクリティカルなレイヤのみを更新し、ネットワークの大部分を保護して有用な知識を保持する、忘れクリティカルな最適化をさらに提案する。 複数のLLMアンラーニングアルゴリズムに対するMUSEおよびTOFUベンチマークの大規模な実験により、本手法は実用性を維持しながら、より量子化耐性のある忘れを著しく向上することが示された。

関連論文リスト

• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• MeGU: Machine-Guided Unlearning with Target Feature Disentanglement [73.49657372882082]
  本稿では,概念意識の再調整を通じて学習をガイドする新しいフレームワークを提案する。 MeGUは制御的かつ選択的に忘れることを可能にし、アンダーアンラーニングとオーバーアンラーニングの両方を効果的に緩和する。
  論文  参考訳（メタデータ） (2026-02-19T05:20:31Z)
• Downgrade to Upgrade: Optimizer Simplification Enhances Robustness in LLM Unlearning [25.53799024782883]
  大言語モデル(LLM)は、既存のモデルから望ましくないデータや知識の影響を外科的に除去することを目的としている。 最近の知見は、ウェイト量子化や微調整のような未学習操作が、意図した忘れを迅速に中和できることを示している。
  論文  参考訳（メタデータ） (2025-10-01T10:50:14Z)
• OFMU: Optimization-Driven Framework for Machine Unlearning [5.100622189286672]
  大規模言語モデルは、ユーザ要求、著作権のある資料、時代遅れの情報など、特定の知識を解放する能力を必要としている。 我々は,保留期間を保ちながら忘れを明示的に優先順位付けするペナルティベースの二段階最適化フレームワークOFMUを提案する。 OFMUは既存のアンラーニング手法を有効性と有効性の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-09-26T15:31:32Z)
• Simplicity Prevails: Rethinking Negative Preference Optimization for LLM Unlearning [45.64632177923583]
  本研究は、不要なデータの影響を取り除くことを目的として、大規模言語モデル(LLM)アンラーニングの問題を研究する。 未学習の需要が増えているにもかかわらず、技術的に地平線を画した最適化フレームワークは欠如している。 我々はSimNPOと呼ばれるシンプルで効果的なアンラーニング最適化フレームワークを提案し、参照モデルへの依存をなくすことによる「単純さ」がアンラーニングの恩恵をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-10-09T17:58:12Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。