論文の概要: Modeling LLM Unlearning as an Asymmetric Two-Task Learning Problem

• arxiv url: http://arxiv.org/abs/2604.14808v1
• Date: Thu, 16 Apr 2026 09:31:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.823895
• Title: Modeling LLM Unlearning as an Asymmetric Two-Task Learning Problem
• Title（参考訳）: LLMアンラーニングを非対称な2段階学習問題としてモデル化する
• Authors: Zeguan Xiao, Siqing Li, Yong Wang, Xuetao Wei, Jian Yang, Yun Chen, Guanhua Chen,
• Abstract要約: 機械の非学習を非対称な2タスク問題として再放送する: 保持は主目的であり、忘れることは補助的である。 コンフリクト・アウェアの組み合わせからタスク固有の勾配抽出を分離する保持優先勾配合成フレームワークを提案する。 以上の結果から,損失の再分散ではなく,階層構造を再構築することが,未学習の留意点を緩和する鍵であることを示唆した。
• 参考スコア（独自算出の注目度）: 25.52694747839162
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning for large language models (LLMs) aims to remove targeted knowledge while preserving general capability. In this paper, we recast LLM unlearning as an asymmetric two-task problem: retention is the primary objective and forgetting is an auxiliary. From this perspective, we propose a retention-prioritized gradient synthesis framework that decouples task-specific gradient extraction from conflict-aware combination. Instantiating the framework, we adapt established PCGrad to resolve gradient conflicts, and introduce SAGO, a novel retention-prioritized gradient synthesis method. Theoretically, both variants ensure non-negative cosine similarity with the retain gradient, while SAGO achieves strictly tighter alignment through constructive sign-constrained synthesis. Empirically, on WMDP Bio/Cyber and RWKU benchmarks, SAGO consistently pushes the Pareto frontier: e.g., on WMDP Bio (SimNPO+GD), recovery of target model MMLU performance progresses from 44.6% (naive) to 94.0% (+PCGrad) and further to 96.0% (+SAGO), while maintaining comparable forgetting strength. Our results show that re-shaping gradient geometry, rather than re-balancing losses, is the key to mitigating unlearning-retention trade-offs.
• Abstract（参考訳）: 大規模言語モデル(LLM)の機械学習は、汎用性を維持しながら、対象とする知識を取り除くことを目的としている。 本稿では,LLMアンラーニングを非対称な2タスク問題として再考する。 この観点から,コンフリクト・アウェアの組み合わせからタスク固有の勾配抽出を分離する,保持優先の勾配合成フレームワークを提案する。 この枠組みを実証し、確立されたPCGradを適用して勾配競合を解消し、新しい残留優先勾配合成法であるSAGOを導入する。 理論的には、どちらの変種も残留勾配と非負のコサイン類似性を保証する一方、SAGOは構成的符号制約合成によりより厳密な配位を達成する。 実証的には、WMDP Bio/Cyber と RWKU のベンチマークでは、SAGO は一貫してパレートフロンティアをプッシュしている: e g , on WMDP Bio (SimNPO+GD), recovery of target model MMLU performance progresss to 44.6% (naive) to 94.0% (+PCGrad) and further 96.0% (+SAGO)。 以上の結果から,損失の再分散ではなく,階層構造を再構築することが,未学習の留意点を緩和する鍵であることを示唆した。

関連論文リスト

• Gradient Similarity Surgery in Multi-Task Deep Learning [1.2299544525529198]
  本研究は、最適化過程を導くために、勾配等級類似度尺度に基づく新しい勾配手術法を導入する。 similarity-Aware Momentum Gradient Surgery (SAM-GS) は1次運動量の勾配等化と変調を採用する。
  論文  参考訳（メタデータ） (2025-06-06T14:40:50Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• A Unified Gradient-based Framework for Task-agnostic Continual Learning-Unlearning [30.2773429357068]
  近年の深層モデルの進歩は、知識獲得のための連続学習(CL)とデータ除去のための機械アンラーニング(MU)を組み合わせたインテリジェントシステムの必要性を強調している。 Kullback-Leibler の発散最小化に基づく統一最適化フレームワークにより,本質的な接続を明らかにする。 実験により、提案したUG-CLUフレームワークは、複数のデータセットやモデルアーキテクチャにわたるインクリメンタルラーニング、正確なアンラーニング、知識安定性を効果的に調整することを示した。
  論文  参考訳（メタデータ） (2025-05-21T06:49:05Z)
• SHA256 at SemEval-2025 Task 4: Selective Amnesia -- Constrained Unlearning for Large Language Models via Knowledge Isolation [12.838593066237452]
  大規模言語モデル(LLM)は、トレーニング中に頻繁にセンシティブな情報を記憶し、公開可能なモデルをデプロイする際にリスクを生じさせる。 本稿では, 因果媒介分析と層固有の最適化を組み合わせた, 対象未学習におけるSemEval-2025タスク4の解を提案する。
  論文  参考訳（メタデータ） (2025-04-17T15:05:40Z)
• GRU: Mitigating the Trade-off between Unlearning and Retention for LLMs [34.90826139012299]
  非学習過程における更新の方向を規定する改良されたフレームワークであるグラデーション・リクティファイド・アンラーニング(GRU)を提案する。 GRUは簡単に実装でき、様々な確立された未学習ベンチマークで実践的な効果を示す。
  論文  参考訳（メタデータ） (2025-03-12T07:08:54Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。 実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。