論文の概要: Adaptive Localization of Knowledge Negation for Continual LLM Unlearning

• arxiv url: http://arxiv.org/abs/2611.02620v1
• Date: Mon, 02 Nov 2026 06:48:54 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:40:41.949899
• Title: Adaptive Localization of Knowledge Negation for Continual LLM Unlearning
• Title（参考訳）: 連続LLM学習における知識否定の適応的局所化
• Abstract要約: 大型言語モデル(LLM)は、実用性を維持しながら有害または違法なコンテンツを除去するために使用することができる。 関心が高まりつつあるにもかかわらず、現実世界のシナリオでよく見られる連続的アンラーニングの課題はいまだ過小評価されている。 そこで本研究では,動的マスキングによるトレーニング勾配の調整と,タスク間関係に基づく適応的アンラーニングインテンシティの調整を行うALKNを提案する。
• 参考スコア（独自算出の注目度）: 86.44540602649028
• License:
• Abstract: With the growing deployment of large language models (LLMs) across diverse domains, concerns regarding their safety have grown substantially. LLM unlearning has emerged as a pivotal approach to removing harmful or unlawful content while maintaining utility. Despite increasing interest, the challenges of continual unlearning, which is common in real-world scenarios, remain underexplored. Successive unlearning tasks often lead to intensified utility degradation. To effectively unlearn targeted knowledge while preserving LLM utility, it is essential to minimize changes in model parameters by selectively updating those linked to the target knowledge, thereby ensuring other knowledge remains unaffected. Building on the task vector framework, we propose a new method named ALKN (Adaptive Localization of Knowledge Negation), which uses dynamic masking to sparsify training gradients and adaptively adjusts unlearning intensity based on inter-task relationships. Comprehensive experiments across three well-established LLM unlearning datasets demonstrate that our approach consistently outperforms baseline methods in both unlearning effectiveness and utility retention under continual unlearning settings.
• Abstract（参考訳）: さまざまなドメインにまたがる大規模言語モデル(LLM)のデプロイの増加に伴い、その安全性に関する懸念が大幅に高まっている。 LLMアンラーニングは、実用性を維持しながら有害または違法なコンテンツを除去する重要なアプローチとして現れている。 関心が高まりつつあるにもかかわらず、現実世界のシナリオでよく見られる連続的アンラーニングの課題はいまだ過小評価されている。 連続的な未学習タスクは、しばしば強化されたユーティリティ劣化を引き起こす。 LLMユーティリティを保ちながら標的知識を効果的に解放するためには、対象知識に関連付けられた情報を選択的に更新することにより、モデルパラメータの変化を最小限に抑え、他の知識が影響を受けないようにすることが不可欠である。 タスクベクトルフレームワーク上に構築されたALKN(Adaptive Localization of Knowledge Negation)と呼ばれる新しい手法を提案する。 確立された3つのLLMアンラーニングデータセットの総合的な実験により、我々のアプローチは、継続的なアンラーニング設定下での非ラーニングの有効性と実用性維持の両方において、ベースライン手法を一貫して上回っていることが示された。

関連論文リスト

• CURE:Circuit-Aware Unlearning for LLM-based Recommendation [34.80441850684431]
  本稿では,モデルコンポーネントを機能的に異なるサブセットに分解し,それを選択的に更新する回路認識アンラーニングフレームワークを提案する。 実世界のデータセットの実験では、我々のアプローチは既存のベースラインよりも効果的なアンラーニングを実現している。
  論文  参考訳（メタデータ） (2026-04-04T23:13:55Z)
• KUDA: Knowledge Unlearning by Deviating Representation for Large Language Models [26.418820118903852]
  大規模言語モデル(LLM)は、多種多様なコーパスの事前学習を通じて大量の知識を得る。 LLMのアンラーニングは、トレーニングデータにおける機密性、著作権、有害なコンテンツに関連するリスクを減らすための有望なテクニックである。 本研究では,LLMの知識レベルでの効果的な学習を実現するために,Deviating representAtion (KUDA) を用いた知識未学習を提案する。
  論文  参考訳（メタデータ） (2026-02-22T17:16:49Z)
• MLLMEraser: Achieving Test-Time Unlearning in Multimodal Large Language Models through Activation Steering [36.80441487363007]
  MLLMEraserは、テスト時間アンラーニングのための入力対応、トレーニング不要のフレームワークである。 逆摂動型知識-リコール画像-テキストペアを対比してマルチモーダル消去方向を構築する。 LLaVA-1.5とQwen-2.5-VLの実験では、MLLMEraserは最先端MLLMの未学習ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-10-05T14:20:17Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。