論文の概要: Not Every Change Is Necessary: Recoverable Drift in Large Language Model Unlearning

• arxiv url: http://arxiv.org/abs/2610.11915v1
• Date: Thu, 08 Oct 2026 13:12:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.03879
• Title: Not Every Change Is Necessary: Recoverable Drift in Large Language Model Unlearning
• Title（参考訳）: すべての変更を必要としない - 大規模言語モデルの学習で回復可能なドリフト
• Abstract要約: 提案するPropose-Then-Project Unlearning (PTP-U) は,対象を忘れることと非目標能力の回復を組み合わせたフレームワークである。 PTP-Uは評価手法の中で最強の忘れ-保留トレードオフを達成する。
• 参考スコア（独自算出の注目度）: 13.710756765878761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine unlearning in large language models aims to remove unwanted knowledge while preserving the model's remaining capabilities. Although existing methods use retention objectives or restrict where edits occur, achieving the desired forgetting level can still leave collateral changes that impair non-target behavior. Our recovery comparisons suggest that some of these changes can be reversed while preserving observed forgetting performance. In this work, we present Propose-Then-Project Unlearning (PTP-U), a framework that combines targeted forgetting with the recovery of non-target capabilities. PTP-U first applies local analytic edits to weaken target knowledge associations, then aligns non-target output distributions with those of the original model to recover capabilities while maintaining fixed forgetting constraints. Both stages serve a common goal: satisfying the forgetting requirements while preserving fluent generation and performance on non-target tasks. Across three benchmarks, PTP-U achieves the strongest forgetting-retention trade-off among evaluated methods, reaching 81.22%-91.03% forgetting while preserving 94.20% non-target utility on average. At matched forgetting, PTP-U consistently retains higher non-target utility.
• Abstract（参考訳）: 大規模言語モデルの機械学習は、モデルの残りの能力を保ちながら、不要な知識を取り除くことを目的としている。 既存のメソッドでは、保持目的や編集の場所を制限しているが、望まれる忘れるレベルを達成するには、非ターゲットの動作を損なう副次的な変更を残す必要がある。 我々のリカバリ比較では、これらの変更のいくつかは、観測された忘れている性能を維持しながら、逆転可能であることを示唆している。 そこで本研究では,対象を忘れることと非目標能力の回復を両立させるフレームワークであるPropose-Then-Project Unlearning(PTP-U)を提案する。 PTP-Uは、まず、対象とする知識関連を弱めるために局所的な解析的編集を適用し、それからターゲットでない出力分布を元のモデルと整列させて、固定された忘れる制約を維持しながら能力を回復する。 どちらのステージも共通の目標 – 非ターゲットタスク上での流動的な生成とパフォーマンスを維持しながら,要件を忘れること – を提供する。 3つのベンチマークで、PTP-Uは評価された方法の中で最大の忘れ-保留トレードオフを達成し、平均94.20%の非ターゲットユーティリティを保ちながら81.22%-91.03%の忘れを達成した。 一致した忘れ物では、PTP-Uは高い非ターゲットユーティリティを保持し続ける。

関連論文リスト

• SAGE: Retain-Aware Post-Hoc Sanitization of Final Unlearning Vector [32.30497427199285]
  現在のアンラーニング手法は、すべて、アンラーニングと保持の間のトレードオフを含んでいる。 また, 保持行動バイアスは, 保持に影響を及ぼす未学習手法による損傷の定量化にも有効であることがわかった。 これにより、ポストホックアプローチを用いて、未学習のメソッドの保持性能を復元できる。
  論文  参考訳（メタデータ） (2026-06-16T08:29:43Z)
• How Hard Can It Be? Hardness-Aware Multi-Objective Unlearning [75.97729821186815]
  機械学習は、プライバシー、著作権、バイアスの懸念による特定の忘れられたトレーニングデータの影響を取り除くことを目的としている。 我々は,品質の特定の改善を保証することを目的として,未学習のアルゴリズムを導出する。 私たちの硬度測定は、ユーティリティの劣化が避けられない場合にユーザーに通知します。
  論文  参考訳（メタデータ） (2026-06-01T11:49:47Z)
• STABLE: Gated Continual Learning for Large Language Models [0.0]
  STABLEは、シーケンシャルな更新時に忘れることを制限する、ゲート付き連続的なセルフ編集フレームワークである。 各候補編集は3つの指標のうちの1つを用いて安定性の予算に対して評価される。 Qwen-2.5-7Bモデルの実験では、ゲーティングは適応性を保ちながら忘れを効果的に軽減することを示した。
  論文  参考訳（メタデータ） (2025-10-17T16:14:05Z)
• Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models [14.321060805197874]
  大規模言語モデル(LLM)が現実の環境でデプロイされるようになると、機密性、時代遅れ、あるいはプロプライエタリな情報を漏らさなくてはならなくなる。 既存の未学習の手法は、忘れと保持を規則化されたトレードオフとして定式化し、両方の目的を1つのスカラー化された損失に組み合わせる。 制約付き最適化問題として,LLMアンラーニングの新たな定式化を提案する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:23Z)
• UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
  大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。 UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T15:53:28Z)
• SPEED: Scalable, Precise, and Efficient Concept Erasure for Diffusion Models [56.83154571623655]
  モデルパラメータを直接編集する効率的な概念消去手法であるSPEEDを導入する。 Speedyは、パラメータ更新がターゲット以外の概念に影響しないモデル編集スペースであるnullスペースを検索する。 たった5秒で100のコンセプトを消去しました。
  論文  参考訳（メタデータ） (2025-03-10T14:40:01Z)
• Goal-Conditioned Q-Learning as Knowledge Distillation [136.79415677706612]
  目標条件設定における非政治強化学習と知識蒸留との関連について検討する。 これは,目標の空間が高次元である場合に,目標条件付き非政治強化学習の性能を向上させることを実証的に示す。 また,複数のスパース目標を同時に達成した場合に,この手法を効果的に学習できることを示す。
  論文  参考訳（メタデータ） (2022-08-28T22:01:10Z)
• Bridging the Gap Between Target Networks and Functional Regularization [61.051716530459586]
  ターゲットネットワークは暗黙の正則化器として機能し、いくつかのケースでは有益であるが、欠点もある。 本稿では,フレキシブルな関数正規化法と関数空間における凸正規化法を提案する。 この結果から,機能正規化はTarget Networksのドロップイン代替として利用でき,結果として性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2021-06-04T17:21:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。