論文の概要: Not All Change Is Damage: Update-Matched Unlearning for Large Language Models

• arxiv url: http://arxiv.org/abs/2610.21230v1
• Date: Thu, 15 Oct 2026 04:19:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.177491
• Title: Not All Change Is Damage: Update-Matched Unlearning for Large Language Models
• Title（参考訳）: すべての変更が損傷する訳ではない - 大規模言語モデルのためのアップデートマッチアンラーニング
• Abstract要約: Unlearningは、大きな言語モデルから選択した知識を取り除き、有用な機能を維持しながら、プライバシと安全性のリスクを軽減することを目的としている。 既存の防御は、有用な能力を保ちながら模擬的な再学習を訓練するが、低い再学習だけでは、一般的な可塑性の喪失と選択的な抵抗を区別することはできない。 我々は、同じモデルと、同じ未学習モデルからの未修正参照に対して、同じシミュレートされた再学習更新を適用する更新マッチングアンラーニング(UMU)を提案する。
• 参考スコア（独自算出の注目度）: 12.806425847929395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unlearning aims to remove selected knowledge from large language models to mitigate privacy and safety risks while preserving useful capabilities. For models that continue to be fine-tuned after release, this goal is insufficient: they must also resist relearning the deleted knowledge while preserving plasticity, the ability to learn new tasks. Existing defenses train against simulated relearning while trying to preserve useful capabilities, but low relearning alone cannot distinguish selective resistance from a general loss of plasticity. Evaluating preservation after an update requires deciding what the updated model should remain close to. A pre-update reference penalizes useful changes induced by the update simply because they depart from earlier outputs. We therefore formulate the reference-timing hypothesis that, at comparable target suppression, an update-matched reference better preserves plasticity than a pre-update one. To test and address this hypothesis, we propose Update-Matched Unlearning (UMU), which applies the same simulated relearning update to the defended model and to an undefended reference initialized from the same unlearned model, and uses new-task learning to guide model selection. Extensive experiments on TOFU and FaithUn with Llama and Qwen models show that UMU improves both relearning resistance and plasticity across all three base unlearning methods, lowering harmful and benign relearning by 30.4 and 9.9 points on average while raising new-task accuracy by 3.5 points. When the reference does not receive the update, relearning remains similarly low but new-task accuracy falls below the base method, supporting the reference-timing hypothesis and showing that robust unlearning should prevent recovery selectively without suppressing learning itself.
• Abstract（参考訳）: Unlearningは、大きな言語モデルから選択した知識を取り除き、有用な機能を維持しながら、プライバシと安全性のリスクを軽減することを目的としている。 リリース後も微調整を続けるモデルでは、この目標には不足がある — 可塑性を維持しながら、削除された知識の再学習にも抵抗しなければなりません。 既存の防御は、有用な能力を保ちながら模擬的な再学習を訓練するが、低い再学習だけでは、一般的な可塑性の喪失と選択的な抵抗を区別することはできない。 更新後の保存を評価するには、更新されたモデルに近づいたままにしておく必要がある。 更新前の参照は、以前の出力から外れただけで更新によって誘導される有用な変更を罰する。 したがって、比較対象抑制において、更新適合参照は、更新前の参照よりも可塑性を保存しやすいという基準刺激仮説を定式化する。 この仮説を検証・解決するために、同じシミュレーションされた再学習更新を、同じ未学習モデルから初期化された未定義参照に適用し、新しいタスク学習を用いてモデル選択を誘導するUMU(Update-Matched Unlearning)を提案する。 Llama と Qwen のモデルを用いたTOFU と FaithUn の広範囲にわたる実験により、UMU は3つの基礎的未学習の手法で再学習抵抗と可塑性の両方を改善し、有害な再学習と良性の再学習を平均30.4 と 9.9 の値で減らし、新しいタスクの精度を3.5 ポイント向上した。 参照が更新を受けていない場合、再学習も同様に低いが、新しいタスクの精度はベースメソッド以下に低下し、参照最適化仮説をサポートし、堅牢な未学習は学習自体を抑えることなく、選択的にリカバリを防止すべきであることを示す。

関連論文リスト

• Off-Policy Merging Beats On-Policy Self-Distillation for Continual Learning [27.76520123641252]
  政治以外の合併は継続学習においてOPSDに勝っていることを示す。 SFTが新しいデータから有用なシグナルを学習できることを最初に示すが、その更新を素直に適用することは、既存の機能に干渉する。 本研究は,RL学習モデルにおける継続学習の必要性として,政治教育に挑戦する。
  論文  参考訳（メタデータ） (2026-10-05T06:40:34Z)
• Test-Time Unlearning via Sparse Autoencoder [55.4290003355764]
  ARIAは,モデルウェイトをそのまま残して,世代が無視関連状態に入る場合にのみ,不要な知識へのアクセスをゲートするテスト時アンラーニング手法である。 ARIAは、思考モデルと命令モデルの両方にわたるウェイトベースベースラインに対する忘れがちなトレードオフを改善します。
  論文  参考訳（メタデータ） (2026-09-14T18:58:09Z)
• Inference-Time Machine Unlearning via Gated Activation Redirection [1.1699531043716684]
  ゲーテッド・アクティベーション・リダイレクト(GUARD-IT)による推論時間学習の導入 GUARD-ITは入力依存のアクティベーションステアリングを推論時に解き放ち、モデルの重みはそのまま残す。 TOFUとMUSEの実験では、GUARD-ITは3つのモデルスケールで12の勾配ベースラインと一致するか、あるいは超えている。
  論文  参考訳（メタデータ） (2026-05-12T21:26:25Z)
• UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
  大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。 UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T15:53:28Z)
• UPCORE: Utility-Preserving Coreset Selection for Balanced Unlearning [57.081646768835704]
  ユーザ仕様や法的フレームワークは、しばしば、大きな言語モデル(LLM)を含む、事前訓練されたモデルから削除される情報を必要とする。 これは、既に訓練済みのモデルからデータポイントのセットを削除または"偽造"する必要がある。 本研究では,非学習時の副次的損傷を軽減するための手法に依存しないデータ選択フレームワークUPCOREを提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:51:10Z)
• Deep Regression Unlearning [6.884272840652062]
  我々は、プライバシー攻撃に対して堅牢な、一般化された深層回帰学習手法を導入する。 我々は、コンピュータビジョン、自然言語処理、予測アプリケーションのための回帰学習実験を行う。
  論文  参考訳（メタデータ） (2022-10-15T05:00:20Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。