論文の概要: Preserving Utility in Continual LLM Unlearning via Orthogonal Projections

• arxiv url: http://arxiv.org/abs/2610.40483v1
• Date: Thu, 29 Oct 2026 17:13:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.545694
• Title: Preserving Utility in Continual LLM Unlearning via Orthogonal Projections
• Title（参考訳）: 直交射影を用いた連続LLMアンラーニングにおける実用性維持
• Abstract要約: 本手法では,アクティベーションサブスペースの補完に各更新を制限し,コンティニュショナル・オルソゴン・プロジェクション(COP)を導入する。 COPは、シーケンシャルな要求を弱めることなく、有効性を保ち、標準目標の崩壊を防ぎ、連続的な特定のベースラインよりも効果的に忘れる。
• 参考スコア（独自算出の注目度）: 9.561812575381934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unlearning concerns the task of removing the influence of a sensitive portion of the training data, such as protected, copyrighted or private text, from a model without retraining it from scratch. While unlearning requests happen continuously during a model's lifetime, the vast majority of LLM unlearning methods are ill-suited for iterated removal, yielding steep decay in forgetting and utility upon sequential unlearning. This decay stems from interference between successive updates, as each new deletion can undo earlier ones or push the model further along directions already degraded by them. To address this, we introduce Continual Orthogonal Projection (COP), a gradient-projection scheme that restricts each update to the orthogonal complement of activation subspaces cached from prior forget sets. This approach provably guarantees first-order non-interference with earlier deletions. COP stores only a low-rank basis per layer, requiring neither past gradients nor previous forget sets, and plugs into unlearning methods that update the model through gradient steps on a differentiable loss without modifying its objective. Experiments on standard LLM unlearning benchmarks (TOFU and RWKU) show that COP preserves utility across sequential requests without weakening forgetting, preventing the collapse of standard objectives and forgetting more effectively than continual-specific baselines.
• Abstract（参考訳）: Unlearningは、保護された、著作権のある、またはプライベートなテキストのようなトレーニングデータの機密部分の影響を、スクラッチから再トレーニングすることなくモデルから取り除くタスクに関するものである。 モデル寿命の間、未学習の要求は連続的に発生するが、LLM未学習の手法の大部分は反復的除去に不適であり、逐次未学習の時に忘れることと実用性が急低下する。 この崩壊は、各新しい削除が以前の更新を解除したり、既に劣化している方向に沿ってモデルをさらに押し出すことができるため、連続した更新の間の干渉に起因している。 そこで本研究では,アクティベーション部分空間の直交補数に対する各更新を事前のスリープ集合からキャッシュする勾配投影方式である連続直交射影(COP)を導入する。 このアプローチは、以前の削除と一階非干渉を確実に保証する。 COPはレイヤ毎の低ランクベースのみを格納し、過去の勾配も過去の忘れセットも必要とせず、その目的を変更することなく、微分可能な損失の段階を通じてモデルを更新する未学習のメソッドにプラグインする。 標準LLMアンラーニングベンチマーク(TOFUとRWKU)の実験では、COPは連続的な要求に対して、忘れを弱めることなく実用性を保ち、標準目標の崩壊を防ぎ、連続的な特定のベースラインよりも効率的に忘れることが示されている。

関連論文リスト

• Estimating and Orthogonalizing Unknown Pre-training Gradients for Continual Fine-tuning of Large Language Models [61.00463960117119]
  大規模言語モデル(LLM)が現実の環境に動的に適応するためには、継続的な微調整が不可欠である。 既存の手法は、LLMs固有の汎用知識の事前学習に失敗する。 連続LLMファインチューニングのための未知の事前学習勾配を推定・オルソゴナライズする新しいフレームワークであるEoupCTを提案する。
  論文  参考訳（メタデータ） (2026-09-25T07:52:37Z)
• On-the-go Forgetting without Explicit Unlearning via ERASE [2.6426981014417046]
  ERASEは、モデルウェイトを変更することなく、プライベートデータの観測可能な影響を抑制する、現在進行中の忘れ物のためのフレームワークである。 ERASEが指定されたサブクラスの機能的忘れを確実に達成した場合に、十分な条件を厳格に特徴付ける。 ERASEは、最近の未学習手法よりも、有効性を忘れること、計算効率、保持率の最良のバランスを維持している。
  論文  参考訳（メタデータ） (2026-09-05T08:09:27Z)
• ELLA: Efficient Lifelong Learning for Adapters in Large Language Models [12.489255789379817]
  大規模言語モデル(LLM)は、連続的な学習環境において、新しいタスクに逐次適応する際、深刻な破滅的な忘れを被る。 本稿では,選択部分空間デコリレーションの原理に基づくトレーニングフレームワークであるELLAを紹介する。 ELLAは、過去の更新の構造を明示的に特徴づけ、高エネルギーでタスク固有の方向に沿ってアライメントを罰する。 3つの人気のあるベンチマークで最先端のCL性能を達成し、相対的精度は9.6%、メモリフットプリントは35倍になる。
  論文  参考訳（メタデータ） (2026-01-05T15:58:08Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• ZClip: Adaptive Spike Mitigation for LLM Pre-Training [0.3574867616159909]
  大規模言語モデル(LLM)のトレーニングには、勾配不安定性や損失スパイクなど、数多くの課題がある。 定数法やノルム法のような従来の勾配クリッピング技術は、これらの問題に効果的に対処できない。 本研究では,時間とともに勾配規範の統計的特性に基づいてクリッピング閾値を動的に調整する適応的勾配クリッピングアルゴリズムZClipを提案する。
  論文  参考訳（メタデータ） (2025-04-03T11:41:55Z)
• Temporal-Difference Variational Continual Learning [77.92320830700797]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。