論文の概要: Disentangling Forgetting from Utility: Lightweight LLM Unlearning via Orthogonal Null-Space Projection
- arxiv url: http://arxiv.org/abs/2611.17864v1
- Date: Fri, 13 Nov 2026 07:50:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.330483
- Title: Disentangling Forgetting from Utility: Lightweight LLM Unlearning via Orthogonal Null-Space Projection
- Title(参考訳): 実用性から遠ざかる:直交Null空間投影による軽量LLMアンラーニング
- Abstract要約: 大規模言語モデル(LLM)は、プライベートまたは有害な情報を保持することにより、重大なセキュリティリスクを生じさせる。
本稿では,非学習を制御不能なモデル編集として再構成する理論的な基盤となるフレームワークであるUUEを提案する。
軽量でプラグイン可能なアダプタを通じてUUEを実装し、凍結したバックボーンを変更することなく効率的なデプロイメントを可能にします。
- 参考スコア(独自算出の注目度): 59.29508000915937
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) pose significant security risks by retaining private or hazardous information, creating an urgent need for unlearning techniques that excise specific knowledge without compromising general utility. However, prevailing fine-tuning-based unlearning methods struggle to achieve this balance, often suffering from computational inefficiency and unintended utility degradation due to the entangled nature of knowledge within model parameters. To disentangle forgetting from utility, we propose UUE, a theoretically grounded framework that reformulates unlearning as controllable model editing. First, UUE projects parameter updates into the orthogonal left null space of retained knowledge representations, strictly ensuring that the editing process causes minimal interference to the model's general capabilities. Second, distinct from targeted mapping, we introduce a convex untargeted objective that derives a closed-form analytical solution to effectively disrupt undesired knowledge by pushing forget-set embeddings toward their antipodal points. We implement UUE via lightweight, pluggable adapters (including a low-rank variant, UUE-L), enabling efficient deployment without modifying the frozen backbone. Extensive experiments on TOFU and WMDP benchmarks demonstrate that UUE and UUE-L achieve superior unlearning efficacy, significantly outperforming existing methods.
- Abstract(参考訳): 大規模言語モデル(LLM)は、プライベートまたは有害な情報を保持し、汎用性を損なうことなく特定の知識を抽出する未学習のテクニックを緊急に必要とすることで、重大なセキュリティリスクを生じさせる。
しかし、微調整に基づく未学習手法はこのバランスを達成するのに苦労し、しばしばモデルパラメータ内の知識の絡み合った性質のため、計算の非効率性と意図しないユーティリティ劣化に悩まされる。
実用性から忘れを遠ざけるために,未学習を制御可能なモデル編集として再構成する理論的基盤の枠組みであるUUEを提案する。
まず、UUEは、保持された知識表現の直交左ヌル空間へのパラメータの更新を計画し、編集プロセスがモデルの一般的な機能に最小限の干渉を引き起こすことを厳密に保証する。
第2に,対象とするマッピングとは別物として,無意味な知識を解き放つための閉形式解析解を導出する凸的未目標(convex untargeted objective)を導入する。
我々は、軽量でプラグ可能なアダプタ(低ランクの変種UUE-Lを含む)を介してUUEを実装し、凍結したバックボーンを変更することなく、効率的なデプロイメントを可能にする。
TOFU と WMDP ベンチマークの大規模な実験により、UUE と UUE-L はより優れた未学習の有効性を示し、既存の手法よりも大幅に優れていた。
関連論文リスト
- Adaptive Localization of Knowledge Negation for Continual LLM Unlearning [86.44540602649028]
大型言語モデル(LLM)は、実用性を維持しながら有害または違法なコンテンツを除去するために使用することができる。
関心が高まりつつあるにもかかわらず、現実世界のシナリオでよく見られる連続的アンラーニングの課題はいまだ過小評価されている。
そこで本研究では,動的マスキングによるトレーニング勾配の調整と,タスク間関係に基づく適応的アンラーニングインテンシティの調整を行うALKNを提案する。
論文 参考訳(メタデータ) (2026-11-02T06:48:54Z) - Nullify: Null-Space Activation Steering for Training-Free LLM Unlearning [61.50651834268884]
大規模言語モデル(LLM)は、事前訓練中に大量の機密情報や個人情報を内部化する。
LLMは、特定の知識を選択的に消去し、モデルユーティリティの損失を最小限に抑えることを目的としている。
LLMアンラーニングのためのトレーニング不要で非破壊的なアクティベーションステアリング手法であるNullifyを提案する。
論文 参考訳(メタデータ) (2026-10-07T16:24:07Z) - Test-Time Unlearning via Sparse Autoencoder [55.4290003355764]
ARIAは,モデルウェイトをそのまま残して,世代が無視関連状態に入る場合にのみ,不要な知識へのアクセスをゲートするテスト時アンラーニング手法である。
ARIAは、思考モデルと命令モデルの両方にわたるウェイトベースベースラインに対する忘れがちなトレードオフを改善します。
論文 参考訳(メタデータ) (2026-09-14T18:58:09Z) - Less is More: Geometric Unlearning for LLMs with Minimal Data Disclosure [10.0091317316944]
Geometric Unlearning (GU) は、オリジナルのトレーニングコーパスにアクセスすることなく、モデルの迅速な計画状態を直接操作する。
GUは、小さな安全な参照プロンプトから所望の安全行動のコンパクトで低ランクな幾何学を蒸留する。
合成非ターゲットアンカーの教師蒸留レギュレータは、さらに横方向のドリフトを減少させる。
論文 参考訳(メタデータ) (2026-05-03T06:20:03Z) - Sparsity-Aware Unlearning for Large Language Models [20.699929903336113]
大きな言語モデル(LLM)は、トレーニング中に機密情報を必然的に記憶し、重大なプライバシーリスクを生じさせる。
マシンアンラーニングは、完全なリトレーニングをせずに、そのような情報を選択的に除去する、有望なソリューションとして登場した。
未学習の有効性はスパースモデルで著しく低下する。
本研究では,スパシフィケーション目標から勾配マスキングを通じてアンラーニングを分離する,スパシティ・アウェア・アンラーニング(SAU)を提案する。
論文 参考訳(メタデータ) (2026-01-31T07:45:30Z) - OFMU: Optimization-Driven Framework for Machine Unlearning [5.100622189286672]
大規模言語モデルは、ユーザ要求、著作権のある資料、時代遅れの情報など、特定の知識を解放する能力を必要としている。
我々は,保留期間を保ちながら忘れを明示的に優先順位付けするペナルティベースの二段階最適化フレームワークOFMUを提案する。
OFMUは既存のアンラーニング手法を有効性と有効性の両方で一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2025-09-26T15:31:32Z) - Invariance Makes LLM Unlearning Resilient Even to Unanticipated Downstream Fine-Tuning [46.170140576473365]
機械学習は、大規模言語モデル(LLM)におけるプライバシーと安全性の懸念に対する有望な解決策を提供する
不変リスク最小化(IRM)に触発されて、非学習に初めて不変を導入する。
我々は、頑健性を高める正規化ベースのフレームワークである不変LLMアンラーニング(ILU)を提案する。
論文 参考訳(メタデータ) (2025-06-02T05:38:43Z) - UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。
UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
論文 参考訳(メタデータ) (2025-05-21T15:53:28Z) - Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。
評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
論文 参考訳(メタデータ) (2024-06-13T14:41:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。