Fugu-MT 論文翻訳(概要): Nullify: Null-Space Activation Steering for Training-Free LLM Unlearning

論文の概要: Nullify: Null-Space Activation Steering for Training-Free LLM Unlearning

arxiv url: http://arxiv.org/abs/2610.10655v1
Date: Wed, 07 Oct 2026 16:24:07 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-10 02:36:53.604734
Title: Nullify: Null-Space Activation Steering for Training-Free LLM Unlearning
Title（参考訳）: Nullify:Null-Space Activation Steering for Training-free LLM Unlearning
Abstract要約: 大規模言語モデル(LLM)は、事前訓練中に大量の機密情報や個人情報を内部化する。 LLMは、特定の知識を選択的に消去し、モデルユーティリティの損失を最小限に抑えることを目的としている。 LLMアンラーニングのためのトレーニング不要で非破壊的なアクティベーションステアリング手法であるNullifyを提案する。
参考スコア（独自算出の注目度）: 61.50651834268884
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) inevitably internalize substantial amounts of sensitive or private information during pre-training, while LLM unlearning aims to selectively erase specific knowledge to prevent privacy leakage with minimal loss of model utility. However, existing methods struggle to balance forget quality with utility, and typically incur substantial computational costs due to parameter fine-tuning. To address this, we propose Nullify, a training-free, non-destructive activation steering method for LLM unlearning. Nullify employs steering vectors during inference to redirect privacy-related activations away from their memorized answers, while satisfying a null-space constraint that leaves retained-query activations essentially unaffected to maintain utility. Evaluations on TOFU and MUSE show that Nullify matches or surpasses established baselines in forget quality while achieving near-lossless preservation of model utility. By avoiding weight updates entirely, Nullify serves as an efficient, plug-and-play inference-time intervention framework.
Abstract（参考訳）: 大規模言語モデル(LLM)は必然的に、事前トレーニング中に大量の機密情報や個人情報を内部化するが、LLMアンラーニングは、モデルユーティリティの損失を最小限に抑えながら、特定の知識を選択的に消去することを目的としている。しかし、既存の手法は品質と実用性のバランスをとるのに苦労し、パラメータの微調整による計算コストがかなり高いのが一般的である。そこで本研究では,LLMアンラーニングのためのトレーニング不要で非破壊的なアクティベーションステアリング手法であるNullifyを提案する。 Nullifyは推論中にステアリングベクターを使用して、プライバシ関連のアクティベーションを記憶された回答から切り離し、ヌルスペースの制約を満たす。 TOFU と MUSE の評価では,Nullify はモデルユーティリティのほぼ無作為な保存を実現しつつ,既存のベースラインに適合するか,あるいは超越しているかが示されている。ウェイトアップデートを完全に回避することで、Nullifyは効率的なプラグアンドプレイの推論時間介入フレームワークとして機能する。

関連論文リスト

Null-Space Constrained Low-Rank Adaptation for Response-Specified Large Language Model Unlearning [13.073474198841206]
大規模言語モデルアンラーニングは、良識を保ちながら、指定された望ましくない知識を抑えることを目的としている。本稿では,EmphNull-Space Constrained Response-Specified Unlearning(NSRU)を紹介する。 NSRUは明示的に構造化された安全なターゲット応答を使用して、それぞれの忘れクエリの望ましい振る舞いを指定する。
論文参考訳（メタデータ） (2026-06-09T15:26:36Z)
De-attribute to Forget for LLM Unlearning [79.82535763351594]
大規模言語モデル(LLM)の急速な開発により、トレーニングに不適切なデータを使用することが懸念されている。本稿では,DareU と呼ばれるデータ帰属報酬に基づく最初の LLM アンラーニングフレームワークを提案する。
論文参考訳（メタデータ） (2026-05-29T07:03:20Z)
Less is More: Geometric Unlearning for LLMs with Minimal Data Disclosure [10.0091317316944]
Geometric Unlearning (GU) は、オリジナルのトレーニングコーパスにアクセスすることなく、モデルの迅速な計画状態を直接操作する。 GUは、小さな安全な参照プロンプトから所望の安全行動のコンパクトで低ランクな幾何学を蒸留する。合成非ターゲットアンカーの教師蒸留レギュレータは、さらに横方向のドリフトを減少させる。
論文参考訳（メタデータ） (2026-05-03T06:20:03Z)
MeGU: Machine-Guided Unlearning with Target Feature Disentanglement [73.49657372882082]
本稿では,概念意識の再調整を通じて学習をガイドする新しいフレームワークを提案する。 MeGUは制御的かつ選択的に忘れることを可能にし、アンダーアンラーニングとオーバーアンラーニングの両方を効果的に緩和する。
論文参考訳（メタデータ） (2026-02-19T05:20:31Z)
CATNIP: LLM Unlearning via Calibrated and Tokenized Negative Preference Alignment [14.853204323785334]
既存のアプローチは、グラディエント・アセント(GA)をルーツとしており、保持データやコントラッシブなペアに頼りながら、一般的なドメイン知識を劣化させることが多い。我々は,モデルのトークンレベルの信頼度に比例して,未学習効果を再スケールする原理的手法を開発した。我々の研究は、保持データや対照的なアンラーニング応答ペアを必要とせず、効果的なアンラーニングを可能にする。
論文参考訳（メタデータ） (2026-02-02T21:23:54Z)
Direct Token Optimization: A Self-contained Approach to Large Language Model Unlearning [9.42887167048224]
マシン・アンラーニング(英: Machine unlearning)は、トレーニングデータのサブセット(ターゲットセット)の影響を、完全なリトレーニングなしでモデルから排除する新興技術である。重要な課題は、モデルが全体的なユーティリティを損なうことなく、忘れた集合の知識を完全に忘れることである。我々は,大規模言語モデルに対する自己完結型非学習手法であるダイレクトトークン最適化(DTO)を提案する。
論文参考訳（メタデータ） (2025-09-30T18:05:06Z)
Unlearning That Lasts: Utility-Preserving, Robust, and Almost Irreversible Forgetting in LLMs [31.768387661474904]
大規模言語モデル(LLM)におけるアンラーニングでは、事前訓練されたモデルから特定の情報を正確に除去する。これは、事前訓練中に取得した個人データや有害な知識を削除することで、LLMの安全性を確保するために重要である。 JensUnを導入し、Jensen-Shannon Divergenceをセットを忘れたり、保持したりするためのトレーニングの目的として活用する。大規模な実験では、JensUnは競合するメソッドよりも忘れやすいトレードオフを実現し、再学習に強いレジリエンスを示しています。
論文参考訳（メタデータ） (2025-09-02T20:38:53Z)
AlphaSteer: Learning Refusal Steering with Principled Null-Space Constraint [49.641959856967276]
提案手法はAlphaSteerと呼ばれる,理論的に基礎的かつ実験的に有効なアクティベーションステアリング法である。ユーティリティ保存のために、Null-space制約を使って、良性データのステアリングのためのほぼゼロベクトルを構築することを学ぶ。複数のjailbreak攻撃とユーティリティベンチマークの実験は、AlphaSteerの有効性を示している。
論文参考訳（メタデータ） (2025-06-08T07:03:28Z)
Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
論文参考訳（メタデータ） (2024-07-07T12:19:37Z)
Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文参考訳（メタデータ） (2023-09-15T17:10:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。