論文の概要: Null-Space Constrained Low-Rank Adaptation for Response-Specified Large Language Model Unlearning

• arxiv url: http://arxiv.org/abs/2606.10989v1
• Date: Tue, 09 Jun 2026 15:26:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.582738
• Title: Null-Space Constrained Low-Rank Adaptation for Response-Specified Large Language Model Unlearning
• Title（参考訳）: 応答特定大言語モデル学習のためのNull-Space Constrained Low-Rank Adaptation
• Authors: Bocheng Ju, Jianhua Wang, Chengliang Liu, Xiaolin Chang,
• Abstract要約: 大規模言語モデルアンラーニングは、良識を保ちながら、指定された望ましくない知識を抑えることを目的としている。 本稿では,EmphNull-Space Constrained Response-Specified Unlearning(NSRU)を紹介する。 NSRUは明示的に構造化された安全なターゲット応答を使用して、それぞれの忘れクエリの望ましい振る舞いを指定する。
• 参考スコア（独自算出の注目度）: 13.073474198841206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model unlearning aims to suppress designated undesirable knowledge while preserving benign capabilities. Many unlearning objectives focus on suppressing undesired answers, while recent target-guided variants specify replacement behavior but still leave update locality largely unconstrained. This paper introduces \emph{Null-Space Constrained Response-Specified Unlearning} (NSRU), a projection-constrained low-rank framework for controlled LLM unlearning. NSRU uses an explicitly structured safe target response to specify the desired behavior for each forget query, while suppressing the original undesired content. To localize adaptation, NSRU estimates per-module retain subspaces from benign hidden representations and uses an orthogonal-projected low-rank parameterization to confine LoRA updates to the null space of the retain subspace. The resulting objective jointly optimizes safe-target learning, undesired-response suppression, and retention preservation under this constrained parameterization. We provide a local first-order analysis showing that the projected update reduces retain-side perturbations while preserving editable directions for shaping forget-query behavior. Experiments on TOFU show that NSRU effectively suppresses extractable forget-set knowledge while improving retain QA performance, model utility, and safe-target alignment over representative baselines. On WMDP, NSRU keeps hazardous-domain accuracy near the random-choice region while preserving broad and domain-adjacent MMLU utility. Ablation studies support the complementary roles of safe-target supervision, undesired-response suppression, retention loss, and null-space projected updates, while sensitivity and robustness analyses indicate stable behavior across the tested hyperparameter and prompt variations.
• Abstract（参考訳）: 大規模言語モデルアンラーニングは、良識を保ちながら、指定された望ましくない知識を抑えることを目的としている。 多くの未学習の目標は望ましくない回答を抑えることに集中しているが、最近のターゲット誘導の変種は置き換えの振る舞いを規定しているが、更新の局所性はほとんど制約されないままである。 本稿では,LLMアンラーニング制御のためのプロジェクション制約付き低ランクフレームワークである \emph{Null-Space Constrained Response-Specified Unlearning} (NSRU) を紹介する。 NSRUは明示的に構造化された安全なターゲット応答を使用して、元の望ましくないコンテンツを抑えながら、それぞれのクェリに対して望ましい振る舞いを指定する。 適応をローカライズするためにNSRUは、モジュールごとのサブスペースを良質な隠蔽表現から推定し、直交投影された低ランクパラメータ化を使用して、保持部分空間のnullスペースにLoRA更新を限定する。 得られた目的は、この制約されたパラメータ化の下で、安全な学習、望ましくない応答抑制、保持保存を共同で最適化する。 提案手法では,修正可能な方向を保ちながら,リザーブド・クエリーの動作を形作ることにより,リザーブド・サイドの摂動を低減できることを示す。 TOFU実験の結果、NSRUはQA性能、モデルユーティリティ、および代表ベースラインに対する安全目標アライメントを改善しつつ、抽出可能なリクサセット知識を効果的に抑制することが示された。 WMDPでは、NSRUはランダムチョイス領域付近で危険領域の精度を維持しながら、広範かつドメイン依存のMMLUユーティリティを保存する。 アブレーション研究は、安全目標監視、望ましくない応答抑制、保留損失、およびヌルスペース予測更新の相補的な役割を支え、感度と堅牢性の分析は、テストされたハイパーパラメータ全体にわたって安定した振る舞いを示し、迅速な変動を示す。

関連論文リスト

• Detector-Evasive LLM Paraphrasing via Constrained Policy Optimization [27.078441680572254]
  AIテキスト検出器は、パラフレーズやディテクター誘導パラフレーズ攻撃に対して脆弱である。 既存の検出器回避法は、しばしば意味保存の正確な制御を欠いている。 本稿では,新しいGRPOスタイルのグループベースのポリシー更新を施した2次元強化学習アルゴリズムであるDe Detector Evasion Policy Optimization (DEPO)を提案する。
  論文  参考訳（メタデータ） (2026-05-29T22:19:28Z)
• Preference Instability in Reward Models: Detection and Mitigation via Sparse Autoencoders [20.13794189010598]
  大規模言語モデルにおける優先学習は、人間の判断のためのプロキシとして報酬モデルに依存している。 この不安定性を3つの意味保存摂動型を用いて表現レベルで解析する。 我々は2つのSAEベースの不安定緩和戦略を提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:48:48Z)
• MeGU: Machine-Guided Unlearning with Target Feature Disentanglement [73.49657372882082]
  本稿では,概念意識の再調整を通じて学習をガイドする新しいフレームワークを提案する。 MeGUは制御的かつ選択的に忘れることを可能にし、アンダーアンラーニングとオーバーアンラーニングの両方を効果的に緩和する。
  論文  参考訳（メタデータ） (2026-02-19T05:20:31Z)
• SafeRedir: Prompt Embedding Redirection for Robust Unlearning in Image Generation Models [67.84174763413178]
  我々はSafeRedirを紹介した。SafeRedirは、迅速な埋め込みリダイレクトによる堅牢なアンラーニングのための軽量な推論時フレームワークである。 SafeRedirは,効果的な非学習能力,意味的・知覚的保存能力,堅牢な画像品質,対人攻撃に対する耐性の向上を実現している。
  論文  参考訳（メタデータ） (2026-01-13T15:01:38Z)
• Steering Vision-Language Pre-trained Models for Incremental Face Presentation Attack Detection [62.89126207012712]
  顔提示攻撃検出(PAD)は、スプーフィング戦術やドメインと戦うために漸進的な学習を要求する。 過去のデータ保持を禁止し、リハーサルフリーラーニング(RF-IL)を必要とするプライバシー規制
  論文  参考訳（メタデータ） (2025-12-22T04:30:11Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• Probing the Robustness of Large Language Models Safety to Latent Perturbations [30.16804362984161]
  安全アライメントは、信頼できる人工知能を構築する上で重要な要件である。 我々は、小さな潜伏シフトが、整列モデルにおける安全でない応答を引き起こすことを観察する。 学習中に隠された表現に制御された摂動を注入する微調整戦略であるLayer-wise Adversarial Patch Training (LAPT)を導入する。
  論文  参考訳（メタデータ） (2025-06-19T07:03:05Z)
• Model Unlearning via Sparse Autoencoder Subspace Guided Projections [34.47648738350138]
  大きな言語モデル(LLM)は大量の情報を格納するので、強力なプライバシと安全性の懸念が高まる。 グラデーションベースの微調整やモデル編集からスパースオートエンコーダのステアリングまで、既存の未学習戦略は解釈性に欠けるか、敵のプロンプトに対して堅牢な防御を提供しない。 我々は,SAE機能を活用した新たなフレームワークであるSAE-Guided Subspace Projection Unlearning (SSPU)を提案する。
  論文  参考訳（メタデータ） (2025-05-30T10:07:52Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。