論文の概要: Protecting Sensitive Knowledge Under LLM Unlearning: The Proxy Threat and a Superposition-Aware Defense
- arxiv url: http://arxiv.org/abs/2611.15013v1
- Date: Wed, 11 Nov 2026 04:10:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.008434
- Title: Protecting Sensitive Knowledge Under LLM Unlearning: The Proxy Threat and a Superposition-Aware Defense
- Title(参考訳): LLMアンラーニングにおける感覚的知識の保護 : プロキシ脅威と重畳認識防御
- Abstract要約: 機械学習により、大きな言語モデル(LLM)の所有者は、スクラッチから再トレーニングすることなく、トレーニングされたモデルから特定のエンティティを削除することができる。
LLMにおける異なる実体の表現は、知識重畳と呼ばれる共有パラメータ部分空間において重複する可能性がある。
正当性のない未学習要求を悪用して、要求されたことのないセンシティブなエンティティを削除する。
- 参考スコア(独自算出の注目度): 32.32658678941488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine unlearning lets the owner of large language models (LLMs) remove specific entities from a trained model without retraining from scratch. Existing machine unlearning methods focus on removing the requested entities while maintaining utility. However, we observe that the representations of distinct entities in an LLM may overlap in shared parameter subspaces, a phenomenon known as knowledge superposition. Removing one entity may then affect other entities. This exposes a new security threat: legitimate unlearning requests can be exploited to remove sensitive entities that were never requested. This threat is unlike data poisoning or backdoor attacks. We define the attack as the Proxy Unlearning Attack (PUA), which selects removable proxy entities superposed with a sensitive target. The attack can even occur unintentionally, when benign users accidentally remove entities superposed with a sensitive one. In response, we propose Superposition-Aware Unlearning Protection (SAUP), a general defense framework that can be applied to unlearning requests to ensure a correct removal. SAUP performs in two stages. Before unlearning, it uses superposition detection to estimate which sensitive entities the request puts at risk. After unlearning, it decouples the shared representations and restores the affected entities, while keeping the requested entities suppressed. Our findings reveal that legitimate unlearning requests can be maliciously exploited through knowledge superposition. When dealing with unlearning requests, LLM providers need representation-level detection and recovery mechanisms to mitigate this threat and protect sensitive knowledge.
- Abstract(参考訳): 機械学習により、大きな言語モデル(LLM)の所有者は、スクラッチから再トレーニングすることなく、トレーニングされたモデルから特定のエンティティを削除することができる。
既存の機械学習手法は、実用性を維持しながら要求されたエンティティを削除することに重点を置いている。
しかし、LLMにおける異なる実体の表現は、共有パラメータ部分空間(知識重畳と呼ばれる現象)において重複する可能性がある。
あるエンティティを削除することは、他のエンティティに影響を与える可能性がある。
正当性のない未学習要求を悪用して、要求されたことのないセンシティブなエンティティを削除する。
この脅威は、データ中毒やバックドア攻撃とは違っている。
我々は、この攻撃を、機密性の高いターゲットを重畳した削除可能なプロキシエンティティを選択するプロキシアンラーニングアタック(PUA)として定義する。
この攻撃は意図せず起こりうるが、良心的なユーザーが誤って機密性の高いエンティティを削除した時にも起こりうる。
そこで本研究では,非学習要求に適用可能な汎用防御フレームワークであるSAUP(Superposition-Aware Unlearning Protection)を提案する。
SAUPは2つのステージで実行します。
学習を控える前に、スーパーポジション検出を使用して、要求がどのセンシティブなエンティティを危険に晒すかを推定する。
学習を終了すると、共有表現を分離し、影響を受けたエンティティを復元すると同時に、要求されたエンティティを抑圧する。
この結果から,正規の未学習要求は知識の重ね合わせによって悪用されることが明らかとなった。
未学習の要求を扱う場合、LLMプロバイダは、この脅威を緩和し、機密知識を保護するために、表現レベルの検出と回復メカニズムが必要である。
関連論文リスト
- Beyond Over-Refusal: Defending Indirect Prompt Injection via Latent Instruction Manifolds [46.845766815799585]
大規模言語モデル(LLM)は複雑なエコシステムに統合されている。
LLMは、理論的証拠と経験的証拠の両方で本質的にデータから命令を分離することができる。
AEGIS (Adaptive Ensemble Guard for Injection Shielding) を提案する。
論文 参考訳(メタデータ) (2026-08-23T07:12:33Z) - Plant, Persist, Trigger: Sleeper Attack on Large Language Model Agents [64.80318459073526]
敵のコンテンツは、同一のエージェントによって提供される相互作用にまたがって持続できることを示し、そのような脅威を検知し緩和することを困難にしている。
具体的には、敵対的コンテンツはエージェント状態に留まり、相互作用をまたいだ休眠状態に留まり、その後、良心的なユーザクエリによって活性化される。
我々は、このタイプの安全脅威をスリーパー攻撃として形式化し、評価するために、現実世界の有害な結果6つ、攻撃戦略3つ、エージェント状態の目標3つをカバーする1,896件のベンチマークを構築した。
論文 参考訳(メタデータ) (2026-05-27T09:25:37Z) - AttriGuard: Defeating Indirect Prompt Injection in LLM Agents via Causal Attribution of Tool Invocations [38.49666480491258]
LLMエージェントは間接プロンプト注入(IPI)に対して非常に脆弱である
本稿では,特定のツールコールが生成される理由を問うことでエージェントをセキュアにする,アクションレベルの因果属性という新しいパラダイムを提案する。
我々はこのパラダイムを、並列対実テストに基づくランタイムディフェンスであるAttriGuardでインスタンス化する。
論文 参考訳(メタデータ) (2026-03-11T13:23:46Z) - Identifying Adversary Characteristics from an Observed Attack [8.990047390782827]
自動意思決定システムで使用される場合、機械学習(ML)モデルはデータ操作攻撃に対して脆弱である。
本稿では,攻撃者の特徴を識別する枠組みを提示し,実証した。
この課題に対処するために、最も可能性の高い攻撃者を特定するためのドメインに依存しないフレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-05T19:32:36Z) - Friend or Foe: How LLMs' Safety Mind Gets Fooled by Intent Shift Attack [53.34204977366491]
大きな言語モデル(LLM)は、印象的な機能にもかかわらず、ジェイルブレイク攻撃に対して脆弱なままである。
本稿では,攻撃意図について LLM を混乱させる ISA (Intent Shift Attack) を提案する。
私たちのアプローチでは、元の要求に対して最小限の編集しか必要とせず、自然で、可読性があり、一見無害なプロンプトをもたらす。
論文 参考訳(メタデータ) (2025-11-01T13:44:42Z) - Better Privilege Separation for Agents by Restricting Data Types [6.028799607869068]
大規模言語モデル(LLM)のタイプ指向特権分離を提案する。
我々は、信頼できないコンテンツをキュレートされたデータ型に変換することによって、LDMがサードパーティのデータと対話する能力を制限する。
生文字列とは異なり、各データ型はスコープとコンテントに制限されており、プロンプトインジェクションの可能性を排除している。
論文 参考訳(メタデータ) (2025-09-30T08:20:50Z) - Don't Forget It! Conditional Sparse Autoencoder Clamping Works for Unlearning [0.306238659426286]
大きな言語モデル(LLM)の能力は大きな可能性をもたらしていますが、新たなリスクも生じています。
例えば、生物兵器、先進化学、サイバー攻撃の知識を持つLSMは、間違った手や故障時に暴力を引き起こす可能性がある。
近黒の箱としての性質から、LLM内部の直観的な解釈は依然としてオープンな研究課題である。
論文 参考訳(メタデータ) (2025-03-14T06:43:19Z) - LLMs know their vulnerabilities: Uncover Safety Gaps through Natural Distribution Shifts [88.96201324719205]
大規模言語モデル(LLM)の安全性に関する懸念は、事前訓練中に潜在的に有害なデータに曝されることにより、大きな注目を集めている。
我々は、有害なコンテンツに意味的に関連していると思われる良心的なプロンプトが、安全性のメカニズムを回避できる新しい安全性脆弱性をLSMで特定する。
我々は,事前学習における有害なプロンプトに関連するアクターを識別する新しい攻撃手法,textitActorBreakerを導入する。
論文 参考訳(メタデータ) (2024-10-14T16:41:49Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳(メタデータ) (2023-02-23T17:14:38Z) - An Embarrassingly Simple Backdoor Attack on Self-supervised Learning [52.28670953101126]
自己教師付き学習(SSL)は、ラベルに頼ることなく、複雑なデータの高品質な表現を学習することができる。
SSLのバックドア攻撃に対する脆弱性について検討する。
論文 参考訳(メタデータ) (2022-10-13T20:39:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。