論文の概要: Preemptive LLM Unlearning against Forbidden Capability Acquisition via Gradient Sealing

• arxiv url: http://arxiv.org/abs/2609.39866v1
• Date: Wed, 30 Sep 2026 14:48:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.926449
• Title: Preemptive LLM Unlearning against Forbidden Capability Acquisition via Gradient Sealing
• Title（参考訳）: グラディエントシーリングによる禁制能力獲得に対する LLM の事前学習
• Abstract要約: オープンウェイトLSMは固定製品としてだけでなく、下流の微調整用基板としてもリリースされている。 この開放性は、不正な知識を注入したり、敵対的な操作を可能にするために微調整を誤用する可能性があるため、法的および倫理的なリスクを生じさせる。 したがって、モデルプロバイダはそのような買収に対するプレリリース防衛を必要とし、プリエンプティブ・アンラーニングの問題を動機付けている。
• 参考スコア（独自算出の注目度）: 59.713252225320446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-weight LLMs are released not only as fixed products but also as substrates for downstream fine-tuning. This openness, however, creates legal and ethical risks because users may misuse fine-tuning to instill illicit knowledge or enable hostile operations. Model providers therefore need apre-release defense against such acquisition, motivating the problem of preemptive unlearning. Unlike retrospective unlearning, which removes capabilities already present in a fixed model, preemptive unlearning seeks to prevent their acquisition under unseen attack data and future fine-tuning procedures. Despite its practical importance, this setting remains largely unexplored, presents distinct challenges, and is therefore the central focus of our work. We first verify that existing retrospective methods provide insufficient pre-release protection. Even when forbidden capabilities are suppressed in current outputs, forbidden-domain data can still induce gradients through internal pathways, enabling later acquisition. Motivated by this finding, we propose a gradient-sealing principle that blocks these pathways by pushing relevant pre-activations into the negative region, where ReLU-family activations exhibit zero or near-zero derivatives. Experiments across multiple LLM families demonstrate our stronger resistance to downstream acquisition than retrospective baselines, validating gradient sealing as an effective mechanism for pre-release protection.
• Abstract（参考訳）: オープンウェイトLSMは固定製品としてだけでなく、下流の微調整用基板としてもリリースされている。 しかし、この開放性は、不正な知識を注入したり、敵対的な操作を可能にするために微調整を誤用する可能性があるため、法的および倫理的なリスクを生じさせる。 したがって、モデルプロバイダはそのような買収に対するプレリリース防衛を必要とし、プリエンプティブ・アンラーニングの問題を動機付けている。 固定モデルにすでに存在する能力を排除したレトロスペクティブアンラーニングとは異なり、プリエンプティブアンラーニング(preemptive unlearning)は、目に見えないアタックデータと将来の微調整手順の下で、彼らの獲得を防ぐ。 その実践的重要性にもかかわらず、この設定はほとんど探索されていないままであり、異なる課題を示しており、それゆえ、我々の仕事の中心的な焦点である。 まず、既存のレトロスペクティブメソッドがリリース前保護に不十分であることを検証します。 現行の出力で禁止機能を抑制する場合でも、禁止ドメインデータは内部経路を通じて勾配を誘導し、後の取得を可能にする。 そこで本研究では,ReLU- family 活性化がゼロあるいは近ゼロの誘導体を示す負の領域に,関連するプレアクティベーションをプッシュすることで,これらの経路を阻害する勾配シール法を提案する。 複数のLLMファミリーを対象とした実験により, 下流獲得に対する抵抗性は, 反省ベースラインよりも強く, 偏差封止をプレリリース保護の有効なメカニズムとして検証した。

関連論文リスト

• Faithful Dual-constrained Erasure for Robust LLM Safety Alignment [15.004295056225002]
  未学習のモデルは、再訓練攻撃に対して非常に脆弱なままである。 FDCUは、新しい双対制約付きサブスペースプロジェクションフレームワークである。 フィッシャー・インフォメーションを通じて一般的な知識を保ち、急激な抑制剤の異常な活性化を厳しく禁止している。
  論文  参考訳（メタデータ） (2026-09-30T08:29:43Z)
• Measure, Don't Optimize: Forecasting Recovery in LLM Unlearning [57.920153607557744]
  J-Accessは、モデル出力経路に沿ってターゲット概念がアクセス可能な頻度を測定する推論時監査である。 我々は8つの未学習手法にまたがる398の公開未学習モデルを監査する。
  論文  参考訳（メタデータ） (2026-08-11T20:16:20Z)
• SAE Interventions are Unreliable: Post-Intervention Recovery of Suppressed Behavior [38.75847400495247]
  スパースオートエンコーダ(SAE)は残ストリームの活性化を解釈可能な特徴に分解する。 特定の有害な特徴をクランプすることで,モデルの誤動作を確実に防止できることが示唆された。 我々は、この脆弱性を、制約付き残空間最適化問題であるポスト・インターベンション・リカバリ(英語版)として定式化する。
  論文  参考訳（メタデータ） (2026-06-16T15:04:17Z)
• What Does the Server See? Understanding Privacy Leakage from Large Language Models in Split Inference [13.194874392306085]
  本稿では、クライアントの入力を再構築するために、中間的なアクティベーションマッチング問題を解決するActInvを紹介する。 この脆弱性を理解するために、我々は、層固有の復元抵抗を定量化する指標である摂動増幅係数(PAF)を開発した。 私たちの分析によると、プライバシーの脆弱性はレイヤ間で均一ではなく、いくつかのレイヤはリークの影響を受けやすいが、他のレイヤは自然な抵抗を提供する。
  論文  参考訳（メタデータ） (2026-05-22T02:14:16Z)
• CATNIP: LLM Unlearning via Calibrated and Tokenized Negative Preference Alignment [14.853204323785334]
  既存のアプローチは、グラディエント・アセント(GA)をルーツとしており、保持データやコントラッシブなペアに頼りながら、一般的なドメイン知識を劣化させることが多い。 我々は,モデルのトークンレベルの信頼度に比例して,未学習効果を再スケールする原理的手法を開発した。 我々の研究は、保持データや対照的なアンラーニング応答ペアを必要とせず、効果的なアンラーニングを可能にする。
  論文  参考訳（メタデータ） (2026-02-02T21:23:54Z)
• One Leak Away: How Pretrained Model Exposure Amplifies Jailbreak Risks in Finetuned LLMs [8.493938164845249]
  高度に訓練された大規模言語モデル(LLM)は、下流アプリケーションを開発するための標準パラダイムとなっている。 LLMが予め訓練されたソースからジェイルブレイクの脆弱性を継承するかどうかを検討する。 本稿では、転送可能性関連方向に向けて最適化を行うPGP(Probe-Guided Projection)攻撃を提案する。
  論文  参考訳（メタデータ） (2025-12-14T07:48:44Z)
• SPEAR++: Scaling Gradient Inversion via Sparsely-Used Dictionary Learning [48.41770886055744]
  Federated Learningは最近、現実世界のシナリオへのデプロイが増えている。 いわゆる勾配反転攻撃の導入は、プライバシー保護特性に挑戦している。 本稿では,ReLU活性化を伴う線形層の勾配の理論的解析に基づくSPEARを紹介する。 新たな攻撃であるSPEAR++は、DPノイズに対する堅牢性やFedAvgアグリゲーションなど、SPEARの望ましい特性をすべて保持しています。
  論文  参考訳（メタデータ） (2025-10-28T09:06:19Z)
• Preliminary Investigation into Uncertainty-Aware Attack Stage Classification [81.28215542218724]
  この研究は、不確実性の下での攻撃段階推論の問題に対処する。 Evidential Deep Learning (EDL) に基づく分類手法を提案し、ディリクレ分布のパラメータを可能な段階に出力することで予測の不確実性をモデル化する。 シミュレーション環境における予備実験により,提案モデルが精度良く攻撃の段階を推定できることが実証された。
  論文  参考訳（メタデータ） (2025-08-01T06:58:00Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
  InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。 InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
  論文  参考訳（メタデータ） (2025-05-08T13:04:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。