論文の概要: Decouple to Forget: Semantic Mediation for Sensitive Unlearning in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.17654v1
• Date: Tue, 13 Oct 2026 03:32:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 17:54:47.887263
• Title: Decouple to Forget: Semantic Mediation for Sensitive Unlearning in Large Language Models
• Title（参考訳）: 忘れるべきデデュプル:大規模言語モデルにおけるセンシティブ・アンラーニングのためのセマンティック・メディエーション
• Abstract要約: セマンティック・メディエーションにインスパイアされた非学習手法であるDecouple to Forget(D2F)を紹介する。 忘れられる各例について、D2Fは答えからファクトレベルの「仲介者」表現を抽出し、どの部分がセンシティブであるかを特定し、これらの部分だけを取り除く。 そして、このメディエータに根ざした反事実的回答を生成し、非センシティブなコンテンツを保存するが、センシティブな事実を除外する。
• 参考スコア（独自算出の注目度）: 29.586068743729328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning for large language models seeks to remove specified knowledge while preserving general capability, yet current methods often treat an entire response as the unit of forgetting. This coarse granularity causes unnecessary utility loss when the forget target is only a small set of sensitive facts embedded within otherwise benign explanations. In this paper, we introduce Decouple to Forget (D2F), a targeted unlearning method inspired by semantic mediation that separates sensitive factual content from non-sensitive meaning and surface expression. For each example to be forgotten, D2F extracts a fact-level "mediator" representation from the answer, identifies which parts are sensitive, and removes only those parts while leaving the rest of the structure intact. We then generate counterfactual answers grounded in this mediator that preserve non-sensitive content but exclude sensitive facts, employing preference-based contrastive optimization to reduce the likelihood of information leakage while maintaining helpfulness and fluency. Experiments across various benchmark datasets show that D2F achieves a better balance between forgetting and retention than strong baseline methods. Our code is available at https://github.com/JingyueCong/D2F.
• Abstract（参考訳）: 大規模言語モデルの機械学習は、一般的な能力を維持しながら特定の知識を排除しようとするが、現在の手法では、応答全体を忘れる単位として扱うことが多い。 この粗い粒度は、忘れたターゲットが小さな機密事実の集合でなければ意味のない説明に埋め込まれている場合、不要なユーティリティ損失を引き起こす。 本稿では,感性のある事実内容と非感性的な意味と表面表現とを分離する意味媒介から着想を得た非学習手法であるDecouple to Forget(D2F)を提案する。 忘れられる各例について、D2Fは答えから事実レベルの「仲介者」表現を抽出し、どの部分が敏感であるかを識別し、残りの構造をそのまま残しながらこれらの部分だけを除去する。 そして,このメディエータに根ざした反ファクト的回答を生成し,非センシティブなコンテンツを保持しつつも,センシティブな事実を排除し,情報漏洩の可能性を低減し,情報漏洩の防止を図る。 さまざまなベンチマークデータセットに対する実験により、D2Fは強力なベースラインメソッドよりも、忘れと保持のバランスが良いことが示されている。 私たちのコードはhttps://github.com/JingyueCong/D2F.comで利用可能です。

関連論文リスト

• REDaCT: Collapse-Free Unlearning in Large Reasoning Models [4.050704732182733]
  大規模推論モデルのための推論時アンラーニングフレームワークであるREDaCTを提案する。 RedaCTは推論の崩壊を完全に回避し、最先端の未学習法と比較して推論の保存を大幅に改善する。
  論文  参考訳（メタデータ） (2026-10-08T22:22:02Z)
• Forget Narrowly, Retain Broadly: Unlearning as an Asymmetric Generalization Problem [16.147107064302435]
  本研究では,現実のファクト・ドメインの無視保持構造をキャプチャするプロトコルと学習コーパスを開発する。 JensUn++は,3つのLLM間での最高の忘れがちなユーティリティトレードオフを実現する未学習アルゴリズムである。
  論文  参考訳（メタデータ） (2026-07-10T09:31:29Z)
• Distinguishable Deletion: Unifying Knowledge Erasure and Refusal for Large Language Model Unlearning [58.725080160369494]
  Distinguishable Deletion (mathrmD2$)は、特定のトークンではなく、潜在表現の応答分布を制限するパラダイムである。 本稿では,知識の存在と未学習コンテンツと保持コンテンツとの分離を定量化するエネルギー指標を提案する。 実験の結果、EUAは以前の方法よりも大幅に優れており、$mathrmD2$の優位性を示している。
  論文  参考訳（メタデータ） (2026-05-16T03:15:35Z)
• LLM Unlearning on Noisy Forget Sets: A Study of Incomplete, Rewritten, and Watermarked Data [69.5099112089508]
  大規模言語モデル(LLM)は、顕著な生成能力を示すが、機密データを記憶することで倫理的およびセキュリティ上の懸念を引き起こす。 この研究は、ノイズのある忘れセットと呼ばれる、摂動的または低忠実な忘れデータの下での未学習に関する最初の研究を提示する。 コアセマンティック信号が保存されている場合、未学習は摂動に対して驚くほど堅牢である。
  論文  参考訳（メタデータ） (2025-10-10T05:10:49Z)
• DUSK: Do Not Unlearn Shared Knowledge [19.614306360050016]
  Machine Unlearningは、ユーティリティと情報を“保持”セットから保持しながら、そのような“忘れる”データを削除することを目的としている。 DUSKは実データ重なりの非学習手法を評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2025-05-21T07:37:35Z)
• LEACE: Perfect linear concept erasure in closed form [97.78661458934953]
  概念消去は、埋め込みから特定の機能を削除することを目的としている。 LEAst-squares Concept Erasure (LEACE) は、すべての線形分類器が可能な限り少ない埋め込みで概念を検出することを確実に防止する閉形式手法である。 LEACEを"concept scrubbing"と呼ばれる新しい手法で大規模言語モデルに適用し、ネットワーク内の各層からターゲット概念情報を消去する。
  論文  参考訳（メタデータ） (2023-06-06T16:07:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。