論文の概要: Scrub It Out! Erasing Sensitive Memorization in Code Language Models via Machine Unlearning

• arxiv url: http://arxiv.org/abs/2509.13755v1
• Date: Wed, 17 Sep 2025 07:12:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-18 18:41:50.751398
• Title: Scrub It Out! Erasing Sensitive Memorization in Code Language Models via Machine Unlearning
• Title（参考訳）: Scrub it out! 機械学習によるコード言語モデルの感性記憶の消去
• Authors: Zhaoyang Chu, Yao Wan, Zhikun Zhang, Di Wang, Zhou Yang, Hongyu Zhang, Pan Zhou, Xuanhua Shi, Hai Jin, David Lo,
• Abstract要約: Code Language Models (CLMs)は、機密性のあるトレーニングデータの意図しない記憶を示し、具体的に指示された場合に機密情報の冗長な再現を可能にする。 CodeEraserは、コードの構造的整合性と機能的正当性を保ちながら、センシティブな記憶されたセグメントを選択的にコードに解放する高度な変種である。
• 参考スコア（独自算出の注目度）: 50.45435841411193
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Code Language Models (CLMs) have demonstrated superior performance in software engineering tasks such as code generation and summarization, recent empirical studies reveal a critical privacy vulnerability: these models exhibit unintended memorization of sensitive training data, enabling verbatim reproduction of confidential information when specifically prompted. To address this issue, several approaches, including training data de-duplication and differential privacy augmentation, have been proposed. However, these methods require full-model retraining for deployed CLMs, which incurs substantial computational costs. In this paper, we aim to answer the following research question: Can sensitive information memorized by CLMs be erased effectively and efficiently? We conduct a pioneering investigation into erasing sensitive memorization in CLMs through machine unlearning - a post-hoc modification method that removes specific information from trained models without requiring full retraining. Specifically, we first quantify the memorization risks of sensitive data within CLM training datasets and curate a high-risk dataset of 50,000 sensitive memorized samples as unlearning targets. We study two widely used gradient ascent-based unlearning approaches: the vanilla and constraint-based methods, and introduce CodeEraser, an advanced variant that selectively unlearns sensitive memorized segments in code while preserving the structural integrity and functional correctness of the surrounding code. Extensive experiments on three families of CLMs, i.e., CodeParrot, CodeGen-Mono, and Qwen2.5-Coder, validate the effectiveness and efficiency of CodeEraser in erasing targeted sensitive memorization while maintaining model utility.
• Abstract（参考訳）: コード言語モデル(CLM)は、コード生成や要約などのソフトウェアエンジニアリングタスクにおいて優れたパフォーマンスを示しているが、最近の実証的研究は、重大なプライバシー上の脆弱性を明らかにしている。 この問題に対処するため、データ重複のトレーニングや差分プライバシー強化など、いくつかのアプローチが提案されている。 しかし、これらの手法はCLMのフルモデル再訓練を必要とするため、かなりの計算コストがかかる。 本稿では,CLMが記憶する機密情報を効果的かつ効率的に消去できるか,という課題に対処することを目的とする。 完全再トレーニングを必要とせずに、トレーニングされたモデルから特定の情報を除去するポストホックな修正手法である、機械学習によるCLMのセンシティブな記憶の消去に関する先駆的な調査を行う。 具体的には、まず、CLMトレーニングデータセット内の機密データの記憶リスクを定量化し、5万件の機密記憶サンプルの高リスクデータセットを学習対象としてキュレートする。 我々は、バニラ法と制約法という2つの広く使われている勾配上昇に基づくアンラーニング手法について検討し、周辺コードの構造的整合性と機能的正当性を保ちながら、コード中のセンシティブな記憶セグメントを選択的に解放する先進的な変種であるCodeEraserを紹介した。 CLMの3つのファミリー、すなわちCodeParrot、CodeGen-Mono、Qwen2.5-Coderに対する大規模な実験は、モデルユーティリティを維持しながら、ターゲットの機密記憶を消去するCodeEraserの有効性と効率を検証する。

関連論文リスト

• Large Language Model Unlearning for Source Code [65.42425213605114]
  PRODは、LLMがコード生成能力を保ちながら、望ましくないコード内容を忘れることができる新しいアンラーニングアプローチである。 本評価は,既存の未学習アプローチと比較して,忘れ品質とモデルユーティリティのバランスが良好であることを示す。
  論文  参考訳（メタデータ） (2025-06-20T16:27:59Z)
• Mitigating Sensitive Information Leakage in LLMs4Code through Machine Unlearning [5.974072640812041]
  コードのためのLanguage Models for Code (LLMs4Code)は、コード生成タスクに優れており、巨大なソフトウェア開発の負担から開発者をリリースすることを約束している。 これらのモデルは、トレーニング中に埋め込まれた機密情報が漏洩する可能性があるため、重大なプライバシーリスクに悩まされていることが示されている。 マシンアンラーニングは、モデルが完全なリトレーニングなしにセンシティブな情報を“忘れる”ことによって、有望なソリューションとして浮上した。
  論文  参考訳（メタデータ） (2025-02-09T01:50:34Z)
• CodeUnlearn: Amortized Zero-Shot Machine Unlearning in Language Models Using Discrete Concept [5.345828824625758]
  コードブック機能とスパースオートエンコーダ(SAEs)を用いた新しいアンラーニング手法を提案する。 ボトルネックを利用して、アクティベーション空間を分解し、情報の流れを規制することにより、モデルの性能を無関係なデータに保ちながら、ターゲットとなる情報を効率的に解き放つ。
  論文  参考訳（メタデータ） (2024-10-08T10:26:22Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.40798352740857]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• REVS: Unlearning Sensitive Information in Language Models via Rank Editing in the Vocabulary Space [40.25037054636284]
  言語モデル(LM)は、トレーニングデータに見られる機密情報や個人識別可能な情報(PII)を不注意に記憶・拡散し、プライバシー上の懸念を引き起こすリスクがある。 LMから機密情報を学習する非段階的手法であるREVSを提案する。
  論文  参考訳（メタデータ） (2024-06-13T17:02:32Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。