論文の概要: Large Language Model Unlearning for Source Code

• arxiv url: http://arxiv.org/abs/2506.17125v1
• Date: Fri, 20 Jun 2025 16:27:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.539902
• Title: Large Language Model Unlearning for Source Code
• Title（参考訳）: ソースコードのための大規模言語モデル学習
• Authors: Xue Jiang, Yihong Dong, Zheng Fang, Yingwei Ma, Tangxinyu Wang, Rongyu Cao, Binhua Li, Zhi Jin, Wenpin Jiao, Yongbin Li, Ge Li,
• Abstract要約: PRODは、LLMがコード生成能力を保ちながら、望ましくないコード内容を忘れることができる新しいアンラーニングアプローチである。 本評価は,既存の未学習アプローチと比較して,忘れ品質とモデルユーティリティのバランスが良好であることを示す。
• 参考スコア（独自算出の注目度）: 65.42425213605114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM4SE has demonstrated significant success, but LLMs' potential memorization of sensitive or outdated training data introduces critical risks to legal compliance, software security, and code quality. LLM unlearning techniques, which can eliminate the influence of undesired data from LLMs in a post-training way, present a promising solution to address these concerns. While recent efforts in LLM unlearning show effectiveness in natural language, their applicability to source code remains underexplored. Our empirical study reveals that existing LLM unlearning approaches, when applied to source code, cause severe model utility degradation, rendering models practically unusable for code generation. In this paper, we propose PROD, a novel unlearning approach that enables LLMs to forget undesired code content while effectively preserving their code generation capabilities. PROD suppresses the probability of forget data in LLMs' output distribution while promoting candidate distributional components, enabling the model to jointly learn to forget specific content and retain its general capabilities. To facilitate this study, we establish a benchmark for code unlearning evaluation, which includes three critical downstream tasks: copyrighted code unlearning, insecure code unlearning, and deprecated API unlearning. Our evaluation demonstrates that PROD achieves superior balance between forget quality and model utility compared to existing unlearning approaches across three downstream tasks, while consistently exhibiting improvements when applied to LLMs of varying series. PROD also exhibits superior robustness against adversarial attacks without generating or exposing the data to be forgotten. The results underscore that our approach not only extends the application boundary of unlearning techniques to source code, but also holds significant implications for advancing reliable code generation.
• Abstract（参考訳）: LLM4SEは大きな成功を収めているが、LLMの機密データや時代遅れのトレーニングデータの暗記は、法的コンプライアンス、ソフトウェアセキュリティ、コード品質に重大なリスクをもたらす。 LLMの非学習技術は、LLMから望ましくないデータの影響を訓練後の方法で排除し、これらの問題に対処するための有望な解決策を提供する。 LLMアンラーニングにおける最近の取り組みは、自然言語における有効性を示しているが、ソースコードへの適用性はまだ未定である。 我々の実証研究は、既存のLLMアンラーニングアプローチがソースコードに適用された場合、深刻なモデルユーティリティ劣化を引き起こし、コード生成には事実上使用できないことを明らかにした。 本稿では,LLMがコード生成能力を効果的に保ちつつ,望ましくないコード内容を忘れることのできる,新しいアンラーニング手法であるPRODを提案する。 PRODは、LLMの出力分布におけるデータ忘れの確率を抑えつつ、候補分布成分を推し進め、モデルが特定のコンテンツを忘れ、その一般的な能力を維持することを共同で学習できるようにする。 本研究は,著作権付きコードアンラーニング,安全性の低いコードアンラーニング,非推奨のAPIアンラーニングの3つの重要なダウンストリームタスクを含む,コードアンラーニング評価のためのベンチマークを確立する。 本評価は,3つのダウンストリームタスクにおける既存の未学習アプローチと比較して,誤り品質とモデルユーティリティのバランスが良好であることを示し,各シリーズのLCMに適用した場合に常に改善が示されることを示した。 PRODはまた、忘れられるデータを生成または公開することなく、敵攻撃に対して優れた堅牢性を示す。 その結果、我々のアプローチは、未学習のテクニックのアプリケーション境界をソースコードに拡張するだけでなく、信頼性の高いコード生成の進展にも大きな影響があることが判明した。

関連論文リスト

• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。