論文の概要: What Was Once Learned May Need to Be Unlearned: Machine Unlearning for Deprecated API Knowledge in Large Language Models

• arxiv url: http://arxiv.org/abs/2609.25786v1
• Date: Tue, 22 Sep 2026 07:20:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.266108
• Title: What Was Once Learned May Need to Be Unlearned: Machine Unlearning for Deprecated API Knowledge in Large Language Models
• Title（参考訳）: 一度学んだこと:大規模言語モデルにおける非推奨のAPI知識のための機械学習
• Abstract要約: コード補完のための大規模言語モデル(LLM)は、トレーニング前のコーパスが歴史的なライブラリバージョンのコードを含んでいるため、非推奨のAPIを生成する可能性がある。 既存のアプローチでは、推論時間の介入、モデル編集、あるいはマシンアンラーニングが使用されているが、複数の妥当な完了によって、事前定義された置換が制限される。 我々は、非推奨のAPI知識に対する機械学習の体系的な実証的研究を行い、7000以上のモデル固有のインスタンスを持つ行動グラウンドベンチマークであるMUDAPIBenchを構築した。
• 参考スコア（独自算出の注目度）: 9.220912359762261
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) for code completion may generate deprecated APIs because their pre-training corpora contain code from historical library versions. Existing approaches use inference-time intervention, model editing, or machine unlearning, but multiple plausible completions make predefined replacements restrictive. Moreover, existing studies rarely verify whether models exhibit the targeted deprecated behavior or evaluate unintended changes to other APIs. We conduct a systematic empirical study of machine unlearning for deprecated API knowledge and construct MUDAPIBench, a behavior-grounded benchmark with over 7,000 model-specific instances derived from 145 deprecated-to-up-to-date API mappings across eight Python libraries. Instances are retained only when the original model generates the target deprecated API. We evaluate eight representative unlearning methods across three code LLMs on deprecated API forgetting, up-to-date API generation, preservation of other and unrelated API behaviors, general code-generation capability, and efficiency. Results show that Gradient Difference (GD) provides the best overall trade-off, suppressing deprecated APIs while preserving other capabilities with moderate computational costs. Further analyses reveal substantial variation across libraries and show that APIs deprecated after the model's training-data cutoff are harder to forget. Layer-wise analyses indicate that GD achieves effective forgetting with comparatively controlled internal changes.
• Abstract（参考訳）: コード補完のための大規模言語モデル(LLM)は、トレーニング前のコーパスが歴史的なライブラリバージョンのコードを含んでいるため、非推奨のAPIを生成する可能性がある。 既存のアプローチでは、推論時間の介入、モデル編集、あるいはマシンアンラーニングが使用されているが、複数の妥当な完了によって、事前定義された置換が制限される。 さらに、既存の研究では、対象とする非推奨の振る舞いを示すモデルが他のAPIに意図しない変更を評価できるかどうかをほとんど検証していない。 MUDAPIBenchは,8つのPythonライブラリにまたがる145以上の非推奨のAPIマッピングから派生した,7000以上のモデル固有インスタンスを備えた行動ベースベンチマークである。 インスタンスは、元のモデルが対象の非推奨APIを生成する場合にのみ保持される。 我々は,非推奨のAPIを忘れること,最新のAPI生成,他の非関連APIの挙動の保存,一般的なコード生成機能,効率性に基づいて,3つのLLMにまたがる8つの代表的なアンラーニング手法を評価した。 その結果、グラディエント差分(GD)は、非推奨のAPIを抑えつつ、適度な計算コストで他の機能を保ちながら、全体的なトレードオフを最大限に実現していることがわかった。 さらに分析したところ、ライブラリ間ではかなりのばらつきがあり、モデルのトレーニングデータ切り離し後に非推奨となるAPIは、忘れがちであることが示された。 レイヤワイズ分析は、GDが比較的制御された内部変化を効果的に忘れることを実現することを示している。

関連論文リスト

• Towards Knowledge Alignment in Code LLMs: Contrastive Unlearning for Evolving APIs [1.4228421209315671]
  CUREは、未学習を純粋に時代遅れの知識を抑圧することから、適切なAPI置換を明示的に推奨することに移行する、対照的な未学習のアプローチである。 実験によると、CUREは非推奨のAPIの使用を減らすだけでなく、一般的なコード生成性能を維持しながら、適切なAPI置換を改善する。
  論文  参考訳（メタデータ） (2026-06-29T18:34:55Z)
• LibEvoBench: Probing Temporal Knowledge Stratification in Code Generation Models [12.441288958152931]
  大規模なソフトウェアプロジェクトは、リリース全体にわたってAPIが進化し続けるにもかかわらず、古いバージョンのライブラリに依存することが多い。 最新のものや最も一般的なものではなく、複数のAPIバージョンに関する知識を維持する必要がある。 我々は、複数のバージョンのPythonライブラリにまたがるベンチマークであるLibEvoBenchと、新しいメトリクスであるSoftware Evolution Understanding Score(SEUS)を紹介し、進化するAPIを扱う際のモデルの一貫性を測定する。
  論文  参考訳（メタデータ） (2026-06-24T04:58:28Z)
• Lightweight Model Editing for LLMs to Correct Deprecated API Recommendations [15.586818028794942]
  事前訓練された大規模言語モデル(LLM)は、コード補完タスクにおいて強力なパフォーマンスを示している。 LLMは、将来のサードパーティライブラリではサポートされない非推奨のAPIを頻繁に生成する。 本稿では,AdaLoRA-Lを提案する。AdaLoRA-Lは"共通APIレイヤ"(すべてのAPIで高い重要性を持ち,一般的な知識を保存し,編集から除外されたレイヤ)を定義し,編集を"特定APIレイヤ"に限定する。 実験の結果、AdaLoRA-Lは他の評価指標と同等の性能を維持しながら、比例性を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-11-26T03:36:34Z)
• ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
  ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。 実験の結果、ExploreaCoderは、事前のAPI知識に欠けるモデルのパフォーマンスを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-12-06T19:00:15Z)
• Pop Quiz! Do Pre-trained Code Models Possess Knowledge of Correct API Names? [28.86399157983769]
  CodeBERTやCodexのようなトレーニング済みのコードモデルの最近のブレークスルーは、さまざまな下流タスクにおいて、優れたパフォーマンスを示している。 最近の研究によると、最先端の事前訓練されたコードモデルでさえ、コード生成中に正しいAPIを提案することに苦労している。
  論文  参考訳（メタデータ） (2023-09-14T15:46:41Z)
• Learning to Learn from APIs: Black-Box Data-Free Meta-Learning [99.56612787882334]
  データフリーなメタラーニング(DFML)は、トレーニングデータにアクセスせずに事前訓練されたモデルの集合からメタラーニングすることで、新しいタスクの効率的な学習を可能にすることを目的としている。 既存のDFMLの作業は、(i)ホワイトボックスと(ii)小規模事前訓練モデルからしかメタ学習できない。 ブラックボックスAPIの集合から単一のモデルへ,より一般的なメタ知識を伝達するための,バイレベルデータフリーなメタ知識蒸留(BiDf-MKD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-28T18:00:12Z)
• Evaluating Embedding APIs for Information Retrieval [51.24236853841468]
  ドメインの一般化と多言語検索における既存のセマンティック埋め込みAPIの機能を評価する。 BM25の結果をAPIを使って再ランク付けすることは、予算に優しいアプローチであり、英語でもっとも効果的である。 非英語検索では、再ランク付けは結果を改善するが、BM25のハイブリッドモデルは高いコストで機能する。
  論文  参考訳（メタデータ） (2023-05-10T16:40:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。