論文の概要: Towards Knowledge Alignment in Code LLMs: Contrastive Unlearning for Evolving APIs

• arxiv url: http://arxiv.org/abs/2606.30810v1
• Date: Mon, 29 Jun 2026 18:34:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:18.969753
• Title: Towards Knowledge Alignment in Code LLMs: Contrastive Unlearning for Evolving APIs
• Title（参考訳）: コードLLMにおける知識アライメントに向けて: API進化のための対照的なアンラーニング
• Abstract要約: CUREは、未学習を純粋に時代遅れの知識を抑圧することから、適切なAPI置換を明示的に推奨することに移行する、対照的な未学習のアプローチである。 実験によると、CUREは非推奨のAPIの使用を減らすだけでなく、一般的なコード生成性能を維持しながら、適切なAPI置換を改善する。
• 参考スコア（独自算出の注目度）: 1.4228421209315671
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large Language Models (LLMs) have recently achieved strong performance in code generation. However, due to knowledge cut-off and the rapid evolution of software libraries, they often generate deprecated API usages that lead to unreliable and incompatible code. Existing fine-tuning methods lack selectivity when only a small portion of model knowledge requires modification. Recent model-level approaches, such as machine unlearning and model editing, offer a promising direction for modifying parametric knowledge. However, their use for deprecated API mitigation remains largely unexplored. Moreover, existing methods primarily suppress outdated APIs, but do not explicitly steer models toward correct replacements, often leading to mismatched or incomplete generations. To address this limitation, we developed CURE, a contrastive unlearning approach that shifts unlearning from purely suppressing outdated knowledge to explicitly promoting correct API replacements. Concretely, CURE jointly discourages deprecated APIs while encouraging their valid alternatives, enabling more reliable adaptation to evolving software libraries. The experiments on recent deprecated API benchmark dataset show that CURE not only reduces deprecated API usage but also improves correct API replacement, while preserving general code generation performance. CURE substantially outperforms two SOTA baselines with respect to different quality metrics. These findings highlight the importance of combining suppression with replacement when adapting LLMs to evolving software ecosystems.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード生成において、最近強力なパフォーマンスを達成した。 しかし、知識の遮断とソフトウェアライブラリの急速な進化により、しばしば非推奨のAPI使用率を生成し、信頼できない、互換性のないコードを生み出す。 既存の微調整手法では、モデル知識のごく一部が修正を必要とする場合、選択性が欠如している。 機械学習やモデル編集といった最近のモデルレベルのアプローチは、パラメトリック知識を修正する上で有望な方向を提供する。 しかし、非推奨のAPI緩和に対する彼らの使用は、ほとんど探索されていない。 さらに、既存のメソッドは、主に時代遅れのAPIを抑圧するが、モデルが正しく置き換えられるように明示的に制御しないため、しばしばミスマッチや不完全な世代が発生する。 この制限に対処するために,未学習を純粋に時代遅れの知識を抑圧することから,適切なAPI置換を明示的に推進することに移行する,対照的な未学習アプローチCUREを開発した。 具体的には、CUREは非推奨のAPIを共同で拒否すると同時に、有効な代替手段を奨励し、進化するソフトウェアライブラリへのより信頼性の高い適応を可能にする。 最近の非推奨のAPIベンチマークデータセットの実験は、CUREが非推奨のAPI使用量を削減しただけでなく、一般的なコード生成のパフォーマンスを維持しながら、適切なAPI置換を改善したことを示している。 CUREは、異なる品質指標に関して2つのSOTAベースラインを大幅に上回る。 これらの知見は、LLMを進化するソフトウェアエコシステムに適応させる際に、リフレクションとリプレースを組み合わせることの重要性を強調している。

関連論文リスト

• Mitigating Errors in LLM-Generated Web API Invocations via Retrieval-Augmented Generation and Constrained Decoding [3.3663024952628073]
  本稿では、Web API呼び出しコードを改善するための2つの補完的アプローチとして、検索拡張生成(RAG)と制約付き復号(CD)を提案し、体系的に評価する。 RAGは幻覚を減らし、完全なAPI呼び出しを生成するときの正しさを改善するが、エンドポイントがすでに提供されているときのそれを減らす。 CDは、違法なURL、HTTPメソッド、引数を確実に防止し、両方のスターターコードの全体的な正しさを大幅に改善する。
  論文  参考訳（メタデータ） (2026-07-07T07:38:28Z)
• LibEvoBench: Probing Temporal Knowledge Stratification in Code Generation Models [12.441288958152931]
  大規模なソフトウェアプロジェクトは、リリース全体にわたってAPIが進化し続けるにもかかわらず、古いバージョンのライブラリに依存することが多い。 最新のものや最も一般的なものではなく、複数のAPIバージョンに関する知識を維持する必要がある。 我々は、複数のバージョンのPythonライブラリにまたがるベンチマークであるLibEvoBenchと、新しいメトリクスであるSoftware Evolution Understanding Score(SEUS)を紹介し、進化するAPIを扱う際のモデルの一貫性を測定する。
  論文  参考訳（メタデータ） (2026-06-24T04:58:28Z)
• MLS-Bench: A Holistic and Rigorous Assessment of AI Systems on Building Better AI [92.82821272460423]
  MLS-Benchは、AIシステムが一般化可能なスケーラブルなMLメソッドを発明できるかどうかを評価するためのベンチマークである。 本研究では, エージェントの探索性能に及ぼすテスト時間スケーリング, 適応型計算アロケーション, コンテキストプロビジョニングの影響について検討する。
  論文  参考訳（メタデータ） (2026-05-09T04:29:46Z)
• KCoEvo: A Knowledge Graph Augmented Framework for Evolutionary Code Generation [25.38402999279553]
  本稿では,マイグレーションタスクを2つの相乗的段階(進化経路探索と経路情報生成)に分解する知識グラフ拡張フレームワークを提案する。 提案手法は,静的かつ動的なAPIグラフを構築して,API進化に対する構造的推論を可能にする。
  論文  参考訳（メタデータ） (2026-03-08T10:39:48Z)
• Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
  継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。 既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。 本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2026-01-31T13:27:02Z)
• Framework-Aware Code Generation with API Knowledge Graph-Constructed Data: A Study on HarmonyOS [52.483888557864326]
  APIKG4SYNはAPI指向の質問コードペアの構築にAPIナレッジグラフを活用するように設計されたフレームワークである。 APIKG4SYNを使ったHarmonyOSコード生成のための最初のベンチマークを構築した。
  論文  参考訳（メタデータ） (2025-11-29T08:13:54Z)
• Lightweight Model Editing for LLMs to Correct Deprecated API Recommendations [15.586818028794942]
  事前訓練された大規模言語モデル(LLM)は、コード補完タスクにおいて強力なパフォーマンスを示している。 LLMは、将来のサードパーティライブラリではサポートされない非推奨のAPIを頻繁に生成する。 本稿では,AdaLoRA-Lを提案する。AdaLoRA-Lは"共通APIレイヤ"(すべてのAPIで高い重要性を持ち,一般的な知識を保存し,編集から除外されたレイヤ)を定義し,編集を"特定APIレイヤ"に限定する。 実験の結果、AdaLoRA-Lは他の評価指標と同等の性能を維持しながら、比例性を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-11-26T03:36:34Z)
• Identifying and Mitigating API Misuse in Large Language Models [26.4403427473915]
  大規模言語モデル(LLM)が生成するコードのAPI誤用は、ソフトウェア開発において深刻な課題となっている。 本稿では LLM 生成コードにおける API の誤用パターンについて,Python および Java 間でのメソッド選択とパラメータ使用法の両方を解析し,総合的研究を行った。 上記の分類に基づくAPI誤用に対する新しいLCMベースの自動プログラム修復手法であるDr.Fixを提案する。
  論文  参考訳（メタデータ） (2025-03-28T18:43:12Z)
• ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
  ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。 実験の結果、ExploreaCoderは、事前のAPI知識に欠けるモデルのパフォーマンスを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-12-06T19:00:15Z)
• APILOT: Navigating Large Language Models to Generate Secure Code by Sidestepping Outdated API Pitfalls [15.865915079829943]
  APILOTは、時代遅れのAPIのリアルタイム、即時更新可能なデータセットを維持している。 拡張ジェネレーションメソッドを使用して、セキュアでバージョン対応のコードを生成するLLMをナビゲートする。 古いコードレコメンデーションを平均89.42%削減し、パフォーマンス上のオーバーヘッドを制限できる。
  論文  参考訳（メタデータ） (2024-09-25T00:37:40Z)
• A Comprehensive Framework for Evaluating API-oriented Code Generation in Large Language Models [14.665460257371164]
  GitHub CopilotやChatGPTのような大規模言語モデル(LLM)は、コード生成の強力なツールとして登場した。 API指向コード生成におけるLLMの機能を評価するために設計されたフレームワークであるAutoAPIEvalを提案する。
  論文  参考訳（メタデータ） (2024-09-23T17:22:09Z)
• FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
  APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T23:44:02Z)
• Exploring Data-Efficient Adaptation of Large Language Models for Code Generation [64.5583894165813]
  コード生成のための誤り駆動学習を用いたデータ効率向上のための新しい適応手法DEEDを提案する。 実験により、他の主流の微調整手法と比較して、DEEDは訓練データが少なく、優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-02-29T16:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。