論文の概要: UNBIND: UNlearning By INference-time Directional Steering for Code LLMs

• arxiv url: http://arxiv.org/abs/2609.35913v1
• Date: Mon, 28 Sep 2026 08:55:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.888824
• Title: UNBIND: UNlearning By INference-time Directional Steering for Code LLMs
• Title（参考訳）: UNBIND: コードLLMの推論時間ディレクティブステアリングによるアンラーニング
• Abstract要約: 対象のコードに対応する隠れ状態と、その再生を抑制する方法を考える。 UNBINDはモデルウェイトを固定しながら、推論時に選択的なアンラーニングを達成する。 F-BLEUが測定したように、ターゲットコードの再生を97.3%減らして99.1%に削減する。
• 参考スコア（独自算出の注目度）: 22.397364499305322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code large language models acquire programming capabilities from large code corpora, but can also memorize implementations that later require removal. Code unlearning is needed to control their continued reproduction when copyright or security concerns arise. However, targeted and retained code share computational patterns, creating a tension between forgetting specific implementations and preserving general programming ability. We propose \textbf{UNBIND}, a code unlearning framework that separately considers which hidden states correspond to the target code and how to suppress its reproduction. By constructing separate directions for these objectives, UNBIND achieves selective unlearning at inference time while keeping model weights fixed. Our evaluation covers fourteen baselines across two code models and two corpora. UNBIND achieves the highest joint forgetting and utility score in every setting. It reduces target code reproduction by 97.3\% to 99.1\% as measured by F-BLEU, with at most two fewer HumanEval+ and six fewer MBPP+ problems solved than the original models. In repeated extraction tests under a fixed budget, the number of targets yielding exact spans of at least 50 tokens falls from 188--262 to 0--2 out of 300 per setting. No extracted span reaches 100 tokens, and the mean best recovery ratio ranges from 0.43\% to 6.45\%. Multilingual and related-code evaluations further show effective forgetting with limited impact on useful programming capabilities, supporting UNBIND as a practical approach to selective code unlearning.
• Abstract（参考訳）: コード大言語モデルは、大きなコードコーパスからプログラミング機能を取得するが、後に削除を必要とする実装を記憶することもできる。 コードアンラーニングは、著作権やセキュリティ上の懸念が生じたときに、継続する複製を制御するために必要である。 しかし、ターゲットと保持されたコードは計算パターンを共有し、特定の実装を忘れることと一般的なプログラミング能力を維持することの間の緊張を生じさせる。 対象のコードに対応する隠蔽状態と、その再生の抑制方法を別々に検討するコードアンラーニングフレームワークである「textbf{UNBIND}」を提案する。 これらの目的のために別々の方向を構築することで、UNBINDはモデルウェイトを固定しつつ、推論時に選択的なアンラーニングを達成する。 評価では,2つのコードモデルと2つのコーパスにまたがる14のベースラインについて検討した。 UNBINDは、すべての設定において最も高い共同忘れとユーティリティスコアを達成する。 F-BLEUが測定したように、ターゲットコードの再現率は97.3\%から99.1\%に減少し、HumanEval+は少なくとも2つ減り、MBPP+は6つ減った。 固定予算下での抽出試験では、少なくとも50個のトークンの正確なスパンを出力するターゲットの数は、1セットあたり300点中188--262点から0--2点に減少する。 抽出されたスパンは100個のトークンに到達せず、平均回収率は0.43\%から6.45\%である。 マルチリンガルおよび関連コード評価は、有効なプログラミング能力に限られた影響で効果的な忘れを示しており、UNBINDを選択的コードアンラーニングの実践的アプローチとしてサポートしている。

関連論文リスト

• Vulnerable Code Search: Transferable Attack for Code Language Models [9.326008120835938]
  我々は、このCLM脆弱性を利用するプログラミング言語に依存しない、転送可能な、敵攻撃を導入する。 我々のアプローチは、スニペットの機能を変更せずにコードスニペット内の識別子を摂動させ、ターゲットクエリにコードを調整する。
  論文  参考訳（メタデータ） (2026-08-26T17:11:36Z)
• On the Effect of Token Merging on Pre-trained Models for Code [11.029842116504726]
  本研究では,同じ意味単位に属するサブトークンの隠蔽表現をマージする効果について検討する。 1つは表現を平均化することに基づく戦略であり、もう1つは学習に基づくアプローチを活用する戦略である。 これらの戦略は浮動小数点演算数を1%$から19%$に削減できることを示している。
  論文  参考訳（メタデータ） (2025-07-19T00:48:20Z)
• R1-Code-Interpreter: LLMs Reason with Code via Supervised and Multi-stage Reinforcement Learning [23.795932850992816]
  R1-Code-Interpreterは,マルチターン制御微調整(SFT)と強化学習(RL)によって訓練されたテキストのみの大規模言語モデル(LLM)の拡張である。 144種類の多種多様な推論・計画タスクにまたがる汎用コードインタープリタのトレーニングは,タスクの不均一性や有効サンプルの不足による重大な課題を呈している。 最終モデルであるR1-CI-14Bは、37のテストタスクの平均精度を44.1%から72.4%に改善し、テキストのみのGPT-4o (58.6%) と GPT-4o with Code Interpreter (70.9%) を上回りました。
  論文  参考訳（メタデータ） (2025-05-27T18:47:33Z)
• ObscuraCoder: Powering Efficient Code LM Pre-Training Via Obfuscation Grounding [60.37988508851391]
  言語モデル(LM)は、コード記述ツールボックスのベースとなっている。 Code-LMの事前学習目標の変更を探求する研究は、データ効率の向上と構文とセマンティクスの相互接続性の向上を目的としており、顕著に不十分である。 本研究では,Code-LMが表面的な構文を超越し,事前学習したサンプルの効率を高めるために,難読化コードの基盤について検討する。
  論文  参考訳（メタデータ） (2025-03-27T23:08:53Z)
• The Struggles of LLMs in Cross-lingual Code Clone Detection [3.5202378300682162]
  言語間のコードクローン検出は、ソフトウェアエンジニアリングコミュニティ内で注目を集めている。 機械学習の大幅な進歩にインスパイアされた本論文では、言語間コードクローン検出を再考する。 言語間コードクローンの識別のための5つの大言語モデル (LLM) と8つのプロンプト (08) の性能評価を行った。
  論文  参考訳（メタデータ） (2024-08-08T12:57:14Z)
• Does Your Neural Code Completion Model Use My Code? A Membership Inference Approach [66.51005288743153]
  本稿では,現在のニューラルコード補完モデルの法的および倫理的問題について考察する。 私たちは、もともと分類タスクのために作られたメンバシップ推論アプローチ(CodeMIと呼ばれる)を調整します。 我々は,この適応型アプローチの有効性を,多種多様なニューラルコード補完モデルで評価した。
  論文  参考訳（メタデータ） (2024-04-22T15:54:53Z)
• DeAL: Decoding-time Alignment for Large Language Models [58.368979253590794]
  大規模言語モデル(LLM)は、現在、人間の好みに沿ったコンテンツを生成することが期待されている。 我々は,報酬関数をカスタマイズし,LLMの復号時間アライメントを可能にするフレームワークであるDeALを提案する。
  論文  参考訳（メタデータ） (2024-02-05T06:12:29Z)
• CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
  大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。 我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-05-13T14:23:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。