論文の概要: To Add Is Machine, To Delete Is Human: Measuring and Mitigating Deletion Avoidance in LLM Code Editing
- arxiv url: http://arxiv.org/abs/2607.28887v1
- Date: Thu, 30 Jul 2026 23:07:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.527794
- Title: To Add Is Machine, To Delete Is Human: Measuring and Mitigating Deletion Avoidance in LLM Code Editing
- Title(参考訳): LLMコード編集における削除回避の計測と緩和
- Abstract要約: 大規模な言語モデルでは、プロダクションコードの書き直しが増えているが、テストパスパッチによって削除のメンテナンスが困難になる。
削除回避(deletion avoidance)とは、意図した編集が必要なコードを保持する体系的な傾向である。
ポストトレーニング中の削除教育は、削除回避を減らし、より広範なコード編集性能を向上させる。
- 参考スコア(独自算出の注目度): 6.552422227086477
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models increasingly write and repair production code, yet evidence is mounting that their test-passing patches leave codebases harder to maintain. We identify one concrete source: deletion avoidance, the systematic tendency to retain code that an intended edit requires removing. Across the five leading models on the official SWE-bench Verified leaderboard, deletion recall against the developer patch reaches at most 71.7% even on tasks all five solve, and models reach the right file for over 92% of required deletions but cut the exact line in under 52% of cases. Instead, 29.0% of passing patches wrap the targeted code in a guard or fallback, a pattern we call Guard-and-Go. Such patches pass because the original tests rarely check removal: when we retrofit 34 Verified tasks with tests that fail if the targeted code remains, four frontier models spanning closed and open weights fall from 63.2% to 41.9%. Because real repairs mix removal with addition, we curate CanItDelete, a benchmark of 200 tasks mined from real commits whose entire required edit is deletion. Even with the addition work gone, the best model still fails one task in five, and smaller open models fall to 18.0%. We then ablate GPT-5.6 Sol under four cumulative prompts; success moves little until we supply the exact lines, which nearly eliminate incomplete deletion yet raise success only to 80.5% because the model then deletes beyond the spans or adds code instead. Finally, through a pilot study we show one potential fix: teaching deletion during post-training reduces deletion avoidance and improves broader code-editing performance, suggesting the behavior is undertrained rather than beyond reach.
- Abstract(参考訳): 大規模な言語モデルでは、運用コードの書き直しが増えているが、テストパスパッチがコードベースのメンテナンスを困難にしている証拠が増えている。
削除回避(deletion avoidance)とは、意図した編集が必要なコードを保持する体系的な傾向である。
公式のSWE-bench Verifiedのリーダーボードの5つの主要なモデルの中で、開発者パッチに対する削除リコールは5つのタスクがすべて解決しても71.7%に達し、モデルは必要な削除の92%以上で適切なファイルに到達するが、正確なラインを52%未満のケースでカットする。
代わりに、パスパッチの29.0%は、ターゲットのコードをガードまたはフォールバックでラップする。
対象のコードが残っている場合、テストが失敗すると、クローズドおよびオープンウェイトにまたがる4つのフロンティアモデルが63.2%から41.9%に低下する。
CanItDeleteは、必要な編集が削除された実際のコミットから200のタスクを抽出したベンチマークです。
追加作業が終了したとしても、最高のモデルは5つに1つのタスクで失敗し、より小さなオープンモデルは18.0%に低下する。
GPT-5.6 Solを4つの累積的なプロンプトで吸収する; 成功は正確なラインを供給するまでほとんど動きません。
最後に、パイロットスタディを通じて1つの潜在的な問題を示す: ポストトレーニング中の削除を教えることは、削除回避を減らし、より広範なコード編集性能を改善する。
関連論文リスト
- ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳(メタデータ) (2026-09-15T04:59:03Z) - When Models Edit Too Much: On the Fidelity of Minimal Code Edits [21.17848461238914]
大きな言語モデル(LLM)は、既存のコードの編集にますます使われていますが、正確性だけでは不十分です。
オーバーエジット(over-editing) — バグ修正に必要なものを超えて,モデルがコードを書き直す傾向があること。
我々は,制御されたASTレベルの汚職を参照ソリューションに注入することにより,400のBigCodeBench問題から評価フレームワークを構築した。
論文 参考訳(メタデータ) (2026-09-03T16:36:05Z) - When Not to Imitate: Boundary-Aware Skill Memory for Reliable Tool-Use LLM Agents [62.10623192614306]
過去の成功からスキルを抽出することは、Large Language Model (LLM)エージェントの効率的な進化に不可欠である。
textbfBoundary-Aware Skill Memory (BASM)を提案する。
BASMは、成功度の高いスキルメモリベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2026-08-23T10:16:06Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳(メタデータ) (2026-08-14T19:22:50Z) - Validation Evidence in LLM Repair Agents: How Much of What Passes Actually Tests the Bug? [1.6787220460106658]
BSG-VAは、各バリデーションコマンドをその正確な作業ツリー状態にキャプチャし、テストのみのパッチを抽出し、元のバギーコードでコマンドを再生する。
キャプチャされた結果とリプレイ結果は、ゴールドアラインのバグ識別からレグレッションのみ、誤解を招くまで、すべてのイベントにエビデンスの役割を割り当てます。
エージェントにB-replay結果を返すかどうかを3本腕で実験すると、このパターンが変わる。
論文 参考訳(メタデータ) (2026-07-30T22:32:14Z) - AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。
Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。
コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
論文 参考訳(メタデータ) (2026-07-21T06:21:13Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳(メタデータ) (2026-07-17T17:41:16Z) - RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications [0.0]
RuBench 1.0は、5つのライブオープンソースリポジトリの最近の修正コミットから抽出された25のタスクのベンチマークである。
各タスクはロシア語で指定され、スクラッチから実際の顧客要求のスタイルで書かれ、翻訳されない。
25の修正コミットはすべて、評価されたモデル毎のトレーニングデータのカットオフを延期する。
論文 参考訳(メタデータ) (2026-07-07T15:41:22Z) - Regression Accumulation in Multi-Turn LLM Programming Conversations [25.94870617800846]
回帰累積は6つのモデルにまたがる
後続のコードが以前の要件と競合するクロスTurn Conflictは、主要な障害クラスである。
検証ゲートは、すべてのモデルを一貫して改善する唯一の戦略である。
論文 参考訳(メタデータ) (2026-07-02T08:15:40Z) - Output Vector Editing for Memorization Mitigation in Large Language Models [68.30351930772788]
大規模な言語モデルは、トレーニングデータからシーケンスを記憶し、再現し、プライバシ、著作権、セキュリティリスクを生み出す。
既存のニューロンレベルの緩和方法は、ニューロンの活性化をゼロにすることで編集を等しくするが、活性化はニューロンが関与するかどうかのみを制御する。
記憶継続に責任を負うニューロンの小さな集合を探索する制約最適化編集である出力ベクトル編集を提案する。
論文 参考訳(メタデータ) (2026-06-17T07:29:18Z) - Auditing Reward Hackability in Code RL Training Environments [0.0]
コードRL環境が誤った解を正しく受け入れる速度を計測する。
SWE-bench Verifiedの49タクのサンプルでは、28.5%のタスクがテストスイートが弱く、Dockerで検証された不正確なパッチがそれらをパスしている。
論文 参考訳(メタデータ) (2026-06-14T23:31:42Z) - Getting Better at Working With You: Compiling User Corrections into Runtime Enforcement for Coding Agents [99.67681154381803]
Test-time Rule Acquisition and Compiled Enforcement (TRACE)は、コーディングエージェントランタイムのためのスキル層パイプラインである。
開発者が事前に記述した実行時チェックとは異なり、TRACEスキルはユーザのチャット修正に由来する。
論文 参考訳(メタデータ) (2026-06-11T10:43:40Z) - Safety Recovery in Reasoning Models Is Only a Few Early Steering Steps Away [97.11976870616273]
本稿では,安全回復を目的ではなく満足度の高い制約として扱う軽量な推論時防衛法を提案する。
6つのオープンソースMLRMと4つのjailbreakベンチマークで評価した結果、SafeThinkは攻撃成功率を30~60%削減しました。
論文 参考訳(メタデータ) (2026-02-11T18:09:17Z) - Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。
本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
論文 参考訳(メタデータ) (2024-05-13T14:54:37Z) - Control, Confidentiality, and the Right to be Forgotten [7.568881327572535]
我々は新しい形式主義である削除・アズ・コントロールを提案する。
削除前にユーザーのデータを自由に使用でき、削除後に意味のある要件を課すことができる。
社会機能に応用し、様々な機械学習定義の統一的なビューを提供する。
論文 参考訳(メタデータ) (2022-10-14T14:54:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。