論文の概要: Learning from 53.6K Real-World Developer Edits of AI-Generated Code
- arxiv url: http://arxiv.org/abs/2607.25130v1
- Date: Mon, 27 Jul 2026 22:50:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.648902
- Title: Learning from 53.6K Real-World Developer Edits of AI-Generated Code
- Title（参考訳）: AI生成コードの実世界の開発者編集から学ぶ
- Abstract要約: 53.6Kの現実世界のIDEコード編集データセットであるDECODEを紹介した。
その結果、ほとんどの編集は、AI完了を受け入れた最初の15分以内に行われ、その結果、編集軌跡の31%でAI完了が除去されることがわかった。
- 参考スコア（独自算出の注目度）: 20.142618371073446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Imperfections in AI-generated code require that software developers modify the generated code manually, or by re-prompting an AI programming assistant. Manual code edits provide more realistic and granular information on editing behavior than Git commits, which only contain final successful code snippets. Yet, due to a lack of high-quality, realistic code editing data, LLMs are mostly trained on publicly available Git data (e.g., commits). To address this gap, we introduce DECODE (Developer Edits of Code Dataset), a dataset of 53.6K real-world in-IDE code edits of AI-generated code in Python, TypeScript, and JavaScript, sourced from 1K+ developers. First, we demonstrate the utility of DECODE for data analysis, obtaining insights on when, why, and how AI-generated code is edited. We find that most edits occur within the first 15 minutes after accepting an AI completion, resulting in the removal of AI completions in 31% of edit trajectories. Second, we use DECODE to benchmark the ability of LLMs to predict code edits. We find that finetuning on DECODE enables open-source 3B models to perform code edit prediction tasks significantly better than frontier LLMs. We then discuss implications of this work, emphasizing the necessity of developer-centric machine learning approaches for future AI programming assistants.
- Abstract（参考訳）: AI生成コードの欠陥は、ソフトウェア開発者が生成したコードを手動で修正すること、あるいはAIプログラミングアシスタントを再実行することを必要とする。
手作業によるコード編集は、最終的なコードスニペットのみを含むGitコミットよりも、より現実的で粒度の細かい編集情報を提供する。
しかし、高品質でリアルなコード編集データが不足しているため、LLMは一般に公開されているGitデータ(例えばコミット)に基づいてトレーニングされている。
このギャップに対処するため、我々は1K以上の開発者からソースされた、Python、TypeScript、JavaScriptで生成されたAI生成コードの53.6KのIDEコード編集データセットであるDECODE(Developer Edits of Code Dataset)を紹介した。
まず、データ分析におけるDECODEの有用性を実証し、いつ、なぜ、どのようにAI生成コードが編集されるかについての洞察を得る。
その結果、ほとんどの編集は、AI完了を受け入れた最初の15分以内に行われ、その結果、編集軌跡の31%でAI完了が除去されることがわかった。
次に、コード編集の予測にLDMの能力をベンチマークするためにDECODEを使用します。
DECODEの微調整により、オープンソースの3Bモデルでは、フロンティアLLMよりもはるかに優れたコード編集予測タスクを実行できることがわかった。
そして、この研究の意味について議論し、将来のAIプログラミングアシスタントのための開発者中心の機械学習アプローチの必要性を強調します。
関連論文リスト
- Empirical Study on the Characteristics and Evolution of AI-usage in GitHub Repositories: Evidence from Code Comments [7.213400161126317]
私たちは、AIの使用と関連するコードブロックを明示的に参照する、35,361のGitHubコードコメントを分析します。
最初に500のユニークなコメントとコードブロックをオープンにし、AI支援開発活動の分類を導き出しました。
次に、2つのLCMベースの分類器と、Dawid-Skene予測最大化による集約予測を用いて、全データセットに注釈を付ける。
論文 参考訳（メタデータ） (2026-06-05T02:37:44Z) - Debt Behind the AI Boom: A Large-Scale Empirical Study of AI-Generated Code in the Wild [13.35459155979355]
我々は6,275のGitHubリポジトリから304,362の認証済みAI認証コミットのデータセットを構築します。
484,606の異なる問題を特定し、コードの臭いは最も一般的な型であり、すべての問題の89.1%を占めています。
これらの結果は、AI生成コードは、実際のソフトウェアプロジェクトに長期のメンテナンスコストをもたらす可能性があることを示している。
論文 参考訳（メタデータ） (2026-03-30T15:38:05Z) - AgentPack: A Dataset of Code Changes, Co-Authored by Agents and Humans [46.56091965723774]
コード編集のための微調整された大きな言語モデルは、一般的にコミットのマイニングやプルリクエストに依存しています。
我々は、Claude Code、OpenAI Codex、Cursor Agentが共著した1.3Mコード編集コーパスであるAgentPackを紹介する。
AgentPackで微調整されたモデルは、以前の人間のみのコミットコーパスで訓練されたモデルより優れていることを示す。
論文 参考訳（メタデータ） (2025-09-26T05:28:22Z) - Understanding Generative AI Capabilities in Everyday Image Editing Tasks [52.812515570607296]
Redditコミュニティで過去12年間(2013-2025)に行われた83万件のリクエストを分析し、305万件のPSRウィザード編集を収集した。
人間の評価によると、最高のAIエディターによって要求の約33%が満たされる。
AIエディタは、よりオープンなタスクよりも正確な編集を必要とする、創造性の低い要求に対して、パフォーマンスが悪くなる。
論文 参考訳（メタデータ） (2025-05-22T03:35:15Z) - On the Robustness of Editing Large Language Models [57.477943944826904]
大型言語モデル(LLM)はコミュニケーションAIの構築において重要な役割を担っているが、効率的な更新の課題に直面している。
この研究は、編集方法の長所と短所を理解し、コミュニケーション型AIの実践的応用を促進することを目的としている。
論文 参考訳（メタデータ） (2024-02-08T17:06:45Z) - Can It Edit? Evaluating the Ability of Large Language Models to Follow Code Editing Instructions [6.367360745627828]
コード編集タスクのベンチマークを導入し、それをいくつかの最先端LCMの評価に利用する。
我々の評価は、最先端のオープンモデルとクローズドモデルの間の大きなギャップを露呈する。
我々は、自然言語命令と組み合わされたコード編集タスクの新しい、慎重にキュレートされ、パーミッシブにライセンスされたトレーニングデータセットを導入する。
論文 参考訳（メタデータ） (2023-12-11T02:27:45Z) - InstructCoder: Instruction Tuning Large Language Models for Code Editing [26.160498475809266]
ユーザインストラクションに基づいたコード編集にLLM(Large Language Models)を用いる方法について検討する。
InstructCoderは、汎用コード編集にLLMを適用するために設計された最初の命令チューニングデータセットである。
InstructCoderで微調整されたオープンソースのLLMは、コード編集の精度を大幅に向上させることができる。
論文 参考訳（メタデータ） (2023-10-31T10:15:35Z) - Coeditor: Leveraging Contextual Changes for Multi-round Code Auto-editing [57.776971051512234]
本研究では,複数ラウンドのコードの自動編集設定について検討し,その内部の最近の変更に基づいて,コード領域への編集を予測することを目的とした。
我々のモデルであるCoeditorは、コード編集タスクに特化して設計された微調整言語モデルである。
単純化されたシングルラウンドのシングル編集タスクでは、Coeditor は GPT-3.5 と SOTA のオープンソースコード補完モデルを大幅に上回っている。
論文 参考訳（メタデータ） (2023-05-29T19:57:36Z) - GrACE: Generation using Associated Code Edits [23.643567386291988]
プリトレーニング済みの大規模言語モデル(LLM)に,事前の関連編集の知識を付与する。
LLMの生成能力は、コード変更の多様性と、事前編集時のコード生成の条件付けに役立ちます。
Codex と CodeT5 の2つの有名な LLM を,ゼロショット設定と微調整設定でそれぞれ評価した。
論文 参考訳（メタデータ） (2023-05-23T14:55:44Z) - Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。
トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
論文 参考訳（メタデータ） (2023-02-14T18:43:34Z) - CodeEditor: Learning to Edit Source Code with Pre-trained Models [47.736781998792]
本稿では,CodeEditorというコード編集モデルを提案する。
私たちは、多くの現実世界のコードスニペットを基礎として収集し、強力なジェネレータを使って変更したバージョンに書き直します。
我々は,4つのコード編集データセットの実験を行い,事前学習したCodeEditorを3つの設定で評価する。
論文 参考訳（メタデータ） (2022-10-31T03:26:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。