論文の概要: Reuse or Generate? Accelerating Code Editing via Edit-Oriented Speculative Decoding

• arxiv url: http://arxiv.org/abs/2506.02780v1
• Date: Tue, 03 Jun 2025 12:01:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.415795
• Title: Reuse or Generate? Accelerating Code Editing via Edit-Oriented Speculative Decoding
• Title（参考訳）: 再利用か生成か? 編集指向の投機的デコーディングによるコード編集の高速化
• Authors: Peiding Wang, Li Zhang, Fang Liu, Yinghao Zhu, Wang Xu, Lin Shi, Xiaoli Lian, Minxiao Li, Bo Shen, An Fu,
• Abstract要約: 大規模言語モデル(LLM)は、コード編集において顕著な能力を示し、ソフトウェア開発の生産性を大幅に向上させた。 提案するEfficientEditは,投機的復号化に基づく2つのキー機構により,LLMベースのコード編集効率を向上させる手法である。 実験の結果、EfficientEditは10.38$times$と13.09$times$speedupを標準の自己回帰デコードと比較して達成できることがわかった。
• 参考スコア（独自算出の注目度）: 13.813068175559456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities in code editing, substantially enhancing software development productivity. However, the inherent complexity of code editing tasks forces existing approaches to rely on LLMs' autoregressive end-to-end generation, where decoding speed plays a critical role in efficiency. While inference acceleration techniques like speculative decoding are applied to improve the decoding efficiency, these methods fail to account for the unique characteristics of code editing tasks where changes are typically localized and existing code segments are reused. To address this limitation, we propose EfficientEdit, a novel method that improves LLM-based code editing efficiency through two key mechanisms based on speculative decoding: (1) effective reuse of original code segments while identifying potential edit locations, and (2) efficient generate edit content via high-quality drafts from edit-oriented draft models and a dynamic verification mechanism that balances quality and acceleration. Experimental results show that EfficientEdit can achieve up to 10.38$\times$ and 13.09$\times$ speedup compared to standard autoregressive decoding in CanItEdit and CodeIF-Bench, respectively, outperforming state-of-the-art inference acceleration approaches by up to 90.6%.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード編集において顕著な能力を示し、ソフトウェア開発の生産性を大幅に向上させた。 しかし、コード編集タスクの本質的な複雑さにより、既存のアプローチはLLMの自己回帰的なエンドツーエンド生成に頼らざるを得なくなり、デコード速度は効率において重要な役割を果たす。 投機的復号化のような推論加速技術は復号効率を向上させるために応用されるが、これらの手法は典型的には局所化され既存のコードセグメントが再利用されるコード編集タスクのユニークな特徴を考慮できない。 この制限に対処するため,提案手法では,(1)潜在的な編集位置を特定しながら元のコードセグメントを効果的に再利用し,(2)編集指向のドラフトモデルから高品質なドラフトを作成し,また,品質とアクセラレーションのバランスをとる動的検証機構を用いて,LLMベースのコード編集効率を向上させる新しい手法であるEfficientEditを提案する。 実験の結果、CanItEdit と CodeIF-Bench の標準自己回帰デコーディングと比較して、EfficientEdit は最大 10.38$\times$ と 13.09$\times$ のスピードアップを達成でき、最先端の推論アクセラレーションアプローチを最大 90.6% 向上させることができることがわかった。

関連論文リスト

• InComeS: Integrating Compression and Selection Mechanisms into LLMs for Efficient Model Editing [77.47790551485721]
  In-context Learningは、コンテキストエンコーディングを通じて編集情報を解釈することで、有望な編集方法である。 この方法は、大きな言語モデルの限られたコンテキストウィンドウによって制約される。 編集コンテキストの処理能力を向上させるフレキシブルなフレームワークであるInComeSを提案する。
  論文  参考訳（メタデータ） (2025-05-28T09:20:18Z)
• EditLord: Learning Code Transformation Rules for Code Editing [26.41680850940224]
  既存のアプローチはしばしばコード編集を暗黙のエンドツーエンドのタスクとして定式化し、コード編集の手順が本質的に離散的で明示的なステップで構成されているという事実を省略する。 コード変換のステップを明確にするコード編集フレームワークであるEditLordを紹介します。 我々の重要な洞察は、訓練コードペアからコード編集ルールを簡潔なメタルールセットとして抽出するために、言語モデル(LM)を帰納学習者として使うことである。
  論文  参考訳（メタデータ） (2025-03-10T16:33:59Z)
• CodeSwift: Accelerating LLM Inference for Efficient Code Generation [17.681848203476687]
  コード生成に特化して設計された,高効率な推論高速化手法であるCodeSwiftを提案する。 CodeSwiftはマルチソースのデータストアを構築し、一般的な知識とプロジェクト固有の知識の両方へのアクセスを提供する。 実験の結果、CodeSwiftはリポジトリレベルのコード生成タスクとスタンドアロンコード生成タスクの自己回帰デコーディングと比較して、最大2.53倍と2.54倍のスピードアップに達することが示されている。
  論文  参考訳（メタデータ） (2025-02-24T13:30:30Z)
• CodeDPO: Aligning Code Models with Self Generated and Verified Source Code [52.70310361822519]
  我々は、コード生成に好み学習を統合するフレームワークであるCodeDPOを提案し、コードの正確性と効率性という2つの重要なコード優先要因を改善した。 CodeDPOは、コードとテストケースを同時に生成、評価するセルフジェネレーション・アンド・バリデーションメカニズムを利用して、新しいデータセット構築方法を採用している。
  論文  参考訳（メタデータ） (2024-10-08T01:36:15Z)
• Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion [55.0194604505437]
  投機的復号化は,大規模言語モデル推論を高速化する手法として広く採用されている。 本稿では,離散拡散モデルを用いてドラフトシーケンスを生成する投機的復号法を提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:24:25Z)
• CodeEditorBench: Evaluating Code Editing Capability of Large Language Models [49.387195629660994]
  コードのための大規模言語モデル(LLM)は急速に進化しており、コード編集が重要な機能として現れている。 コード編集タスクにおけるLLMの性能を厳格に評価するための評価フレームワークであるCodeEditorBenchを紹介する。 5つのソースからさまざまなコーディング課題やシナリオをキュレートし、さまざまなプログラミング言語、複雑性レベル、編集タスクをカバーしています。
  論文  参考訳（メタデータ） (2024-04-04T15:49:49Z)
• GrACE: Generation using Associated Code Edits [23.643567386291988]
  プリトレーニング済みの大規模言語モデル(LLM)に,事前の関連編集の知識を付与する。 LLMの生成能力は、コード変更の多様性と、事前編集時のコード生成の条件付けに役立ちます。 Codex と CodeT5 の2つの有名な LLM を,ゼロショット設定と微調整設定でそれぞれ評価した。
  論文  参考訳（メタデータ） (2023-05-23T14:55:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。