論文の概要: To Diff or Not to Diff? Structure-Aware and Adaptive Output Formats for Efficient LLM-based Code Editing
- arxiv url: http://arxiv.org/abs/2604.27296v1
- Date: Thu, 30 Apr 2026 01:14:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-01 16:31:53.860157
- Title: To Diff or Not to Diff? Structure-Aware and Adaptive Output Formats for Efficient LLM-based Code Editing
- Title(参考訳): ディフ・アンド・ディフ : LLMに基づく効率的なコード編集のための構造認識および適応出力フォーマット
- Abstract要約: BlockDiffとFuncDiffは構造対応のdiffフォーマットで、変更を構文的に一貫性のあるユニットのブロックレベルの書き換えとして表現する。
AdaEdit は LLM に与えられたdiff フォーマットと全コードの間で最もトークン効率の良いフォーマットを動的に選択するよう訓練する一般的な適応編集戦略である。
- 参考スコア(独自算出の注目度): 54.399335188667045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are increasingly used for code editing, yet the prevalent full-code generation paradigm suffers from severe efficiency bottlenecks, posing challenges for interactive coding assistants that demand low latency and cost. Despite the predominant focus on scaling model capabilities, the edit format itself has been largely overlooked in model training. In this paper, we begin with a systematic study of conventional diff formats and reveal that fragile offsets and fragmented hunks make generation highly unnatural for LLMs. To address it, we introduce BlockDiff and FuncDiff, two structure-aware diff formats that represent changes as block-level rewrites of syntactically coherent units such as control structures and functions. Furthermore, we propose AdaEdit, a general adaptive edit strategy that trains LLMs to dynamically choose the most token-efficient format between a given diff format and full code. Extensive experiments demonstrate that AdaEdit paired with structure-aware diff formats consistently matches the accuracy of full-code generation, while reducing both latency and cost by over 30% on long-code editing tasks.
- Abstract(参考訳): 大きな言語モデル(LLM)は、コード編集にますます使われていますが、一般的なフルコード生成パラダイムは、大幅な効率のボトルネックに悩まされ、低レイテンシとコストを必要とする対話型コーディングアシスタントの課題を引き起こします。
モデル機能のスケーリングに重点を置いているにも関わらず、編集フォーマット自体は、モデルトレーニングではほとんど見過ごされてきました。
本稿では、従来の差分形式を体系的に研究し、脆弱なオフセットと断片化されたハンクがLLMに非常に不自然な生成をもたらすことを明らかにする。
これを解決するために,BlockDiff と FuncDiff という2つの構造対応diff フォーマットを導入し,変化を制御構造や関数などの構文的に整合したユニットのブロックレベルの書き直しとして表現する。
さらに,あるdiffフォーマットと全コードの間で最もトークン効率の良いフォーマットを動的に選択するようLLMを訓練する汎用的な適応編集手法であるAdaEditを提案する。
大規模な実験では、AdaEditと構造対応のdiffフォーマットを組み合わせると、フルコード生成の精度は一貫して一致し、長時間コード編集タスクのレイテンシとコストは30%以上削減されている。
関連論文リスト
- Diffs vs. Whole Files: An Empirical Comparison of Iterative Edit-Based and Direct Generation for Flutter/Dart Code Models [0.0]
直接生成と差分ベース生成という2つの出力方式で2つのコードモデルをトレーニングします。
直接生成は、測度毎に差分ベースの生成を大幅に上回る。
差分ベースの生成が勝つ条件の背後にある、アーキテクチャに依存しない単一のメカニズムを特定します。
論文 参考訳(メタデータ) (2026-09-05T00:13:49Z) - FMBench: Adaptive Large Language Model Output Formatting [49.52930069696333]
適応型マークダウン出力フォーマットのベンチマークであるFMBenchを提案する。
2つのモデルファミリーの実験は、SFTが一貫してセマンティックアライメントを改善していることを示している。
結果はまた、意味的目的と構造的目的の間に固有のトレードオフを明らかにします。
論文 参考訳(メタデータ) (2026-02-06T04:42:06Z) - Wide-In, Narrow-Out: Revokable Decoding for Efficient and Effective DLLMs [57.69190972274813]
Diffusion Large Language Models (DLLM) は、自動回帰モデルの魅力的な代替品として登場した。
既存のDLLMは、高速な並列復号化によって性能が著しく低下する、厳しい品質と速度のトレードオフに悩まされている。
本稿では,DLLMの復号化を可能にするトレーニング不要復号アルゴリズムであるWide-In, Narrow-Out (WINO)を紹介する。
論文 参考訳(メタデータ) (2025-07-24T16:51:33Z) - EfficientEdit: Accelerating Code Editing via Edit-Oriented Speculative Decoding [12.558682788313371]
大規模言語モデル(LLM)は、コード編集において顕著な能力を示し、ソフトウェア開発の生産性を大幅に向上させた。
提案するEfficientEditは,投機的復号化に基づく2つのキー機構により,LLMベースのコード編集効率を向上させる手法である。
実験の結果、EfficientEditは10.38$times$と13.09$times$speedupを標準の自己回帰デコードと比較して達成できることがわかった。
論文 参考訳(メタデータ) (2025-06-03T12:01:20Z) - Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。
本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。
本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
論文 参考訳(メタデータ) (2025-05-28T17:39:15Z) - InComeS: Integrating Compression and Selection Mechanisms into LLMs for Efficient Model Editing [86.17245523439514]
In-context Learningは、コンテキストエンコーディングを通じて編集情報を解釈することで、有望な編集方法である。
この方法は、大きな言語モデルの限られたコンテキストウィンドウによって制約される。
編集コンテキストの処理能力を向上させるフレキシブルなフレームワークであるInComeSを提案する。
論文 参考訳(メタデータ) (2025-05-28T09:20:18Z) - Odysseus Navigates the Sirens' Song: Dynamic Focus Decoding for Factual and Diverse Open-Ended Text Generation [18.835969818281125]
大規模言語モデル(LLM)は、事実的正確かつ多様な様々なオープンエンドアプリケーションにまたがるテキストを生成するためにますます必要とされる。
我々は、新たなデータや知識、モデルを必要とすることなく、このトレードオフを解決する新しいプラグイン・アンド・プレイアプローチであるDynamic Focus Decoding (DFD)を紹介します。
DFDはレイヤ間の分布差に基づいてデコード焦点を適応的に調整し、LLM内の事実知識のモジュール的および階層的性質を活用する。
論文 参考訳(メタデータ) (2025-03-11T05:27:28Z) - SWIFT: On-the-Fly Self-Speculative Decoding for LLM Inference Acceleration [10.970637831760136]
投機的復号法(SD)は,LLM推論を品質を損なうことなく高速化するためのパラダイムとして広く用いられている。
本稿では,LLMの中間層を適応的に選択して推論時にスキップする,オンザフライの自己投機的復号アルゴリズムであるSWIFTを紹介する。
実験により,SWIFTは生成したテキストの元の分布を保ちながら,1.3x-1.6x以上の高速化を実現することができることを示した。
論文 参考訳(メタデータ) (2024-10-09T14:15:30Z) - ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。
従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。
本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
論文 参考訳(メタデータ) (2024-08-19T02:27:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。