論文の概要: An Empirical Study of Speculative Decoding on Software Engineering Tasks

• arxiv url: http://arxiv.org/abs/2604.26469v1
• Date: Wed, 29 Apr 2026 09:26:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.33222
• Title: An Empirical Study of Speculative Decoding on Software Engineering Tasks
• Title（参考訳）: ソフトウェア工学タスクにおける投機的復号化に関する実証的研究
• Authors: Yijia Li, Junkai Chen, Xing Hu, Xin Xia,
• Abstract要約: 大規模言語モデル(LLM)は、関数レベルのコード生成から複雑なリポジトリレベルまで、ソフトウェア工学(SE)タスクに広く使われている。 しかしながら、自動回帰推論のレイテンシが高いことは大きなボトルネックであり、インタラクティブな環境へのデプロイを妨げる。 本研究は,SEタスクにおける投機的復号化(SD)の有効性を評価するための,最初の体系的実証的研究である。
• 参考スコア（独自算出の注目度）: 10.08815388769347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have become widely used for Software Engineering (SE) tasks, spanning from function-level code generation to complex repository-level workflows. However, the high latency of autoregressive inference remains a significant bottleneck, hindering their deployment in interactive environments. While Speculative Decoding (SD) offers a promising technique for lossless acceleration, prior research on long-context repository-level tasks and complex agentic interactions remains limited. To bridge this gap, we present the first systematic empirical study to evaluate the effectiveness of SD in SE tasks. We systematically benchmark a comprehensive spectrum of strategies, encompassing both model-based and model-free methods, across representative generation, editing, and repair scenarios. Our empirical results indicate that SD demonstrates clear potential for accelerating inference, particularly for smaller models that achieve higher speedups than those of their larger counterparts. We find that the effectiveness of SD methods varies across different task scenarios. Model-based approaches are well-suited for code generation, whereas model-free methods are better adapted to repository-level repair and editing scenarios. Furthermore, we observe that the repetitiveness of SE tasks improves the performance of model-free methods. In contrast to natural language tasks, the higher predictability of SE tasks allows for more aggressive hyperparameters. Our findings are summarized as guidelines to help increase inference efficiency for SE scenarios.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、関数レベルのコード生成から複雑なリポジトリレベルのワークフローまで、ソフトウェア工学(SE)タスクに広く使われている。 しかしながら、自動回帰推論のレイテンシが高いことは大きなボトルネックであり、インタラクティブな環境へのデプロイを妨げる。 Speculative Decoding (SD)は、ロスレスアクセラレーションのための有望なテクニックを提供するが、長いコンテキストのリポジトリレベルのタスクや複雑なエージェント間相互作用に関する以前の研究は限定的のままである。 このギャップを埋めるために,本研究は,SEタスクにおけるSDの有効性を評価するための,最初の体系的実証的研究である。 我々は、モデルベースとモデルフリーの両方の手法を網羅した総合的な戦略スペクトルを、代表生成、編集、修復シナリオにわたって体系的にベンチマークする。 実験の結果、SDは推論を加速させる可能性を示しており、特により大きなモデルよりも高速なモデルでは顕著であることがわかった。 SD手法の有効性はタスクのシナリオによって異なることが判明した。 モデルベースのアプローチはコード生成に適していますが、モデルフリーメソッドはリポジトリレベルの修復と編集のシナリオに適しています。 さらに,SEタスクの反復性がモデルフリー手法の性能を向上させることが観察された。 自然言語タスクとは対照的に、SEタスクの予測可能性の向上により、より積極的なハイパーパラメータが実現される。 本研究は,SEシナリオの推論効率向上のためのガイドラインとして要約した。

関連論文リスト

• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning [19.27175827358111]
  大規模言語モデル(LLM)における継続的な学習は破滅的な忘れがちである。 適応特異値分解(SVD)を利用した連続的完全微調整手法を提案する。 我々は,Encoder-decoder (T5-Large) モデルとdecoder-only (LLaMA-2 7B) モデルの両方を用いて,標準連続学習ベンチマークを広範囲に評価した。
  論文  参考訳（メタデータ） (2025-04-09T17:59:42Z)
• Model Predictive Task Sampling for Efficient and Robust Adaptation [57.414812940406996]
  本稿では,タスク空間と適応リスク分布をブリッジするフレームワークであるモデル予測タスクサンプリング(MPTS)を紹介する。 MPTSは、エピソード最適化プロセスの特徴付けに生成モデルを使用し、後部推論によりタスク固有の適応リスクを予測する。 MPTSはゼロショット、少数ショット、教師付き微調整設定にシームレスに統合される。
  論文  参考訳（メタデータ） (2025-01-19T13:14:53Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
  復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。 本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。 その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-10T11:14:53Z)
• Optimizing Hyperparameters with Conformal Quantile Regression [7.316604052864345]
  本稿では,観測ノイズについて最小限の仮定を行う等化量子レグレッションを活用することを提案する。 これは経験的ベンチマークでのHPO収束を早くすることを意味する。
  論文  参考訳（メタデータ） (2023-05-05T15:33:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。