論文の概要: Beyond Autoregression: An Empirical Study of Diffusion Large Language Models for Code Generation

• arxiv url: http://arxiv.org/abs/2509.11252v1
• Date: Sun, 14 Sep 2025 12:51:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:22.997008
• Title: Beyond Autoregression: An Empirical Study of Diffusion Large Language Models for Code Generation
• Title（参考訳）: 自己回帰を超えて:コード生成のための拡散大言語モデルに関する実証的研究
• Authors: Chengze li, Yitong Zhang, Jia Li, Liyi Cai, Ge Li,
• Abstract要約: 既存のLLMは主に自己回帰生成、すなわちコードトークンを左から右に生成する。 近年の拡散LDMは有望な代替手段として出現している。 コード生成のための拡散LDMを探索する最初の実証的研究について述べる。
• 参考スコア（独自算出の注目度）: 21.991328297811275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLMs have become the mainstream approaches to code generation. Existing LLMs mainly employ autoregressive generation, i.e. generating code token-by-token from left to right. However, the underlying autoregressive generation has two limitations in code generation. First, autoregressive LLMs only generate a token at each step, showing low efficiency in practice. Second, programming is a non-sequential process involving back-and-forth editing, while autoregressive LLMs only employ the left-to-right generation order. These two intrinsic limitations hinder the further development of LLMs in code generation. Recently, diffusion LLMs have emerged as a promising alternative. Diffusion LLMs address the above limitations with two advances, including multi-token prediction (i.e. generating multiple tokens at each step) and flexible generation order (i.e. flexibly determining which positions to generate tokens). However, there is no systematic study exploring diffusion LLMs in code generation. To bridge the knowledge gap, we present the first empirical study of diffusion LLMs for code generation. Our study involves 9 representative diffusion LLMs and conduct experiments on 4 widely used benchmarks. Based on the results, we summarize the following findings. (1) Existing diffusion LLMs are competitive with autoregressive LLMs with similar sizes. (2) Diffusion LLMs have a stronger length extrapolation ability than autoregressive LLMs and perform better in long code understanding. (3) We explore factors impacting the effectiveness and efficiency of diffusion LLMs, and provide practical guidance. (4) We discuss several promising further directions to improve diffusion LLMs on code generation. We open-source all source code, data, and results to facilitate the following research. The code is publicly available at https://github.com/zhangyitonggg/dllm4code.
• Abstract（参考訳）: LLMはコード生成の主流のアプローチとなっている。 既存のLLMは主に自己回帰生成、すなわちコードトークンを左から右に生成する。 しかし、基盤となる自己回帰生成には、コード生成に2つの制限がある。 第一に、自己回帰LDMは各ステップでトークンしか生成せず、実際は低い効率を示す。 第二に、プログラミングはバック・フォー・フォー・ザ・編集を含む非シークエンシャルなプロセスであり、自動回帰LDMは左から右への生成順序のみを使用する。 これら2つの固有の制限は、コード生成におけるLLMのさらなる発展を妨げる。 近年, 拡散LDMは有望な代替手段として出現している。 拡散LDMは、マルチトークン予測(各ステップで複数のトークンを生成する)とフレキシブル生成順序(トークンを生成するためにどの位置を柔軟に決定するか)という2つの進歩によって上記の制限に対処する。 しかし、コード生成において拡散LDMを探索する体系的な研究は存在しない。 知識ギャップを埋めるため,コード生成のための拡散LDMの実証的研究を行った。 本研究は,9つの代表拡散LDMと4つの広く使用されているベンチマーク実験に関するものである。 この結果をもとに,以下の知見をまとめた。 1) 既存の拡散LDMは, 同様の大きさの自己回帰LDMと競合する。 2)拡散LDMは自己回帰LDMよりも長大な外挿能力を有し,長大なコード理解に優れる。 (3)拡散LDMの有効性と効率に影響を与える要因について検討し,実践的なガイダンスを提供する。 (4) コード生成における拡散LDMを改善するためのいくつかの将来的な方向性について論じる。 私たちは、以下の研究を促進するために、すべてのソースコード、データ、結果をオープンソースにしています。 コードはhttps://github.com/zhangyitonggg/dllm4codeで公開されている。

関連論文リスト

• LLM4VV: Evaluating Cutting-Edge LLMs for Generation and Evaluation of Directive-Based Parallel Programming Model Compiler Tests [7.6818904666624395]
  本稿では,コンパイラテストの生成にLLMを用いたデュアルLLMシステムと実験について述べる。 LLMは、品質の高いコンパイラテストを生成し、それらを自動的に検証する有望な可能性を持っていることは明らかである。
  論文  参考訳（メタデータ） (2025-07-29T02:34:28Z)
• LongLLaDA: Unlocking Long Context Capabilities in Diffusion LLMs [63.580867975515474]
  拡散LDMと従来の自己回帰LDMの長文性能を比較検討する。 LLaDAとNTKベースのRoPE外挿法を統合したLongLLaDAを提案する。
  論文  参考訳（メタデータ） (2025-06-17T11:45:37Z)
• Improving the Ability of Pre-trained Language Model by Imparting Large Language Model's Experience [4.814313782484443]
  大規模言語モデル (LLM) と事前訓練型言語モデル (LM) は多くのソフトウェア工学のタスクにおいて驚くべき成功を収めた。 我々は、LLMを用いてドメイン固有のデータを生成し、目標タスクにおける事前学習されたLMの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-16T06:37:59Z)
• Efficiency Unleashed: Inference Acceleration for LLM-based Recommender Systems with Speculative Decoding [61.45448947483328]
  LLMベースのレコメンダシステム(LASER)の投機的復号化によるロスレス高速化について紹介する。 LASERは、検索効率を高めるためのカスタマイズされた検索プールと、ドラフトトークンの受け入れ率を改善するための緩和検証を備えている。 LASERは公開データセットの3～5倍のスピードアップを実現し、オンラインA/Bテスト中に約67%の計算リソースを節約する。
  論文  参考訳（メタデータ） (2024-08-11T02:31:13Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• A Survey of Large Language Models for Code: Evolution, Benchmarking, and Future Trends [30.774685501251817]
  一般的な大規模言語モデル(LLM)は、ソフトウェア工学におけるコード生成のようなタスクにおいて大きな可能性を証明している。 コードLLMのかなりの部分は、モデルファインチューニングを通じて一般的なLLMから派生している。 現在、Code LLMとそのパフォーマンスに関する体系的な調査が欠如している。
  論文  参考訳（メタデータ） (2023-11-17T07:55:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。