論文の概要: When to Stop? Towards Efficient Code Generation in LLMs with Excess Token Prevention

• arxiv url: http://arxiv.org/abs/2407.20042v1
• Date: Mon, 29 Jul 2024 14:27:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 13:34:43.349781
• Title: When to Stop? Towards Efficient Code Generation in LLMs with Excess Token Prevention
• Title（参考訳）: いつ止まるか? 過度なトークン防止を伴うLDMにおける効率的なコード生成に向けて
• Authors: Lianghong Guo, Yanlin Wang, Ensheng Shi, Wanjun Zhong, Hongyu Zhang, Jiachi Chen, Ruikai Zhang, Yuchi Ma, Zibin Zheng,
• Abstract要約: コード生成におけるコードLLMの推論高速化手法であるCodeFastを紹介する。 CodeFastの主なアイデアは、不要な余分なトークンが検出された場合に、推論プロセスを終了させることである。 我々は、広く使われている4つのコード生成データセットにまたがる5つの代表的なコードLLM上で、CodeFastで広範な実験を行う。
• 参考スコア（独自算出の注目度）: 43.39584272739589
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Code generation aims to automatically generate code snippets that meet given natural language requirements and plays an important role in software development. Although Code LLMs have shown excellent performance in this domain, their long generation time poses a signification limitation in practice use. In this paper, we first conduct an in-depth preliminary study with different Code LLMs on code generation tasks and identify a significant efficiency issue, i.e., continual generation of excess tokens. It harms the developer productivity and leads to huge computational wastes. To address it, we introduce CodeFast, an inference acceleration approach for Code LLMs on code generation. The key idea of CodeFast is to terminate the inference process in time when unnecessary excess tokens are detected. First, we propose an automatic data construction framework to obtain training data. Then, we train a unified lightweight model GenGuard applicable to multiple programming languages to predict whether to terminate inference at the current step. Finally, we enhance Code LLM with GenGuard to accelerate its inference in code generation tasks. We conduct extensive experiments with CodeFast on five representative Code LLMs across four widely used code generation datasets. Experimental results show that (1) CodeFast can significantly improve the inference speed of various Code LLMs in code generation, ranging form 34% to 452%, without compromising the quality of generated code. (2) CodeFast is stable across different parameter settings and can generalize to untrained datasets. Our code and data are available at https://github.com/DeepSoftwareAnalytics/CodeFast
• Abstract（参考訳）: コード生成は、与えられた自然言語要求を満たすコードスニペットを自動的に生成することを目的としており、ソフトウェア開発において重要な役割を果たす。 コードLLMは、この領域で優れたパフォーマンスを示しているが、その長寿命は、実際に使われる際の目立った限界である。 本稿では,まず,コード生成タスクの異なるコードLLMを用いた詳細な予備的研究を行い,余剰トークンの連続生成という重要な効率問題を特定する。 開発者の生産性が損なわれ、膨大な計算時間の浪費につながります。 そこで我々は,コード生成におけるコードLLMの推論高速化手法であるCodeFastを紹介した。 CodeFastのキーとなるアイデアは、不要な余分なトークンが検出された場合に、推論プロセスを終了することです。 まず,トレーニングデータを取得するための自動データ構築フレームワークを提案する。 そして、複数のプログラミング言語に適用可能な統一軽量モデルGenGuardをトレーニングし、現在のステップで推論を終了するかどうかを予測する。 最後に、コード生成タスクの推論を高速化するために、GenGuardでCode LLMを拡張します。 我々は、広く使われている4つのコード生成データセットにまたがる5つの代表的なコードLLM上で、CodeFastで広範な実験を行う。 実験の結果,(1)コードFastは生成コードの品質を損なうことなく,コード生成における様々なコードLLMの推論速度を34%から452%に向上させることができることがわかった。 2) CodeFastはさまざまなパラメータ設定で安定しており、トレーニングされていないデータセットに一般化することができる。 私たちのコードとデータはhttps://github.com/DeepSoftwareAnalytics/CodeFastで入手可能です。

関連論文リスト

• Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
  本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。 結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
  論文  参考訳（メタデータ） (2024-11-06T10:28:46Z)
• Effi-Code: Unleashing Code Efficiency in Language Models [17.355845751737423]
  Effi-Codeは、大規模言語モデルにおけるコード生成を強化するアプローチである。 Effi-Codeは、AIシステムのコード生成を改善するためのスケーラブルで汎用的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-10-14T07:05:51Z)
• Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
  大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。 しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。 本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
  論文  参考訳（メタデータ） (2024-05-24T04:35:13Z)
• CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code [56.019447113206006]
  大規模言語モデル(LLM)はコード生成において顕著な進歩を遂げた。 CodeIPは、新しいマルチビット透かし技術で、出所の詳細を保存するために追加情報を埋め込む。 5つのプログラミング言語にまたがる実世界のデータセットで実施された実験は、CodeIPの有効性を実証している。
  論文  参考訳（メタデータ） (2024-04-24T04:25:04Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• JumpCoder: Go Beyond Autoregressive Coder via Online Modification [18.9350072969148]
  JumpCoderは、人間に似たオンライン修正と非逐次生成が可能な新しいモデルに依存しないフレームワークで、LLMを増強する。 JumpCoderの背景にある重要なアイデアは、生成時に必要に応じて、現在生成されたコードに新しいコードを挿入することである。
  論文  参考訳（メタデータ） (2024-01-15T18:04:29Z)
• CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
  大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。 我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-05-13T14:23:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。