論文の概要: JumpCoder: Go Beyond Autoregressive Coder via Online Modification
- arxiv url: http://arxiv.org/abs/2401.07870v1
- Date: Mon, 15 Jan 2024 18:04:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 16:26:27.904824
- Title: JumpCoder: Go Beyond Autoregressive Coder via Online Modification
- Title（参考訳）: JumpCoder: オンライン修正による自動回帰コーダを超えて
- Authors: Mouxiang Chen, Hao Tian, Zhongxin Liu, Xiaoxue Ren, Jianling Sun
- Abstract要約: 既存のコード大言語モデル(コードLLM)は、コード生成において優れた機能を示すが、可逆性はない。
オンライン修正と非逐次生成を可能とし,LLMを拡張可能な新しいモデル診断フレームワークであるJumpCoderを紹介した。
JumpCoderは、Python用Pass@1の最大3.6%増加、Java用6.3%、マルチ言語HumanEvalベンチマーク用C++用3.7%のコードLLMをサポートする。
- 参考スコア（独自算出の注目度）: 20.314345969604926
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While existing code large language models (code LLMs) exhibit impressive
capabilities in code generation, their autoregressive sequential generation
inherently lacks reversibility. This limitation hinders them from timely
correcting previous missing statements during coding as humans do, often
leading to error propagation and suboptimal performance. We introduce
JumpCoder, a novel modelagnostic framework that enables online modification and
non-sequential generation to augment the code LLMs. The key idea behind
JumpCoder is to insert new code into the currently generated code when
necessary during generation, which is achieved through an auxiliary infilling
model that works in tandem with the code LLM. Since identifying the best infill
position beforehand is intractable, we adopt an infill-first, judge-later
strategy, which experiments with filling at the $k$ most critical positions
following the generation of each line, and uses an Abstract Syntax Tree (AST)
parser alongside the Generation Model Scoring to effectively judge the validity
of each potential infill. Extensive experiments using six state-of-the-art code
LLMs across multiple benchmarks consistently indicate significant improvements
over all baselines. Notably, JumpCoder assists code LLMs in achieving up to a
3.6% increase in Pass@1 for Python, 6.3% for Java, and 3.7% for C++ in the
multilingual HumanEval benchmarks. Our code is public at
https://github.com/Keytoyze/JumpCoder.
- Abstract（参考訳）: 既存のコード大言語モデル(コードLLM)はコード生成に優れた能力を示すが、自己回帰的なシーケンシャル生成は本質的に可逆性に欠ける。
この制限は、人間がコーディングしているように、以前の欠落文をタイムリーに修正することを妨げる。
我々は、オンライン修正と非シーケンス生成を可能にする新しいモデル非依存フレームワークであるjumpcoderを紹介する。
JumpCoderの背景にある重要なアイデアは、生成時に必要に応じて、現在生成されたコードに新しいコードを挿入することである。
最善のインフィル位置を事前に特定することは困難であるため、各ラインの生成後に最も重要な位置をk$で満たすことを実験し、生成モデルのスコア付けと並行して抽象構文木(ast)パーサを使用して、それぞれの潜在インフィルの有効性を効果的に判断するインフィルファースト・ジャッジ・レイター戦略を採用する。
複数のベンチマークにまたがる6つの最先端のコード LLM を用いた大規模な実験は、すべてのベースラインに対する大幅な改善を一貫して示している。
特にJumpCoderは,Python用Pass@1の最大3.6%増加,Java用6.3%,多言語HumanEvalベンチマーク用C++用3.7%のコードLLMをサポートする。
私たちのコードはhttps://github.com/keytoyze/jumpcoder.comで公開しています。
関連論文リスト
- Steering Large Language Models between Code Execution and Textual Reasoning [22.279107036500083]
テキスト推論は、数学、論理学、最適化、探索における課題を伴うタスクの解決に固有の制限がある。
最近リリースされたOpenAI GPT Code InterpreterとAutoGenのようなマルチエージェントフレームワークは、コード生成と実行を統合するのに顕著な能力を示している。
LLMのコード/テキスト生成を良くし、顕著な改善を実現するための3つの方法を提案する。
論文 参考訳（メタデータ） (2024-10-04T15:44:47Z) - When to Stop? Towards Efficient Code Generation in LLMs with Excess Token Prevention [43.39584272739589]
コード生成におけるコードLLMの推論高速化手法であるCodeFastを紹介する。
CodeFastの主なアイデアは、不要な余分なトークンが検出された場合に、推論プロセスを終了させることである。
我々は、広く使われている4つのコード生成データセットにまたがる5つの代表的なコードLLM上で、CodeFastで広範な実験を行う。
論文 参考訳（メタデータ） (2024-07-29T14:27:08Z) - Beyond Functional Correctness: Investigating Coding Style Inconsistencies in Large Language Models [28.295926947968574]
大規模言語モデル(LLM)は、コード生成の分野にパラダイムシフトをもたらした。
我々は、コードLLMによって生成されたコードと、人間の開発者が書いたコードとのコーディングスタイルの違いを経験的に分析する。
論文 参考訳（メタデータ） (2024-06-29T14:56:11Z) - Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。
しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。
本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
論文 参考訳（メタデータ） (2024-05-24T04:35:13Z) - CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code [56.019447113206006]
大規模言語モデル(LLM)はコード生成において顕著な進歩を遂げた。
CodeIPは、新しいマルチビット透かし技術で、出所の詳細を保存するために追加情報を埋め込む。
5つのプログラミング言語にまたがる実世界のデータセットで実施された実験は、CodeIPの有効性を実証している。
論文 参考訳（メタデータ） (2024-04-24T04:25:04Z) - StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳（メタデータ） (2024-02-02T13:14:31Z) - Bridging Code Semantic and LLMs: Semantic Chain-of-Thought Prompting for
Code Generation [22.219645213202178]
本稿では,SeCoT というコードの意味情報を抽出する "Semantic Chain-of-Thought" 手法を提案する。
本研究では,SeCoTが最先端の性能を実現し,大規模モデルやコード生成の可能性を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2023-10-16T05:09:58Z) - PanGu-Coder2: Boosting Large Language Models for Code with Ranking
Feedback [5.459517921633247]
本稿では,コード生成のための事前学習された大規模言語モデルを効果的かつ効率的に向上するRRTF(Rank Responses toaligned Test&Teacher Feedback)フレームワークを提案する。
このフレームワークでは、OpenAI HumanEvalベンチマークで62.20%パス@1を達成したPanGu-Coder2を紹介します。
論文 参考訳（メタデータ） (2023-07-27T15:28:29Z) - LongCoder: A Long-Range Pre-trained Language Model for Code Completion [56.813974784131624]
LongCoderは自己アテンションにスライディングウィンドウ機構を採用し、グローバルアクセス可能なトークンを2種類導入している。
ブリッジトークンは入力シーケンス全体を通して挿入され、ローカル情報を集約し、グローバルな相互作用を促進する。
メモリトークンは、後で呼び出され、記憶する必要がある重要なステートメントをハイライトするために含まれます。
論文 参考訳（メタデータ） (2023-06-26T17:59:24Z) - CodeT5+: Open Code Large Language Models for Code Understanding and
Generation [72.1638273937025]
大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。
CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。
我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
論文 参考訳（メタデータ） (2023-05-13T14:23:07Z) - InCoder: A Generative Model for Code Infilling and Synthesis [88.46061996766348]
InCoderは、プログラム合成(左から右への生成)と編集(埋め込み)が可能な統合生成モデルである。
InCoderは、許可されたコードの大きなコーパスからコードファイルを生成するように訓練されている。
私たちのモデルは、ゼロショットコードの埋め込みを直接実行できる最初の生成モデルです。
論文 参考訳（メタデータ） (2022-04-12T16:25:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。