論文の概要: CodeFusion: A Pre-trained Diffusion Model for Code Generation

• arxiv url: http://arxiv.org/abs/2310.17680v2
• Date: Mon, 30 Oct 2023 19:29:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 22:03:54.080969
• Title: CodeFusion: A Pre-trained Diffusion Model for Code Generation
• Title（参考訳）: CodeFusion: コード生成のための事前トレーニング付き拡散モデル
• Authors: Mukul Singh, Jos\'e Cambronero, Sumit Gulwani, Vu Le, Carina Negreanu, Gust Verbruggen
• Abstract要約: 自然言語からのコード生成のための自動回帰モデルでは、生成された以前のトークンを再考することは容易ではない。 我々は、この制限に対処する事前訓練された拡散コード生成モデルであるCodeFusionを紹介し、符号化された自然言語で条件付けられた完全なプログラムを反復的にデノベートする。 実験によると、CodeFusionは最先端の自動回帰システムと同等に動作する。
• 参考スコア（独自算出の注目度）: 17.187094058627615
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Imagine a developer who can only change their last line of code, how often would they have to start writing a function from scratch before it is correct? Auto-regressive models for code generation from natural language have a similar limitation: they do not easily allow reconsidering earlier tokens generated. We introduce CodeFusion, a pre-trained diffusion code generation model that addresses this limitation by iteratively denoising a complete program conditioned on the encoded natural language. We evaluate CodeFusion on the task of natural language to code generation for Bash, Python, and Microsoft Excel conditional formatting (CF) rules. Experiments show that CodeFusion (75M parameters) performs on par with state-of-the-art auto-regressive systems (350M-175B parameters) in top-1 accuracy and outperforms them in top-3 and top-5 accuracy due to its better balance in diversity versus quality.
• Abstract（参考訳）: 最後のコード行しか変更できない開発者が、それが正しくなる前に、スクラッチから関数を書き始める頻度を想像してください。 自然言語からコードを生成するための自動回帰モデルにも同じような制限がある。 符号化自然言語で条件付けられた完全なプログラムを反復的にデノベートすることにより,この制限に対処する,事前学習された拡散コード生成モデルであるcodefusionを導入する。 我々は,Bash,Python,Microsoft Excel条件書式(CF)ルールに対して,自然言語のタスクからコード生成までのCodeFusionを評価する。 実験の結果、CodeFusion(75Mパラメータ)は最先端の自己回帰システム(350M-175Bパラメータ)と同等に動作し、多様性と品質のバランスが良く、トップ3とトップ5の精度で性能が向上していることがわかった。

関連論文リスト

• Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
  大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。 しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。 本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
  論文  参考訳（メタデータ） (2024-05-24T04:35:13Z)
• Code Execution with Pre-trained Language Models [88.04688617516827]
  コードインテリジェンスのトレーニング済みモデルのほとんどは実行トレースを無視しており、ソースコードと構文構造のみに依存している。 我々は,大規模かつ現実的なPythonデータセットとコード実行タスクを作成するために,突然変異に基づくデータ拡張手法を開発した。 次に、コード実行事前学習とカリキュラム学習を活用して意味理解を強化するトランスフォーマーモデルであるCodeExecutorを提案する。
  論文  参考訳（メタデータ） (2023-05-08T10:00:05Z)
• CodeBERTScore: Evaluating Code Generation with Pretrained Models of Code [75.08995072899594]
  コード生成のための評価指標であるCodeBERTScoreを提案する。 CodeBERTScoreは生成されたコードの前に入力された自然言語をエンコードする。 CodeBERTScoreは、既存のすべての指標よりも、人間の嗜好と機能的正しさとの相関性が高いことがわかった。
  論文  参考訳（メタデータ） (2023-02-10T22:12:05Z)
• Syntax-Aware On-the-Fly Code Completion [13.268277642411974]
  我々はPyCoderを提案する。トークン型は軽量な構文情報の一種である。 私たちのPyCoderはトークンレベルの予測に対して77.12%の精度でCodeXGLUEのリーダーボードで1位を獲得しました。
  論文  参考訳（メタデータ） (2022-11-09T04:24:18Z)
• Interactive Code Generation via Test-Driven User-Intent Formalization [60.90035204567797]
  大きな言語モデル(LLM)は、非公式な自然言語(NL)の意図からコードを生成する。 自然言語は曖昧であり、形式的な意味論が欠けているため、正確性の概念を定義するのは難しい。 言語に依存しない抽象アルゴリズムと具体的な実装TiCoderについて述べる。
  論文  参考訳（メタデータ） (2022-08-11T17:41:08Z)
• NatGen: Generative pre-training by "Naturalizing" source code [18.410818213965918]
  我々は,ソースコードの「成熟化」という新たな事前学習目標を提案する。 自然言語とは異なり、コードのバイモーダルでデュアルチャネルの性質により、意味論的に等価なコードを大規模に生成することができます。 私たちは、CodeT5に匹敵する最先端のパフォーマンスを達成するために、3つの生成ソフトウェアエンジニアリングタスクでモデルを微調整します。
  論文  参考訳（メタデータ） (2022-06-15T15:08:29Z)
• Natural Language to Code Translation with Execution [82.52142893010563]
  実行結果-プログラム選択のための最小ベイズリスク復号化。 そこで本研究では,自然言語からコードへのタスクにおいて,事前訓練されたコードモデルの性能を向上することを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:06:08Z)
• InCoder: A Generative Model for Code Infilling and Synthesis [88.46061996766348]
  InCoderは、プログラム合成(左から右への生成)と編集(埋め込み)が可能な統合生成モデルである。 InCoderは、許可されたコードの大きなコーパスからコードファイルを生成するように訓練されている。 私たちのモデルは、ゼロショットコードの埋め込みを直接実行できる最初の生成モデルです。
  論文  参考訳（メタデータ） (2022-04-12T16:25:26Z)
• Automatic Code Generation using Pre-Trained Language Models [0.0]
  学習済み言語モデルの上に構築されたPython言語におけるコード生成のためのエンドツーエンドの機械学習モデルを提案する。 本研究では,BLEUスコア0.22を達成し,適切なシーケンス・ツー・シーケンスベースラインよりも46%向上した,微調整モデルがコード生成タスクで良好に動作できることを実証する。
  論文  参考訳（メタデータ） (2021-02-21T07:21:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。