論文の概要: Improving LLM Code Generation with Grammar Augmentation

• arxiv url: http://arxiv.org/abs/2403.01632v1
• Date: Sun, 3 Mar 2024 22:38:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 20:38:07.017443
• Title: Improving LLM Code Generation with Grammar Augmentation
• Title（参考訳）: 文法拡張によるLLMコード生成の改善
• Authors: Shubham Ugare, Tarun Suresh, Hangoo Kang, Sasa Misailovic, Gagandeep Singh
• Abstract要約: 大規模言語モデル(LLM)を用いたコードの効率的かつ汎用的な構文復号化のためのフレームワークであるSynCodeを提案する。 プログラミング言語の文脈自由文法(CFG)を用いて,SynCodeの健全性と完全性を示す。 その結果、構文エラーの96.07%がSynCodeと最先端のLLMを組み合わせることで大幅に削減された。
• 参考スコア（独自算出の注目度）: 5.48277165801539
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present SynCode a novel framework for efficient and general syntactical decoding of code with large language models (LLMs). SynCode leverages the grammar of a programming language, utilizing an offline-constructed efficient lookup table called DFA mask store based on language grammar terminals. We demonstrate SynCode's soundness and completeness given the context-free grammar (CFG) of the programming language, presenting its ability to retain syntactically valid tokens while rejecting invalid ones. The framework seamlessly integrates with any language defined by CFG, as evidenced by experiments on CFGs for Python and Go. The results underscore the significant reduction of 96.07% of syntax errors achieved when SynCode is combined with state-of-the-art LLMs, showcasing its substantial impact on enhancing syntactical precision in code generation. Our code is available at https://github.com/uiuc-focal-lab/syncode.
• Abstract（参考訳）: 我々は,大規模言語モデル(LLM)を用いたコードの効率的で汎用的なデコードのための新しいフレームワークSynCodeを提案する。 syncodeは、言語文法端末に基づくdfa mask storeと呼ばれるオフラインで構築された効率的なルックアップテーブルを利用して、プログラミング言語の文法を活用する。 プログラミング言語の文脈自由文法(CFG)を考慮に入れたSynCodeの健全性と完全性を実証し,無効なトークンを拒否しながら,構文的に有効なトークンを保持する能力を示す。 このフレームワークは、pythonとgoのcfgsの実験で証明されているように、cfgで定義された任意の言語とシームレスに統合される。 結果は、SynCodeと最先端のLLMを組み合わせることで達成された構文エラーの96.07%を大幅に削減し、コード生成における構文精度の向上に対するその大きな影響を示している。 私たちのコードはhttps://github.com/uiuc-focal-lab/syncodeで利用可能です。

関連論文リスト

• Combining LLM Code Generation with Formal Specifications and Reactive Program Synthesis [0.7580487359358722]
  大規模言語モデル(LLM)は精度に苦しむが、リスクの高いアプリケーションには適さない。 コード生成を LLM で処理する部分と,形式的なメソッドベースのプログラム合成で処理する部分の2つに分割する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-18T15:59:06Z)
• Uncovering LLM-Generated Code: A Zero-Shot Synthetic Code Detector via Code Rewriting [78.48355455324688]
  そこで本研究では,コードと書き直された変種との類似性に基づいて,ゼロショット合成符号検出器を提案する。 以上の結果から,既存のテキスト用合成コンテンツ検出装置よりも顕著な向上が見られた。
  論文  参考訳（メタデータ） (2024-05-25T08:57:28Z)
• SynthesizRR: Generating Diverse Datasets with Retrieval Augmentation [55.2480439325792]
  トピック分類,感情分析,トーン検出,ユーモアの6つのデータセットの合成について検討した。 その結果,SynthesizRRは語彙や意味の多様性,人文との類似性,蒸留性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-16T12:22:41Z)
• CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
  命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。 まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。 また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
  論文  参考訳（メタデータ） (2024-04-08T21:15:36Z)
• Guiding Enumerative Program Synthesis with Large Language Models [15.500250058226474]
  本稿では,形式的合成ベンチマークを解くための大規模言語モデルの能力を評価する。 ワンショット合成が失敗すると,新しい列挙合成アルゴリズムを提案する。 形式的合成のためのスタンドアロンツールとしてGPT-3.5は,最先端の形式的合成アルゴリズムにより容易に性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-06T19:13:53Z)
• Assured LLM-Based Software Engineering [51.003878077888686]
  この記事では,2024年4月15日にポルトガルのリスボンで開催された International Workshop on Interpretability, Robustness, and Benchmarking in Neural Software Engineering で,Mark Harman 氏による基調講演の内容の概要を紹介する。
  論文  参考訳（メタデータ） (2024-02-06T20:38:46Z)
• Which Syntactic Capabilities Are Statistically Learned by Masked Language Models for Code? [51.29970742152668]
  精度に基づく測定に依存することで、モデルの能力が過大評価される可能性があることを強調する。 これらの問題に対処するために,SyntaxEval in Syntactic Capabilitiesというテクニックを導入する。
  論文  参考訳（メタデータ） (2024-01-03T02:44:02Z)
• LILO: Learning Interpretable Libraries by Compressing and Documenting Code [71.55208585024198]
  LILOは、反復的に合成、圧縮、文書化を行う、ニューロシンボリックなフレームワークである。 LILOは、LLM誘導プログラム合成と、Stitchから自動化された最近のアルゴリズムの進歩を組み合わせたものである。 LILOのシンセサイザーが学習した抽象化を解釈し、デプロイするのを手助けすることで、AutoDocがパフォーマンスを向上させることが分かりました。
  論文  参考訳（メタデータ） (2023-10-30T17:55:02Z)
• Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of Large Language Models for Code Generation [20.45045253933097]
  LLM合成コードの機能的正しさを厳格に評価するコード合成評価フレームワークであるEvalPlusを提案する。 EvalPlusは、自動テスト入力ジェネレータによって新たに生成された大量のテストケースで、所定の評価データセットを拡張する。 我々は、HumanEval+が、これまで検出されていなかった大量の間違ったコードをキャッチできることを示します。
  論文  参考訳（メタデータ） (2023-05-02T05:46:48Z)
• Benchmarking Large Language Models for Automated Verilog RTL Code Generation [21.747037230069854]
  有用なVerilogを生成するために,大規模言語モデル(LLM)を特徴付ける。 機能解析のためのテストベンチと,Verilogコードの構文をテストするフローからなる評価フレームワークを構築した。 その結果,LLMの微調整結果は,構文的に正しいコードを生成する能力が高いことがわかった。
  論文  参考訳（メタデータ） (2022-12-13T16:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。