論文の概要: FRANC: A Lightweight Framework for High-Quality Code Generation

• arxiv url: http://arxiv.org/abs/2307.08220v2
• Date: Wed, 28 Aug 2024 14:47:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 21:40:54.895611
• Title: FRANC: A Lightweight Framework for High-Quality Code Generation
• Title（参考訳）: FRANC: 高品質なコード生成のための軽量フレームワーク
• Authors: Mohammed Latif Siddiq, Beatrice Casey, Joanna C. S. Santos,
• Abstract要約: FRANCは、トランスフォーマーベースのコード生成モデルから派生した、よりセキュアで高品質なソースコードを推奨するフレームワークである。 生成したコードをスニペットでコンパイル可能にする静的フィルタと、品質スコアに基づいてコードをソートする品質対応のローダが含まれている。
• 参考スコア（独自算出の注目度）: 0.561214184671173
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, the use of automated source code generation utilizing transformer-based generative models has expanded, and these models can generate functional code according to the requirements of the developers. However, recent research revealed that these automatically generated source codes can contain vulnerabilities and other quality issues. Despite researchers' and practitioners' attempts to enhance code generation models, retraining and fine-tuning large language models is time-consuming and resource-intensive. Thus, we describe FRANC, a lightweight framework for recommending more secure and high-quality source code derived from transformer-based code generation models. FRANC includes a static filter to make the generated code compilable with heuristics and a quality-aware ranker to sort the code snippets based on a quality score. Moreover, the framework uses prompt engineering to fix persistent quality issues. We evaluated the framework with five Python and Java code generation models and six prompt datasets, including a newly created one in this work (SOEval). The static filter improves 9% to 46% Java suggestions and 10% to 43% Python suggestions regarding compilability. The average improvement over the NDCG@10 score for the ranking system is 0.0763, and the repairing techniques repair the highest 80% of prompts. FRANC takes, on average, 1.98 seconds for Java; for Python, it takes 0.08 seconds.
• Abstract（参考訳）: 近年,トランスフォーマーベースの生成モデルを用いた自動ソースコード生成の利用が拡大し,開発者の要求に応じて機能コードを生成することができるようになった。 しかし、最近の研究により、これらの自動生成されたソースコードは脆弱性やその他の品質問題を含む可能性があることが明らかになった。 研究者や実践者がコード生成モデルを強化しようとする試みにもかかわらず、リトレーニングと微調整の大規模な言語モデルは時間とリソースを消費する。 そこで本稿では,トランスフォーマーベースのコード生成モデルから派生した,よりセキュアで高品質なソースコードを推奨する軽量フレームワークであるFRANCについて述べる。 FRANCには、生成したコードをヒューリスティックでコンパイル可能にする静的フィルタと、品質スコアに基づいてコードスニペットをソートする品質対応のローカが含まれている。 さらに、このフレームワークは、プロンプトエンジニアリングを使用して、永続的な品質問題を修正する。 5つのPythonおよびJavaコード生成モデルと6つのプロンプトデータセットでフレームワークを評価した。 静的フィルタでは、コンパイル可能性に関するJava提案の9%から46%、Python提案の10%から43%が改善されている。 ランキングシステムのNDCG@10スコアに対する平均的な改善は0.0763であり、修復技術は最も高い80%のプロンプトを修復する。 FRANCは平均でJavaで1.98秒、Pythonでは0.08秒である。

関連論文リスト

• CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.37076502395699]
  検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。 まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。 CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
  論文  参考訳（メタデータ） (2024-06-20T16:59:52Z)
• Enhancing Repository-Level Code Generation with Integrated Contextual Information [8.58692613099365]
  CatCoderは静的型付けプログラミング言語用に設計された新しいコード生成フレームワークである。 CatCoderは、関連するコードと型コンテキストを統合することで、リポジトリレベルのコード生成を強化する。 CatCoderは、pass@kスコアの点で、RepoCoderベースラインを最大17.35%上回っている。
  論文  参考訳（メタデータ） (2024-06-05T13:56:42Z)
• Repoformer: Selective Retrieval for Repository-Level Code Completion [30.706277772743615]
  検索強化生成(RAG)の最近の進歩は、リポジトリレベルのコード補完の新たな時代が始まった。 本稿では,不要な場合の検索を回避するため,選択的なRAGフレームワークを提案する。 我々のフレームワークは、異なる世代モデル、レトリバー、プログラミング言語に対応できることを示します。
  論文  参考訳（メタデータ） (2024-03-15T06:59:43Z)
• RepoAgent: An LLM-Powered Open-Source Framework for Repository-level Code Documentation Generation [79.83270415843857]
  コードドキュメンテーションを積極的に生成、保守、更新することを目的とした、大規模な言語モデルによるオープンソースフレームワークであるRepoAgentを紹介します。 RepoAgentは高品質なリポジトリレベルのドキュメントを生成するのに優れています。
  論文  参考訳（メタデータ） (2024-02-26T15:39:52Z)
• LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
  コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。 私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。 提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2023-11-25T02:45:50Z)
• Functional Overlap Reranking for Neural Code Generation [6.665515707408405]
  SRankは、コード生成から最良のソリューションを選択するための、新しいランク付け戦略である。 ソリューションクラスタ間の機能の重複を定量化することにより、私たちのアプローチは、コードソリューションのより良いランキング戦略を提供します。 実験結果から,pass@1のスコアで顕著な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-16T22:20:31Z)
• PanGu-Coder2: Boosting Large Language Models for Code with Ranking Feedback [5.459517921633247]
  本稿では,コード生成のための事前学習された大規模言語モデルを効果的かつ効率的に向上するRRTF(Rank Responses toaligned Test&Teacher Feedback)フレームワークを提案する。 このフレームワークでは、OpenAI HumanEvalベンチマークで62.20%パス@1を達成したPanGu-Coder2を紹介します。
  論文  参考訳（メタデータ） (2023-07-27T15:28:29Z)
• ReCode: Robustness Evaluation of Code Generation Models [90.10436771217243]
  コード生成モデルのための総合的ロバストネス評価ベンチマークであるReCodeを提案する。 ドクストリング、関数と変数名、コード構文、コードフォーマットのコードに特化して、30以上の変換をカスタマイズします。 ヒトのアノテータでは、摂動プロンプトの90%以上が本来のプロンプトの意味を変えていないことが確認された。
  論文  参考訳（メタデータ） (2022-12-20T14:11:31Z)
• Coder Reviewer Reranking for Code Generation [56.80381384717]
  本稿では,コード言語モデルから多様なプログラムを抽出し,モデル確率で再ランク付けする手法として,Coder-Reviewerの再ランク付けを提案する。 実験の結果、Coder-Reviewerのリランクは、Coderモデルのみのリランクよりも一貫性と大幅な改善をもたらすことが示された。 Coder-Reviewerのリランクは、プロンプトによって実装が容易で、異なるプログラミング言語に一般化でき、既定のハイパーパラメータとうまく機能する。
  論文  参考訳（メタデータ） (2022-11-29T18:56:33Z)
• Searching towards Class-Aware Generators for Conditional Generative Adversarial Networks [132.29772160843825]
  条件付き生成逆数ネットワーク(cGAN)は,その条件に基づいて画像を生成するように設計されている。 既存のメソッドは、すべてのクラスで同じ生成アーキテクチャを使っている。 本稿では,各クラスごとに異なるアーキテクチャを見つけるためにNASを採用する新しいアイデアを提案する。
  論文  参考訳（メタデータ） (2020-06-25T07:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。