論文の概要: ZS4C: Zero-Shot Synthesis of Compilable Code for Incomplete Code Snippets using LLMs
- arxiv url: http://arxiv.org/abs/2401.14279v2
- Date: Wed, 09 Oct 2024 17:19:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-10 14:30:16.259161
- Title: ZS4C: Zero-Shot Synthesis of Compilable Code for Incomplete Code Snippets using LLMs
- Title(参考訳): ZS4C:LLMを用いた不完全コードスニペット用コンパイル可能コードのゼロショット合成
- Authors: Azmain Kabir, Shaowei Wang, Yuan Tian, Tse-Hsun Chen, Muhammad Asaduzzaman, Wenbin Zhang,
- Abstract要約: 非完全スニペットからコンパイル可能コードのゼロショット合成のための軽量なアプローチであるZS4Cを提案する。
ZS4Cは既存の手法よりも大幅に優れ、コンパイル速度は63%から95.1%に向上した。
平均すると、ZS4CはSnRよりも正確な輸入文(F1スコア0.98)を推測でき、F1は8.5%改善している。
- 参考スコア(独自算出の注目度): 10.582148239416242
- License:
- Abstract: Technical Q&A sites are valuable for software developers seeking knowledge, but the code snippets they provide are often uncompilable and incomplete due to unresolved types and missing libraries. This poses a challenge for users who wish to reuse or analyze these snippets. Existing methods either do not focus on creating compilable code or have low success rates. To address this, we propose ZS4C, a lightweight approach for zero-shot synthesis of compilable code from incomplete snippets using Large Language Models (LLMs). ZS4C operates in two stages: first, it uses an LLM, like GPT-3.5, to identify missing import statements in a snippet; second, it collaborates with a validator (e.g., compiler) to fix compilation errors caused by incorrect imports and syntax issues. We evaluated ZS4C on the StatType-SO benchmark and a new dataset, Python-SO, which includes 539 Python snippets from Stack Overflow across the 20 most popular Python libraries. ZS4C significantly outperforms existing methods, improving the compilation rate from 63% to 95.1% compared to the state-of-the-art SnR, marking a 50.1% improvement. On average, ZS4C can infer more accurate import statements (with an F1 score of 0.98) than SnR, with an improvement of 8.5% in the F1.
- Abstract(参考訳): 技術的Q&Aサイトは、知識を求めるソフトウェア開発者にとっては価値があるが、それらが提供するコードスニペットは、しばしばコンパイル不可能で、未解決の型と欠落したライブラリのため不完全である。
これは、これらのスニペットを再利用したり分析したりしたいユーザにとって、課題となる。
既存のメソッドはコンパイル可能なコードの作成に集中せず、成功率も低い。
そこで本稿では,Large Language Models (LLMs) を用いた不完全なスニペットからコンパイル可能コードのゼロショット合成のための軽量なアプローチであるZS4Cを提案する。
ZS4Cは2つの段階で動作している: まず、GPT-3.5のようなLCMを使用してスニペット内の欠落したインポートステートメントを識別する。
StatType-SOベンチマークと新しいデータセットであるPython-SOでZS4Cを評価した。
ZS4Cは、現在のSnRに比べて63%から95.1%に改善され、50.1%の改善となった。
平均すると、ZS4CはSnRよりも正確な輸入文(F1スコア0.98)を推測でき、F1は8.5%改善している。
関連論文リスト
- SemCoder: Training Code Language Models with Comprehensive Semantics [24.93484793667691]
包括的セマンティクスでコードLLMを訓練するための新しい戦略を導入する。
我々は、自然言語を用いてコードを書き、実行動作を表現し、推論するためのCode LLMのトレーニングを提案する。
提案手法は,複数の次元のセマンティクスをよりスムーズに統合することを示す。
論文 参考訳(メタデータ) (2024-06-03T05:36:57Z) - Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize
Encoded Knowledge [85.17343729885003]
我々は,Hint-before-Solving Prompting (HSP)を導入し,その問題を解くためのヒントを生成する。
HSPは推論タスクの精度を効果的に向上させることができる。
我々はHSPと細調整されたLlemma-7Bに基づいてHSPMATHデータセットを構築し、64.3精度を達成した。
論文 参考訳(メタデータ) (2024-02-22T05:58:03Z) - ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。
LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
論文 参考訳(メタデータ) (2023-11-16T12:03:21Z) - Guess & Sketch: Language Model Guided Transpilation [59.02147255276078]
学習されたトランスパイレーションは、手作業による書き直しやエンジニアリングの取り組みに代わるものだ。
確率的ニューラルネットワークモデル(LM)は、入力毎に可塑性出力を生成するが、正確性を保証するコストがかかる。
Guess & Sketch は LM の特徴からアライメントと信頼性情報を抽出し、意味的等価性を解決するためにシンボリック・ソルバに渡す。
論文 参考訳(メタデータ) (2023-09-25T15:42:18Z) - RAP-Gen: Retrieval-Augmented Patch Generation with CodeT5 for Automatic
Program Repair [75.40584530380589]
新たな検索型パッチ生成フレームワーク(RAP-Gen)を提案する。
RAP-Gen 以前のバグ修正ペアのリストから取得した関連する修正パターンを明示的に活用する。
RAP-GenをJavaScriptのTFixベンチマークとJavaのCode RefinementとDefects4Jベンチマークの2つのプログラミング言語で評価する。
論文 参考訳(メタデータ) (2023-09-12T08:52:56Z) - A Chain of AI-based Solutions for Resolving FQNs and Fixing Syntax
Errors in Partial Code [20.5627916036]
APIドキュメント、テクニカルブログ、プログラミングQ&Aサイトには、プログラミングタスクで再利用できる多数の部分的なコードが含まれているが、多くの場合、未解決の名前と構文エラーのために、これらのコードはコンパイル不可能である。
完全修飾名 (FQN) の解決とChatGPTのような巨大言語モデル (LLM) に基づく部分コードにおけるラストマイル構文エラーの修正のための部分コード再利用チェーン (PCR-Chain) を提案する。
論文 参考訳(メタデータ) (2023-06-21T02:13:32Z) - CoTran: An LLM-based Code Translator using Reinforcement Learning with
Feedback from Compiler and Symbolic Execution [7.125642663737713]
本稿では,LLMに基づくコード翻訳手法と,それに関連するツールであるCoTranを提案する。
CoTranは、コンパイラとsymexecベースのテストフィードバックを通じて、LLMのトレーニングをガイドするために設計されている。
私たちのツールは、PythonからJavaへの翻訳で48.68%のFEqAcc、76.98%のCompAccを達成する一方、最も近い競合ツール(PLBART-base)は38.26%と75.77%のrespしか得られない。
論文 参考訳(メタデータ) (2023-06-11T19:47:52Z) - Interleaving Retrieval with Chain-of-Thought Reasoning for
Knowledge-Intensive Multi-Step Questions [50.114651561111245]
マルチステップ質問応答のための新しいアプローチであるIRCoTを提案する。
CoTのステップで検索をインターリーブし、CoTで検索を誘導し、検索結果を用いてCoTを改善する。
論文 参考訳(メタデータ) (2022-12-20T18:26:34Z) - Syntax-Aware On-the-Fly Code Completion [13.268277642411974]
我々はPyCoderを提案する。トークン型は軽量な構文情報の一種である。
私たちのPyCoderはトークンレベルの予測に対して77.12%の精度でCodeXGLUEのリーダーボードで1位を獲得しました。
論文 参考訳(メタデータ) (2022-11-09T04:24:18Z) - CoSQA: 20,000+ Web Queries for Code Search and Question Answering [63.92224685262063]
CoSQAデータセットには、自然言語クエリとコードのペア用の20,604ラベルが含まれている。
本稿では,クエリコードマッチングを強化するために,CoCLRと呼ばれる対照的な学習手法を提案する。
我々は,CodeXGLUEを同じCodeBERTモデルで評価し,CoSQAのトレーニングにより,コード質問応答の精度が5.1%向上したことを示す。
論文 参考訳(メタデータ) (2021-05-27T15:37:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。