論文の概要: ZS4C: Zero-Shot Synthesis of Compilable Code for Incomplete Code Snippets using LLMs

• arxiv url: http://arxiv.org/abs/2401.14279v2
• Date: Wed, 09 Oct 2024 17:19:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:30:16.259161
• Title: ZS4C: Zero-Shot Synthesis of Compilable Code for Incomplete Code Snippets using LLMs
• Title（参考訳）: ZS4C:LLMを用いた不完全コードスニペット用コンパイル可能コードのゼロショット合成
• Authors: Azmain Kabir, Shaowei Wang, Yuan Tian, Tse-Hsun Chen, Muhammad Asaduzzaman, Wenbin Zhang,
• Abstract要約: 非完全スニペットからコンパイル可能コードのゼロショット合成のための軽量なアプローチであるZS4Cを提案する。 ZS4Cは既存の手法よりも大幅に優れ、コンパイル速度は63%から95.1%に向上した。 平均すると、ZS4CはSnRよりも正確な輸入文(F1スコア0.98)を推測でき、F1は8.5%改善している。
• 参考スコア（独自算出の注目度）: 10.582148239416242
• License:
• Abstract: Technical Q&A sites are valuable for software developers seeking knowledge, but the code snippets they provide are often uncompilable and incomplete due to unresolved types and missing libraries. This poses a challenge for users who wish to reuse or analyze these snippets. Existing methods either do not focus on creating compilable code or have low success rates. To address this, we propose ZS4C, a lightweight approach for zero-shot synthesis of compilable code from incomplete snippets using Large Language Models (LLMs). ZS4C operates in two stages: first, it uses an LLM, like GPT-3.5, to identify missing import statements in a snippet; second, it collaborates with a validator (e.g., compiler) to fix compilation errors caused by incorrect imports and syntax issues. We evaluated ZS4C on the StatType-SO benchmark and a new dataset, Python-SO, which includes 539 Python snippets from Stack Overflow across the 20 most popular Python libraries. ZS4C significantly outperforms existing methods, improving the compilation rate from 63% to 95.1% compared to the state-of-the-art SnR, marking a 50.1% improvement. On average, ZS4C can infer more accurate import statements (with an F1 score of 0.98) than SnR, with an improvement of 8.5% in the F1.
• Abstract（参考訳）: 技術的Q&Aサイトは、知識を求めるソフトウェア開発者にとっては価値があるが、それらが提供するコードスニペットは、しばしばコンパイル不可能で、未解決の型と欠落したライブラリのため不完全である。 これは、これらのスニペットを再利用したり分析したりしたいユーザにとって、課題となる。 既存のメソッドはコンパイル可能なコードの作成に集中せず、成功率も低い。 そこで本稿では,Large Language Models (LLMs) を用いた不完全なスニペットからコンパイル可能コードのゼロショット合成のための軽量なアプローチであるZS4Cを提案する。 ZS4Cは2つの段階で動作している: まず、GPT-3.5のようなLCMを使用してスニペット内の欠落したインポートステートメントを識別する。 StatType-SOベンチマークと新しいデータセットであるPython-SOでZS4Cを評価した。 ZS4Cは、現在のSnRに比べて63%から95.1%に改善され、50.1%の改善となった。 平均すると、ZS4CはSnRよりも正確な輸入文(F1スコア0.98)を推測でき、F1は8.5%改善している。

関連論文リスト

• Demystifying and Assessing Code Understandability in Java Decompilation [3.2671789531342457]
  機械レベルのコードを可読性のあるソースコードに変換するプロセスである逆コンパイルは、リバースエンジニアリングにおいて重要な役割を果たす。 本稿では,Javaの非コンパイルコードの可読性に関する最初の実証的研究を提案する。
  論文  参考訳（メタデータ） (2024-09-30T14:44:00Z)
• CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution [50.7413285637879]
  CRUXEVAL-Xコード推論ベンチマークには19のプログラミング言語が含まれている。 各言語に対して少なくとも600人の被験者で構成され、合計19Kのコンテンツ一貫性テストがある。 Pythonでのみトレーニングされたモデルでさえ、他の言語で34.4%のPass@1を達成することができる。
  論文  参考訳（メタデータ） (2024-08-23T11:43:00Z)
• WaDec: Decompiling WebAssembly Using Large Language Model [5.667013605202579]
  WebAssembly(略してWasm)がWeb開発の基礎として登場した。 その利点にもかかわらず、Wasmのバイナリの性質は開発者と研究者に重大な課題をもたらしている。 We introduced a novel approach, WaDec, which is a first use of a fine-tuned LLM to interpret and decompile Wasm binary code。
  論文  参考訳（メタデータ） (2024-06-17T09:08:30Z)
• In-Context Principle Learning from Mistakes [75.66979331850364]
  Incontext Learning(ICL)は、いくつかの入力出力例から学習することで、下流タスクにLLMを適用する標準的な方法である。 我々はこのパラダイムを再考し、数少ないインプット・アウトプットの例からより多くを学ぶ。
  論文  参考訳（メタデータ） (2024-02-08T04:42:29Z)
• A Novel Approach for Automatic Program Repair using Round-Trip Translation with Large Language Models [50.86686630756207]
  研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。 現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。 本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T22:36:31Z)
• DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
  DebugBench - LLM(Large Language Models)のベンチマーク。 C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。 ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-09T15:46:38Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• Guess & Sketch: Language Model Guided Transpilation [59.02147255276078]
  学習されたトランスパイレーションは、手作業による書き直しやエンジニアリングの取り組みに代わるものだ。 確率的ニューラルネットワークモデル(LM)は、入力毎に可塑性出力を生成するが、正確性を保証するコストがかかる。 Guess & Sketch は LM の特徴からアライメントと信頼性情報を抽出し、意味的等価性を解決するためにシンボリック・ソルバに渡す。
  論文  参考訳（メタデータ） (2023-09-25T15:42:18Z)
• CoTran: An LLM-based Code Translator using Reinforcement Learning with Feedback from Compiler and Symbolic Execution [6.72474166614441]
  既存のコード翻訳法では、翻訳されたコードが確実にコンパイルされるか、入力されたコードに実質的な機能的等価性を持つことを保証するための訓練が欠如している。 本研究では、強化学習、コンパイラフィードバック、シンボリック実行(シンジケート)ベースのテストフィードバックを用いて、LLMを微調整する。 我々は、CoTranと、人書きトランスパイラ、LLMベースの翻訳ツール、ChatGPTを含む14のコード翻訳ツールを比較した広範な実験を行った。
  論文  参考訳（メタデータ） (2023-06-11T19:47:52Z)
• Syntax-Aware On-the-Fly Code Completion [13.268277642411974]
  我々はPyCoderを提案する。トークン型は軽量な構文情報の一種である。 私たちのPyCoderはトークンレベルの予測に対して77.12%の精度でCodeXGLUEのリーダーボードで1位を獲得しました。
  論文  参考訳（メタデータ） (2022-11-09T04:24:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。