論文の概要: Fixing Function-Level Code Generation Errors for Foundation Large Language Models

• arxiv url: http://arxiv.org/abs/2409.00676v2
• Date: Sat, 18 Jan 2025 14:34:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:17:42.685657
• Title: Fixing Function-Level Code Generation Errors for Foundation Large Language Models
• Title（参考訳）: 基礎言語モデルのための関数レベルコード生成エラーの修正
• Authors: Hao Wen, Yueheng Zhu, Chao Liu, Xiaoxue Ren, Weiwei Du, Meng Yan,
• Abstract要約: 生成エラーに関する実証的研究を行い、その原因の分析を行い、19種類のエラー原因を導出する。 私たちの経験的分析では、これらの3つの原因が直接修正可能であることが示されています。 本稿では,この3種類のエラーを3段階のプロセスで処理するLlmFix法を提案する。
• 参考スコア（独自算出の注目度）: 6.137340149146578
• License:
• Abstract: Function-level code generation leverages foundation Large Language Models (LLMs) to automatically produce source code with expected functionality. It has been widely investigated and applied in intelligent programming assistants, such as GitHub Copilot, to enhance software development productivity. Despite advancements in foundation LLMs, the generation involves many errors. Existing studies leverage static analysis tools (e.g., TBar) or add another fixing LLM (i.e., LDB) to post-process these errors. However, there are still many errors remaining to be solved because their root causes have not been investigated yet, making it challenging to design better fixing tools. In this paper, we first conducted an empirical study on the generation errors. Specifically, we reproduced 14 representative LLMs on the HumanEval dataset and verified their correctness. We obtained 12,837 code generation errors and conducted an analysis of their causes, leading to 19 categories of error causes. Our empirical analysis indicated that three of these causes can be directly fixed. Based on the findings, we proposed a fixing method called LlmFix, which addresses these three types of errors through a three-step process: filtering code for indentation correction, truncating redundant generated code, and importing missing modules. Evaluations of LlmFix are conducted from two perspectives: its performance on error-fixing tasks and its impact on improving function-level code generation tasks. For error fixing performance, we built an evaluation dataset LlmErrorEval. Experimental results show that LlmFix achieves a fix rate of 17.1% outperforming the best LDB by 8.9%. For code generation improvements, evaluations of LlmFix on both the HumanEval and MBPP datasets demonstrate its effectiveness, improving code generation accuracy by an average of 7.5% across 14 LLMs.
• Abstract（参考訳）: 関数レベルのコード生成は、基盤となるLarge Language Models (LLM)を活用して、期待される機能を持つソースコードを自動的に生成する。 ソフトウェア開発の生産性を高めるために、GitHub Copilotのようなインテリジェントなプログラミングアシスタントで広く研究され、適用されています。 基礎LLMの進歩にもかかわらず、生成には多くの誤りが伴う。 既存の研究では静的解析ツール(例えばTBar)を利用するか、別の固定LLM(すなわちLDB)を追加してこれらのエラーを後処理する。 しかし、根本原因がまだ調査されていないため、まだ多くの誤りが残っているため、より良い修正ツールを設計することは困難である。 本稿ではまず,生成エラーに関する実証的研究を行った。 具体的には,HumanEvalデータセット上で14個の代表LSMを再現し,その正しさを検証した。 12,837個のコード生成エラーを取得し,その原因を解析した結果,19種類のエラー原因が得られた。 私たちの経験的分析では、これらの3つの原因が直接修正可能であることが示されています。 LlmFixという3種類のエラーを3段階のプロセスで処理する修正手法を提案し, インデンテーション補正のためのコードフィルタリング, 冗長な生成されたコードの切り抜き, 欠落モジュールのインポートを行った。 LlmFixの評価は、エラー修正タスクのパフォーマンスと、関数レベルのコード生成タスクの改善への影響の2つの観点から行われる。 エラー修正性能を評価するため,評価データセットLlmErrorEvalを構築した。 実験の結果、LlmFixは最高のLDBを8.9%上回る17.1%の修正率を達成した。 コード生成の改善のために、HumanEvalデータセットとMBPPデータセットの両方でのLlmFixの評価は、その効果を示し、14LLMで平均7.5%のコード生成精度を向上させる。

関連論文リスト

• SpecTool: A Benchmark for Characterizing Errors in Tool-Use LLMs [77.79172008184415]
  SpecToolは、ツール使用タスクのLLM出力のエラーパターンを特定するための新しいベンチマークである。 もっとも顕著なLCMでも,これらの誤りパターンが出力に現れることを示す。 SPECTOOLの分析と洞察を使って、エラー軽減戦略をガイドすることができる。
  論文  参考訳（メタデータ） (2024-11-20T18:56:22Z)
• ROCODE: Integrating Backtracking Mechanism and Program Analysis in Large Language Models for Code Generation [31.363781211927947]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 LLMはコード生成時にエラーの蓄積に影響を受けやすい。 コード生成のためのLLMにバックトラック機構とプログラム解析を統合したROCODEを提案する。
  論文  参考訳（メタデータ） (2024-11-11T16:39:13Z)
• See What LLMs Cannot Answer: A Self-Challenge Framework for Uncovering LLM Weaknesses [51.975495361024606]
  本稿では,Human-in-the-loopを用いたセルフチェレンジ評価フレームワークを提案する。 GPT-4が答えられないシードインスタンスから始めて、GPT-4に新しいインスタンスを生成するのに使えるエラーパターンを要約するように促します。 次に,GPT-4が生成する1,835個のインスタンスと,人手によるゴールド応答を併用したベンチマーク,SC-G4を構築した。
  論文  参考訳（メタデータ） (2024-08-16T19:01:52Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Where Do Large Language Models Fail When Generating Code? [10.519984835232359]
  大規模言語モデル(LLM)はコード生成に大きな可能性を示しています。 LLMがどのようなコード生成エラーを発生させるのかは不明だ。 我々は、HumanEvalデータセット上で6つの人気のあるLCMが生成した誤りコードスニペットを分析した。
  論文  参考訳（メタデータ） (2024-06-13T01:29:52Z)
• Evaluating LLMs at Detecting Errors in LLM Responses [30.645694514606507]
  この研究は、LLMによる客観的、現実的で多様なエラーからなる最初のエラー検出ベンチマークであるReaLMistakeを紹介した。 我々はReaLMistakeを用いて12の大規模言語モデルに基づいて誤り検出を行う。
  論文  参考訳（メタデータ） (2024-04-04T17:19:47Z)
• The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
  ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。 それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。 LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
  論文  参考訳（メタデータ） (2024-01-01T14:02:27Z)
• Evaluating Diverse Large Language Models for Automatic and General Bug Reproduction [12.851941377433285]
  大規模言語モデル(LLM)は自然言語処理やコード生成に適していることが証明されている。 提案手法は,広く使用されているDefects4Jベンチマークにおいて,全バグの約3分の1を再現することができた。
  論文  参考訳（メタデータ） (2023-11-08T08:42:30Z)
• Learning From Mistakes Makes LLM Better Reasoner [106.48571828587728]
  大規模言語モデル(LLM)は、最近数学の問題を解く際、顕著な推論能力を示した。 この研究は、LLMが人間の学習プロセスに似たMistAkes(LEMA)から学習できるかどうかを探求する。
  論文  参考訳（メタデータ） (2023-10-31T17:52:22Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。