論文の概要: Enhancing LLM-Based Code Generation with Complexity Metrics: A Feedback-Driven Approach

• arxiv url: http://arxiv.org/abs/2505.23953v1
• Date: Thu, 29 May 2025 19:06:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.637786
• Title: Enhancing LLM-Based Code Generation with Complexity Metrics: A Feedback-Driven Approach
• Title（参考訳）: LLMベースのコード生成を複雑度で強化する - フィードバック駆動アプローチ
• Authors: Melika Sepidband, Hamed Taherkhani, Song Wang, Hadi Hemmati,
• Abstract要約: 本稿では,コード複雑度と大言語モデル生成コードの成功との関係について検討する。 提案手法では,既往の故障した出力からの複雑性メトリクスに基づいて,LCMに正しいコードを生成するための反復的フィードバック手法を提案する。 実験結果から,本手法は特に小型LCMでは顕著な改善が見られた。
• 参考スコア（独自算出の注目度）: 6.289275189295223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic code generation has gained significant momentum with the advent of Large Language Models (LLMs) such as GPT-4. Although many studies focus on improving the effectiveness of LLMs for code generation, very limited work tries to understand the generated code's characteristics and leverage that to improve failed cases. In this paper, as the most straightforward characteristic of code, we investigate the relationship between code complexity and the success of LLM generated code. Using a large set of standard complexity metrics, we first conduct an empirical analysis to explore their correlation with LLM's performance on code generation (i.e., Pass@1). Using logistic regression models, we identify which complexity metrics are most predictive of code correctness. Building on these findings, we propose an iterative feedback method, where LLMs are prompted to generate correct code based on complexity metrics from previous failed outputs. We validate our approach across multiple benchmarks (i.e., HumanEval, MBPP, LeetCode, and BigCodeBench) and various LLMs (i.e., GPT-4o, GPT-3.5 Turbo, Llama 3.1, and GPT-o3 mini), comparing the results with two baseline methods: (a) zero-shot generation, and (b) iterative execution-based feedback without our code complexity insights. Experiment results show that our approach makes notable improvements, particularly with a smaller LLM (GPT3.5 Turbo), where, e.g., Pass@1 increased by 35.71% compared to the baseline's improvement of 12.5% on the HumanEval dataset. The study expands experiments to BigCodeBench and integrates the method with the Reflexion code generation agent, leading to Pass@1 improvements of 20% (GPT-4o) and 23.07% (GPT-o3 mini). The results highlight that complexity-aware feedback enhances both direct LLM prompting and agent-based workflows.
• Abstract（参考訳）: GPT-4のような大規模言語モデル(LLM)の出現により、自動コード生成は大きな勢いを増している。 コード生成におけるLLMの有効性の改善に多くの研究が焦点を当てているが、非常に限定された作業は、生成されたコードの特徴を理解し、それを利用して失敗したケースを改善することである。 本稿では,コードの最も直接的な特徴として,LLM生成コードの複雑性と成功との関係について検討する。 多数の標準的な複雑性メトリクスを使用して、まず経験的な分析を行い、コード生成におけるLLMのパフォーマンス(すなわちPass@1)との相関性を調べます。 ロジスティック回帰モデルを用いて、コードの正確性が最も予測可能な複雑性メトリクスを特定する。 そこで本研究では,LCMに対して,これまで失敗していた出力の複雑さのメトリクスに基づいて,正しいコードを生成するための反復的フィードバック手法を提案する。 我々は、複数のベンチマーク(HumanEval、MBPP、LeetCode、BigCodeBench)と様々なLLM(GPT-4o、GPT-3.5 Turbo、Llama 3.1、GPT-o3 mini)にまたがるアプローチを検証し、その結果を2つのベースライン手法と比較した。 (a)ゼロショット生成、及び (b)コードの複雑さの洞察なしに反復的な実行ベースのフィードバック。 実験結果から,本手法は特に小型LLM(GPT3.5 Turbo)において,ベースラインのHumanEvalデータセットにおける12.5%の改善と比較して,Pass@1が35.71%向上した。 この研究は実験をBigCodeBenchに拡張し、Reflexionコード生成エージェントとメソッドを統合することで、Pass@1の改善は20%(GPT-4o)と23.07%(GPT-o3 mini)となっている。 その結果,複雑性を意識したフィードバックにより,直接LLMプロンプトとエージェントベースのワークフローが促進されることがわかった。

関連論文リスト

• Large Language Models as Code Executors: An Exploratory Study [29.545321608864295]
  本稿では,Large Language Models (LLM) をコードエグゼキュータとして探索する。 OpenAIのo1、GPT-4o、GPT-3.5、DeepSeek、Qwen-Coderなど、さまざまなLLMでこの実現可能性を調べています。 我々は,コードスニペットを行単位で処理し,弱いモデルの精度を平均7.22%向上させるIIP(Iterative Instruction Prompting)技術を導入する。
  論文  参考訳（メタデータ） (2024-10-09T08:23:22Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Applying RLAIF for Code Generation with API-usage in Lightweight LLMs [15.366324461797582]
  Reinforcement Learning from AI Feedback (RLAIF)は、さまざまな領域で大きな可能性を証明している。 本稿では,軽量 (1B パラメータ) LLM のコード生成能力を改善するための RLAIF フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-28T17:16:03Z)
• Natural Is The Best: Model-Agnostic Code Simplification for Pre-trained Large Language Models [6.646510073473929]
  本稿では,SlimCodeを提案する。SlimCodeは大規模言語モデルのための,モデルに依存しないコード単純化ソリューションである。 SlimCodeは、コード検索と要約におけるMRRおよびBLEUスコアの9.46%と5.15%の最先端技術を改善することができる。
  論文  参考訳（メタデータ） (2024-05-18T06:15:52Z)
• SOEN-101: Code Generation by Emulating Software Process Models Using Large Language Model Agents [50.82665351100067]
  FlowGenは、複数のLarge Language Model (LLM)エージェントに基づいたソフトウェアプロセスモデルをエミュレートするコード生成フレームワークである。 FlowGenScrumをHumanEval、HumanEval-ET、MBPP、MBPP-ETの4つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2024-03-23T14:04:48Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
  コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。 私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。 提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2023-11-25T02:45:50Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。