論文の概要: CodeFlowBench: A Multi-turn, Iterative Benchmark for Complex Code Generation

• arxiv url: http://arxiv.org/abs/2504.21751v2
• Date: Sat, 17 May 2025 03:30:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.137999
• Title: CodeFlowBench: A Multi-turn, Iterative Benchmark for Complex Code Generation
• Title（参考訳）: CodeFlowBench: 複雑なコード生成のためのマルチターン反復ベンチマーク
• Authors: Sizhe Wang, Zhengren Wang, Dongsheng Ma, Yongan Yu, Rui Ling, Zhiyu Li, Feiyu Xiong, Wentao Zhang,
• Abstract要約: コードフローを実行するLLMの能力を総合的に評価するために設計された最初のベンチマークであるCodeFlowBenchを紹介する。 CodeFlowBenchは、Codeforcesから5,258の問題を発生し、自動パイプラインを通じて継続的に更新される。 16のLLMの大規模な実験により、マルチターンシナリオにおける大幅な性能劣化が明らかになった。
• 参考スコア（独自算出の注目度）: 22.74831630054096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern software development demands code that is maintainable, testable, and scalable by organizing the implementation into modular components with iterative reuse of existing codes. We formalize this iterative, multi-turn paradigm as codeflow and introduce CodeFlowBench, the first benchmark designed to comprehensively evaluate LLMs' ability to perform codeflow, namely implementing new functionality by reusing existing functions over multiple turns. CodeFlowBench comprises 5,258 problems from Codeforces and is continuously updated via an automated pipeline, which decomposes each problem into subproblems with unit tests based on dependency tree analysis and dataflow analysis. We further propose a novel evaluation framework featured dual assessment protocol and structural metrics derived from dependency trees. Extensive experiments on 16 popular LLMs reveal significant performance degradation in multi-turn scenarios. For instance, o1-mini retains only 20.8% Pass@1 in multi-turn scenario versus 37.8% in single-turn scenario. More fine-grained analysis illustrates that model performance inversely correlates with dependency complexity. These findings not only highlight the critical challenges for supporting real-world workflows, but also establish CodeFlowBench as an essential tool for advancing code generation research.
• Abstract（参考訳）: 現代のソフトウェア開発は、既存のコードの反復的な再利用によって、実装をモジュール化されたコンポーネントにまとめることによって、保守可能で、テスト可能で、スケーラブルなコードを要求する。 我々は,この反復的マルチターンパラダイムをコードフローとして形式化し,LLMがコードフローを実行する能力を包括的に評価する最初のベンチマークであるCodeFlowBenchを紹介した。 CodeFlowBenchは、Codeforcesから5,258の問題を発生し、自動パイプラインを通じて継続的に更新される。 さらに,依存木から派生した2重評価プロトコルと構造指標を特徴とする新しい評価フレームワークを提案する。 16のLLMの大規模な実験により、マルチターンシナリオにおける大幅な性能劣化が明らかになった。 例えば、o1-miniはマルチターンシナリオでは20.8%のPass@1しか保持していないが、シングルターンシナリオでは37.8%である。 よりきめ細かい分析は、モデルの性能が依存性の複雑さと逆相関していることを示している。 これらの発見は、現実世界のワークフローをサポートする上で重要な課題を強調しているだけでなく、コード生成研究を進める上で不可欠なツールとしてCodeFlowBenchを確立している。

関連論文リスト

• AdaCoder: An Adaptive Planning and Multi-Agent Framework for Function-Level Code Generation [17.020112052995334]
  典型的なマルチエージェントフレームワークは、LLM(Large Language Model)ベースのエージェントで構成されている。 AdaCoderは、関数レベルのコード生成のための新しい適応型プランニング、マルチエージェントフレームワークである。
  論文  参考訳（メタデータ） (2025-04-05T16:14:01Z)
• DynaCode: A Dynamic Complexity-Aware Code Benchmark for Evaluating Large Language Models in Code Generation [20.75363011870647]
  DynaCodeは、大規模言語モデル(LLM)のための動的で複雑さを意識したベンチマークである。 複雑性を意識したメトリクスを使用して、LLMを体系的に評価し、コードの複雑さとコールグラフ構造の両方を取り入れる。 最新の12のLCMでは、静的コード生成ベンチマークであるMBPP+と比較して平均パフォーマンスが16.8%から45.7%低下している。
  論文  参考訳（メタデータ） (2025-03-13T15:18:56Z)
• FEA-Bench: A Benchmark for Evaluating Repository-Level Code Generation for Feature Implementation [26.14778133391999]
  FEA-Benchは、大規模な言語モデルがコードリポジトリ内でインクリメンタルな開発を行う能力を評価するために設計されたベンチマークである。 83のGitHubリポジトリからのプルリクエストを収集し、ルールベースとインテントベースのフィルタリングを使用して、新機能開発にフォーカスしたタスクインスタンスを構築します。
  論文  参考訳（メタデータ） (2025-03-09T16:11:57Z)
• EpiCoder: Encompassing Diversity and Complexity in Code Generation [49.170195362149386]
  抽象構文木(AST)にヒントを得た新しい特徴木ベース合成フレームワークを提案する。 コードの構文構造をキャプチャするASTとは異なり、私たちのフレームワークはコード要素間のセマンティックな関係をモデル化します。 広く使われているベースモデルを微調整してEpiCoderシリーズを作成し、関数レベルとファイルレベルの両方で最先端のパフォーマンスを実現しました。
  論文  参考訳（メタデータ） (2025-01-08T18:58:15Z)
• Code Review Automation Via Multi-task Federated LLM -- An Empirical Study [4.8342038441006805]
  本研究は,2つの逐次法,1つの並列法,2つの累積法を含む,マルチタスクトレーニングのための5つの簡単な手法について検討した。 その結果,フェデレートされたLLM(FedLLM)をコードレビューのマルチタスクのユースケースで逐次トレーニングすることは,タスク毎に個別のモデルをトレーニングするよりも,時間,計算,パフォーマンスの指標の面で効率が低いことが示唆された。
  論文  参考訳（メタデータ） (2024-12-20T08:46:46Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
  InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。 慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
  論文  参考訳（メタデータ） (2024-03-11T02:06:30Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• CodeCoT: Tackling Code Syntax Errors in CoT Reasoning for Code Generation [6.139760107605468]
  チェーン・オブ・シント(CoT)は、複雑な推論タスクにおいて特に有効であるとして、NLPの画期的なツールとして登場した。 コード生成のための自己検査プロセスとCoTを統合したCode Chain-of-Thought(CodeCoT)を提案する。
  論文  参考訳（メタデータ） (2023-08-17T04:58:51Z)
• CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
  大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。 我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-05-13T14:23:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。