論文の概要: Can LLMs Generate Reliable Test Case Generators? A Study on Competition-Level Programming Problems

• arxiv url: http://arxiv.org/abs/2506.06821v2
• Date: Tue, 10 Jun 2025 19:38:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-12 23:41:16.718616
• Title: Can LLMs Generate Reliable Test Case Generators? A Study on Competition-Level Programming Problems
• Title（参考訳）: LLMは信頼性の高いテストケースジェネレータを生成することができるか?競合レベルプログラミング問題に関する研究
• Authors: Yuhan Cao, Zian Chen, Kun Quan, Ziliang Zhang, Yu Wang, Xiaoning Dong, Yeqi Feng, Guanzhong He, Jingcheng Huang, Jianhao Li, Yixuan Tan, Jiafu Tang, Yilin Tang, Junlei Wu, Qianyu Xiao, Can Zheng, Shouchen Zhou, Yuxiang Zhu, Yiming Huang, Tian Xie, Tianxing He,
• Abstract要約: 大規模言語モデル(LLM)は、推論中に複雑なタスクに対処できるコード生成において顕著な能力を示している。 テストケースジェネレータ(LLM生成)のベンチマークであるTCGBenchを提案する。
• 参考スコア（独自算出の注目度）: 11.087050901077253
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities in code generation, capable of tackling complex tasks during inference. However, the extent to which LLMs can be utilized for code checking or debugging through test case generation remains largely unexplored. We investigate this problem from the perspective of competition-level programming (CP) programs and propose TCGBench, a Benchmark for (LLM generation of) Test Case Generators. This benchmark comprises two tasks, aimed at studying the capabilities of LLMs in (1) generating valid test case generators for a given CP problem, and further (2) generating targeted test case generators that expose bugs in human-written code. Experimental results indicate that while state-of-the-art LLMs can generate valid test case generators in most cases, most LLMs struggle to generate targeted test cases that reveal flaws in human code effectively. Especially, even advanced reasoning models (e.g., o3-mini) fall significantly short of human performance in the task of generating targeted generators. Furthermore, we construct a high-quality, manually curated dataset of instructions for generating targeted generators. Analysis demonstrates that the performance of LLMs can be enhanced with the aid of this dataset, by both prompting and fine-tuning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、推論中に複雑なタスクに対処できるコード生成において顕著な能力を示している。 しかし、LLMがコードチェックやテストケース生成によるデバッグに利用できる範囲は、まだ明らかになっていない。 本稿では、競合レベルプログラミング(CP)プログラムの観点からこの問題を考察し、テストケースジェネレータ(LLM生成)のベンチマークであるTCGBenchを提案する。 本ベンチマークは,(1)所定のCP問題に対して有効なテストケースジェネレータを生成すること,および(2)人手によるコード中のバグを露呈するテストケースジェネレータを生成することを目的とした2つのタスクからなる。 実験結果から、最先端のLLMは、ほとんどのケースで有効なテストケースジェネレータを生成することができるが、ほとんどのLLMは、人間のコードの欠陥を効果的に明らかにするターゲットテストケースを生成するのに苦労していることがわかった。 特に、先進的な推論モデル(例えば、o3-mini)でさえ、ターゲットジェネレータを生成するタスクにおいて、人間のパフォーマンスにかなり劣っている。 さらに、ターゲットジェネレータを生成するための命令を手作業で作成する高品質なデータセットを構築する。 解析により、このデータセットの助けを借りてLLMの性能を向上できることが示される。

関連論文リスト

• Improving the Readability of Automatically Generated Tests using Large Language Models [7.7149881834358345]
  探索型ジェネレータの有効性とLLM生成試験の可読性を組み合わせることを提案する。 提案手法は,検索ツールが生成するテスト名や変数名の改善に重点を置いている。
  論文  参考訳（メタデータ） (2024-12-25T09:08:53Z)
• Automatic Generation of Benchmarks and Reliable LLM Judgment for Code Tasks [0.8274693573069442]
  この研究は、自動生成されたベンチマークを利用して、LaaJの実装を生成および評価する方法論を導入する。 ベンチマークは、LaaJの開発と検証と、LaaJを使用してLLMコード関連ソリューションの検証とテストの両方に使用される。 私たちのアプローチは、高品質なコードタスクソリューションの作成を可能にします。
  論文  参考訳（メタデータ） (2024-10-28T14:34:36Z)
• Case2Code: Scalable Synthetic Data for Code Generation [105.89741089673575]
  大規模言語モデル(LLM)は、コード生成において顕著なブレークスルーを示している。 最近の研究は、いくつかの強力なLLMによって生成された合成データをトレーニングすることで、コードLLMを改善している。 プログラムの表現性と正確性を利用したtextbfCase2Code タスクを提案する。
  論文  参考訳（メタデータ） (2024-07-17T11:35:00Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Large Language Models as Test Case Generators: Performance Evaluation and Enhancement [3.5398126682962587]
  大規模言語モデルが高品質なテストケースをいかに生み出すかを検討する。 本稿では,テストインプットとテストアウトプットの生成を分離するemphTestChainというマルチエージェントフレームワークを提案する。 以上の結果から,TestChainはベースラインのマージンを大きく上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-04-20T10:27:01Z)
• Test-Driven Development for Code Generation [0.850206009406913]
  大きな言語モデル(LLM)は、問題ステートメントから直接コードスニペットを生成する重要な機能を示している。 本稿では,テスト駆動開発(TDD)をAI支援コード生成プロセスに組み込む方法について検討する。
  論文  参考訳（メタデータ） (2024-02-21T04:10:12Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• Using LLM such as ChatGPT for Designing and Implementing a RISC Processor: Execution,Challenges and Limitations [11.07566083431614]
  この論文は、解析、トークン化、エンコーディング、アテンションメカニズム、コード生成時のトークンとイテレーションのサンプリングなど、関連するステップについてレビューする。 RISCコンポーネントの生成されたコードは、FPGA基板上でテストベンチとハードウェア実装によって検証される。
  論文  参考訳（メタデータ） (2024-01-18T20:14:10Z)
• Fault-Aware Neural Code Rankers [64.41888054066861]
  サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。 我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-06-04T22:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。