論文の概要: Large-scale, Independent and Comprehensive study of the power of LLMs for test case generation

• arxiv url: http://arxiv.org/abs/2407.00225v3
• Date: Sat, 05 Jul 2025 14:25:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 22:02:54.966546
• Title: Large-scale, Independent and Comprehensive study of the power of LLMs for test case generation
• Title（参考訳）: テストケース生成のためのLCMの大規模・独立的・包括的研究
• Authors: Wendkûuni C. Ouédraogo, Kader Kaboré, Yinghua Li, Haoye Tian, Anil Koyuncu, Jacques Klein, David Lo, Tegawendé F. Bissyandé,
• Abstract要約: ユニットテストはソフトウェアの信頼性に不可欠だが、手動のテスト作成には時間がかかり、しばしば無視される。 本研究は,LLM生成単体テストの大規模評価をクラスレベルで行った最初の大規模評価である。
• 参考スコア（独自算出の注目度）: 11.517293765116307
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Unit testing is essential for software reliability, yet manual test creation is time-consuming and often neglected. Although search-based software testing improves efficiency, it produces tests with poor readability and maintainability. Although LLMs show promise for test generation, existing research lacks comprehensive evaluation across execution-driven assessment, reasoning-based prompting, and real-world testing scenarios. This study presents the first large-scale empirical evaluation of LLM-generated unit tests at the class level, systematically analyzing four state-of-the-art models - GPT-3.5, GPT-4, Mistral 7B, and Mixtral 8x7B - against EvoSuite across 216,300 test cases from Defects4J, SF110, and CMD (a dataset mitigating LLM training data leakage). We evaluate five prompting techniques - Zero-Shot Learning (ZSL), Few-Shot Learning (FSL), Chain-of-Thought (CoT), Tree-of-Thought (ToT), and Guided Tree-of-Thought (GToT) - assessing syntactic correctness, compilability, hallucination-driven failures, readability, code coverage metrics, and fault detection capabilities. Our findings challenge prior claims that in-context learning is ineffective for test generation in code-specialized LLMs. Reasoning-based prompting - particularly GToT - significantly enhances test reliability, compilability, and structural adherence in general-purpose LLMs. However, hallucination-driven failures remain a persistent challenge, manifesting as non-existent symbol references, incorrect API calls, and fabricated dependencies, resulting in high compilation failure rates (up to 86%). Execution-based classification and mutation testing reveal that many failing tests stem from hallucinated dependencies, limiting effective fault detection.
• Abstract（参考訳）: ユニットテストはソフトウェアの信頼性に不可欠だが、手動のテスト作成には時間がかかり、しばしば無視される。 検索ベースのソフトウェアテストは効率を向上するが、可読性と保守性に乏しいテストを生成する。 LLMはテスト生成を約束するが、既存の研究では、実行駆動評価、推論ベースのプロンプト、実世界のテストシナリオに対する包括的な評価が欠如している。 本研究は,216,300件のテストケースであるDefects4J,SF110,CMD(LCMトレーニングデータ漏洩を軽減したデータセット)を用いて,GPT-3.5,GPT-4,Mistral 7B,Mixtral 8x7Bの4種類の最先端モデル(GPT-3.5,GPT-4,Mistral 7B,Mixtral 8x7B)を系統的に解析し,LLM生成単体テストのクラスレベルでの大規模評価を行った。 ゼロショット学習(ZSL)、Few-Shot Learning(FSL)、Chain-of-Thought(CoT)、Tree-of-Thought(ToT)、 Guided Tree-of-Thought(GToT)の5つのプロンプト技術を評価する。 本研究は, コード固有化LLMにおいて, 文脈内学習がテスト生成に有効でないという先行主張に挑戦する。 推論に基づくプロンプト(特にGToT)は、汎用LLMにおけるテストの信頼性、コンパイル性、構造的付着性を著しく向上させる。 しかし、幻覚駆動の障害は依然として永続的な課題であり、既存のシンボル参照、不正なAPI呼び出し、ファブリックされた依存関係として現れ、高いコンパイル失敗率(最大86%)をもたらす。 実行ベースの分類と突然変異検査は、多くの失敗したテストが幻覚的依存から発生し、効果的な障害検出を制限することを明らかにしている。

関連論文リスト

• Benchmarking Large Language Models for Multi-Language Software Vulnerability Detection [15.026084450436976]
  本稿では,ソフトウェア脆弱性検出タスクにおいて,大規模言語モデル(LLM)の性能を評価する。 Pythonで8,260の脆弱な関数、Javaで7,505、JavaScriptで28,983のデータセットをコンパイルしました。 これらのLSMは、5つの微調整された小さな言語モデルと2つのオープンソースの静的アプリケーションセキュリティテストツールに対してベンチマークされる。
  論文  参考訳（メタデータ） (2025-03-03T11:56:00Z)
• Unit Testing Past vs. Present: Examining LLMs' Impact on Defect Detection and Efficiency [2.4936576553283283]
  ソフトウェア工学へのLLM(Large Language Models)の統合は生産性を高める可能性を示している。 本稿では,LLMサポートが単体テスト時の欠陥検出効率を向上させるかを検討する。
  論文  参考訳（メタデータ） (2025-02-13T22:27:55Z)
• ProjectTest: A Project-level LLM Unit Test Generation Benchmark and Impact of Error Fixing Mechanisms [48.43237545197775]
  単体テスト生成はLLMの有望かつ重要なユースケースとなっている。 ProjectTestは、Python、Java、JavaScriptをカバーするユニットテスト生成のためのプロジェクトレベルのベンチマークである。
  論文  参考訳（メタデータ） (2025-02-10T15:24:30Z)
• A Large-scale Empirical Study on Fine-tuning Large Language Models for Unit Testing [8.22619177301814]
  大規模言語モデル(LLM)は、様々な単体テストタスクに可能性を示している。 単体テストのための微調整LDMに関する大規模な実験的検討を行った。
  論文  参考訳（メタデータ） (2024-12-21T13:28:11Z)
• Test smells in LLM-Generated Unit Tests [11.517293765116307]
  本研究では,大規模言語モデルの生成した単体テストスイートにおけるテストの匂いの拡散について検討する。 5つのプロンプトエンジニアリング技術で4つのモデルで生成された20,500 LLM生成テストスイートのベンチマークを解析した。 我々は,LLM生成テストスイートと筆記テストスイートの両方において,種々のテスト匂いの出現頻度と発生頻度を同定し,解析する。
  論文  参考訳（メタデータ） (2024-10-14T15:35:44Z)
• TestBench: Evaluating Class-Level Test Case Generation Capability of Large Language Models [8.22619177301814]
  クラスレベルのLLMベースのテストケース生成のためのベンチマークであるTestBenchを紹介する。 GitHub上の9つの実世界の大規模プロジェクトから108のJavaプログラムのデータセットを構築します。 本稿では,構文的正当性,コンパイル的正当性,テスト的正当性,コードカバレッジ率,欠陥検出率という,テストケースの5つの側面を考慮した詳細な評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-26T06:18:06Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• On the Evaluation of Large Language Models in Unit Test Generation [16.447000441006814]
  単体テストは、ソフトウェアコンポーネントの正しさを検証するために、ソフトウェア開発において不可欠な活動である。 LLM(Large Language Models)の出現は、ユニットテスト生成を自動化するための新しい方向性を提供する。
  論文  参考訳（メタデータ） (2024-06-26T08:57:03Z)
• BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
  BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。 評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。 そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
  論文  参考訳（メタデータ） (2024-06-22T15:52:04Z)
• Prompting Large Language Models to Tackle the Full Software Development Lifecycle: A Case Study [72.24266814625685]
  DevEvalでソフトウェア開発ライフサイクル全体にわたって、大きな言語モデル(LLM)のパフォーマンスを調査します。 DevEvalは4つのプログラミング言語、複数のドメイン、高品質なデータ収集、各タスクに対して慎重に設計および検証されたメトリクスを備えている。 GPT-4を含む現在のLLMは、DevEvalで提示される課題を解決できないことが実証研究によって示されている。
  論文  参考訳（メタデータ） (2024-03-13T15:13:44Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Software Testing with Large Language Models: Survey, Landscape, and Vision [32.34617250991638]
  事前訓練された大規模言語モデル(LLM)は、自然言語処理と人工知能におけるブレークスルー技術として登場した。 本稿では,ソフトウェアテストにおけるLCMの利用状況について概説する。
  論文  参考訳（メタデータ） (2023-07-14T08:26:12Z)
• ChatGPT vs SBST: A Comparative Assessment of Unit Test Suite Generation [25.200080365022153]
  本稿では,ChatGPT LLM と最先端 SBST ツール EvoSuite によるテストスイートの体系的比較を行う。 私たちの比較は、正確性、可読性、コードカバレッジ、バグ検出機能など、いくつかの重要な要素に基づいています。
  論文  参考訳（メタデータ） (2023-07-02T15:09:40Z)
• Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
  Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。 このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
  論文  参考訳（メタデータ） (2023-05-24T01:46:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。