論文の概要: Test Wars: A Comparative Study of SBST, Symbolic Execution, and LLM-Based Approaches to Unit Test Generation

• arxiv url: http://arxiv.org/abs/2501.10200v1
• Date: Fri, 17 Jan 2025 13:48:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 14:00:24.230526
• Title: Test Wars: A Comparative Study of SBST, Symbolic Execution, and LLM-Based Approaches to Unit Test Generation
• Title（参考訳）: テスト・ウォーズ:SBST, シンボリック・エクセプション, LLMに基づく単体テスト生成手法の比較研究
• Authors: Azat Abdullin, Pouria Derakhshanfar, Annibale Panichella,
• Abstract要約: 大規模言語モデル(LLM)は、自動テストを生成する新しい機会を開いた。 本稿では,SBSTのEvoSuite,シンボル実行のKex,LLMベースのテスト生成のTestSparkという3つのツールを用いた自動テスト生成手法について検討する。 以上の結果から,LSMベースのテスト生成は有望であるが,従来の手法には及ばないことがわかった。
• 参考スコア（独自算出の注目度）: 11.037212298533069
• License:
• Abstract: Generating tests automatically is a key and ongoing area of focus in software engineering research. The emergence of Large Language Models (LLMs) has opened up new opportunities, given their ability to perform a wide spectrum of tasks. However, the effectiveness of LLM-based approaches compared to traditional techniques such as search-based software testing (SBST) and symbolic execution remains uncertain. In this paper, we perform an extensive study of automatic test generation approaches based on three tools: EvoSuite for SBST, Kex for symbolic execution, and TestSpark for LLM-based test generation. We evaluate tools performance on the GitBug Java dataset and compare them using various execution-based and feature-based metrics. Our results show that while LLM-based test generation is promising, it falls behind traditional methods in terms of coverage. However, it significantly outperforms them in mutation scores, suggesting that LLMs provide a deeper semantic understanding of code. LLM-based approach also performed worse than SBST and symbolic execution-based approaches w.r.t. fault detection capabilities. Additionally, our feature-based analysis shows that all tools are primarily affected by the complexity and internal dependencies of the class under test (CUT), with LLM-based approaches being especially sensitive to the CUT size.
• Abstract（参考訳）: 自動テスト生成は、ソフトウェアエンジニアリング研究における重要かつ継続的な領域である。 大規模言語モデル(LLM)の出現は、幅広いタスクを実行する能力を考えると、新たな機会を開いた。 しかし、検索ベースソフトウェアテスト(SBST)やシンボル実行といった従来の手法と比較して、LLMベースのアプローチの有効性は依然として不明である。 本稿では,SBSTのEvoSuite,シンボル実行のKex,LLMベースのテスト生成のTestSparkという3つのツールを用いた自動テスト生成手法の広範な研究を行う。 ツールのパフォーマンスをGitBugのJavaデータセットで評価し、さまざまな実行ベースのメトリクスと機能ベースのメトリクスで比較します。 以上の結果から,LSMベースのテスト生成は有望であるが,従来の手法には及ばないことがわかった。 しかし、変異スコアではかなり優れており、LLMがより深い意味論的理解を提供することを示している。 LLMベースのアプローチは、SBSTやシンボリックな実行ベースのアプローチよりも性能が悪かった。 さらに、機能ベースの分析では、全てのツールがテスト対象クラス(CUT)の複雑さと内部依存性に影響を受けており、LLMベースのアプローチは特にCUTサイズに敏感である。

関連論文リスト

• SpecTool: A Benchmark for Characterizing Errors in Tool-Use LLMs [77.79172008184415]
  SpecToolは、ツール使用タスクのLLM出力のエラーパターンを特定するための新しいベンチマークである。 もっとも顕著なLCMでも,これらの誤りパターンが出力に現れることを示す。 SPECTOOLの分析と洞察を使って、エラー軽減戦略をガイドすることができる。
  論文  参考訳（メタデータ） (2024-11-20T18:56:22Z)
• HITS: High-coverage LLM-based Unit Test Generation via Method Slicing [37.43624865049592]
  大規模言語モデル(LLM)は、Javaプロジェクトの単体テストの生成においてうまく振る舞っている。 しかし、プロジェクト内の複雑な焦点メソッドをカバーするパフォーマンスは貧弱である。 そこで本研究では, 焦点メソッドをスライスに分解し, LLMに対してスライス毎にテストケーススライスを生成することを提案する。
  論文  参考訳（メタデータ） (2024-08-21T04:14:26Z)
• Large-scale, Independent and Comprehensive study of the power of LLMs for test case generation [11.056044348209483]
  クラスやメソッドなどのコードモジュールのバグを特定するのに不可欠なユニットテストは、時間的制約のため、開発者によって無視されることが多い。 GPTやMistralのようなLarge Language Models (LLM)は、テスト生成を含むソフトウェア工学における約束を示す。
  論文  参考訳（メタデータ） (2024-06-28T20:38:41Z)
• On the Evaluation of Large Language Models in Unit Test Generation [16.447000441006814]
  単体テストは、ソフトウェアコンポーネントの正しさを検証するために、ソフトウェア開発において不可欠な活動である。 LLM(Large Language Models)の出現は、ユニットテスト生成を自動化するための新しい方向性を提供する。
  論文  参考訳（メタデータ） (2024-06-26T08:57:03Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
  不確実性定量化は機械学習アプリケーションにおいて重要な要素である。 最新のUQベースラインの集合を実装した新しいベンチマークを導入する。 我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• Enhancing LLM-based Test Generation for Hard-to-Cover Branches via Program Analysis [8.31978033489419]
  難解な分岐に到達可能なテストを生成する新しい技術である TELPA を提案する。 27のオープンソースPythonプロジェクトに対する実験結果から,TELPAは最先端のSBSTやLLMベースの技術よりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-04-07T14:08:28Z)
• Code-Aware Prompting: A study of Coverage Guided Test Generation in Regression Setting using LLM [32.44432906540792]
  テスト生成における大規模言語モデルのコード認識促進戦略であるSymPromptを提案する。 SymPromptは、正しいテスト世代を5倍に増やし、CodeGen2の相対カバレッジを26%向上させる。 特に、GPT-4に適用すると、SymPromptはベースラインのプロンプト戦略に比べて2倍以上のカバレッジが向上する。
  論文  参考訳（メタデータ） (2024-01-31T18:21:49Z)
• T-Eval: Evaluating the Tool Utilization Capability of Large Language Models Step by Step [69.64348626180623]
  大規模言語モデル (LLM) は様々なNLPタスクにおいて顕著な性能を達成した。 LLMのツール活用能力の評価と分析方法はまだ未検討である。 ツール利用能力を段階的に評価するためにT-Evalを導入する。
  論文  参考訳（メタデータ） (2023-12-21T17:02:06Z)
• BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
  我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。 異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。 評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
  論文  参考訳（メタデータ） (2023-10-24T12:18:17Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。