論文の概要: Beyond Rule-Based Mutation Testing: Test-Aware Mutant Generation Using Large Language Models

• arxiv url: http://arxiv.org/abs/2609.35841v1
• Date: Thu, 24 Sep 2026 17:27:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.858469
• Title: Beyond Rule-Based Mutation Testing: Test-Aware Mutant Generation Using Large Language Models
• Title（参考訳）: ルールベースの変異テストを超えて:大規模言語モデルを用いたテストアウェア変異生成
• Abstract要約: 本稿では,LLMが単一プロンプトで問題文,正準解,ベーステストを受け取るテストアウェア変異生成を提案する。 我々は,HumanEval と MBPP ベンチマークの5つの LLM に対して,このアプローチを評価した。 テストアウェアは87.7%(HumanEval)と79.1%(MBPP)の故障率を示す
• 参考スコア（独自算出の注目度）: 24.312896261115494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mutation testing evaluates test-suite adequacy by injecting synthetic faults into program code. However, traditional rule-based tools often generate large numbers of trivial, redundant, or equivalent mutants that limit their practical use for identifying gaps in a test suite. While recent large language model (LLM)-based approaches generate more realistic faults, most remain test-blind: The model sees only the source code and cannot reason about what existing tests already cover. We propose test-aware mutant generation, in which an LLM receives the problem statement, canonical solution and base tests in a single prompt, and must generate a nontrivial mutant that passes the base unit tests. We evaluate this approach across a set of five LLMs -- Gemini 3.1 Pro, Gemini 3 Flash, GPT 5.1 Codex Mini, GPT 4.1 Mini, Qwen3-32B -- on the HumanEval and MBPP benchmarks. The extended EvalPlus test suites serve as an automated oracle to verify whether surviving mutants represent genuine bugs. Test-aware prompting yields verified fault rates of 87.7% (HumanEval) and 79.1% (MBPP), meaning these mutants pass all base tests but are caught by the oracle. This vastly outperforms the matched test-blind prompting (which yields only 12.2% and 23.0%, respectively) and the traditional rule-based tool mutmut (4.4% and 5.7%). While fault subtlety (the fraction of extended tests a mutant fails) remains comparable across all three methods, test-awareness minimizes the computational cost per verified fault, compared to test-blind prompting. Exposing an LLM to existing unit tests shifts mutant generation from untargeted bug injection toward effective discovery of weaknesses in an existing test suite. Our work establishes a concrete foundation for future research to scale test-aware mutant generation to production-level environments.
• Abstract（参考訳）: 突然変異試験は、プログラムコードに合成欠陥を注入することで、テスト適合性を評価する。 しかしながら、従来のルールベースのツールは、テストスイート内のギャップを特定するための実用的使用を制限する、自明な、冗長な、あるいは同等のミュータントを大量に生成することが多い。 最近の大規模言語モデル(LLM)ベースのアプローチはより現実的な欠点を生み出すが、そのほとんどはテストの盲点のままである。 本稿では,LLMが単一プロンプトで問題文,正準解,ベーステストを受け取り,ベースユニットテストに合格する非自明なミュータントを生成するテスト対応ミュータント生成を提案する。 Gemini 3.1 Pro, Gemini 3 Flash, GPT 5.1 Codex Mini, GPT 4.1 Mini, Qwen3-32Bの5つのLCMをHumanEvalおよびMBPPベンチマーク上で評価した。 拡張されたEvalPlusテストスイートは、生き残ったミュータントが真のバグを表すかどうかを検証するための自動オラクルとして機能する。 テストアウェアは87.7%(HumanEval)と79.1%(MBPP)の故障率を示す。 これはマッチしたテストブラインドプロンプト(それぞれ12.2%と23.0%)と従来のルールベースのツールのミュート(4.4%と5.7%)を大きく上回っている。 欠陥の微妙さ(ミュータントが失敗する拡張テストの分数)は3つのメソッドすべてに匹敵するが、テスト認識性は、テスト盲のプロンプトに比べて、検証されたフォールト毎の計算コストを最小化する。 LLMを既存のユニットテストに公開することで、未ターゲットのバグインジェクションから既存のテストスイートの弱点の効果的な発見へとミュータント生成がシフトする。 本研究は,テストアウェア変異体を生産レベルの環境に拡張するための,将来の研究のための具体的な基盤を確立する。

関連論文リスト

• Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
  十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。 STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。 STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
  論文  参考訳（メタデータ） (2026-04-02T01:13:40Z)
• Code-A1: Adversarial Evolving of Code LLM and Test LLM via Reinforcement Learning [54.95476453942411]
  コード生成のための強化学習は、単体テストのパスレートから検証可能な報酬に依存する。 最近のセルフプレイ手法は、1つのモデルでコードとテスト生成を統合する。 Code-A1は、人間のアノテーションによるテストでトレーニングされたコード生成のパフォーマンスマッチングまたはモデルを超えることを実現する。
  論文  参考訳（メタデータ） (2026-03-16T17:58:13Z)
• Nexus: Execution-Grounded Multi-Agent Test Oracle Synthesis [57.40527331817245]
  非回帰テストにおけるテストオラクル生成は、ソフトウェア工学における長年の課題である。 この課題に対処するための新しいマルチエージェントフレームワークであるNexusを紹介します。
  論文  参考訳（メタデータ） (2025-10-30T12:20:25Z)
• YATE: The Role of Test Repair in LLM-Based Unit Test Generation [22.67442101368384]
  本稿では,ルールベースの静的解析と再試行を組み合わせることで,これらの不正なテストのいくつかを修復する手法を提案する。 このシンプルなアプローチであるYATEを、6つのオープンソースプロジェクトのセットで評価する。 YATEは22%のラインカバレッジ、20%のブランチカバレッジ、20%のミュータントを同等のコストで削減する。
  論文  参考訳（メタデータ） (2025-07-24T11:32:31Z)
• Studying the Impact of Early Test Termination Due to Assertion Failure on Code Coverage and Spectrum-based Fault Localization [48.22524837906857]
  本研究は,アサーション障害による早期検査終了に関する最初の実証的研究である。 6つのオープンソースプロジェクトの207バージョンを調査した。 以上の結果から,早期検査終了は,コードカバレッジとスペクトルに基づく障害局所化の有効性の両方を損なうことが示唆された。
  論文  参考訳（メタデータ） (2025-04-06T17:14:09Z)
• Mutation Testing via Iterative Large Language Model-Driven Scientific Debugging [10.334617290353192]
  我々は,Large Language Models (LLM) が変異体に対するテストを生成する上で,科学的計算が有効かどうかを評価する。 LLMは、より良い障害検出とカバレッジを持つテストを生成する上で、Pynguinを一貫して上回っている。 重要なことは、テストケースの反復的な改善が高品質なテストスイートを実現する上で重要であるということだ。
  論文  参考訳（メタデータ） (2025-03-11T08:47:13Z)
• Learning to Generate Unit Tests for Automated Debugging [52.63217175637201]
  ユニットテスト(UT)は、コードの正確性を評価するだけでなく、大きな言語モデル(LLM)にフィードバックを提供する上でも重要な役割を果たします。 提案するUTGenは,LLMに対して,予測出力とともにエラーを示す単体テスト入力を生成することを教える。 UTGen は他の LLM ベースラインを7.59% 上回っていることを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:51:43Z)
• TestART: Improving LLM-based Unit Testing via Co-evolution of Automated Generation and Repair Iteration [7.509927117191286]
  大規模言語モデル(LLM)は、単体テストケースを生成する際、顕著な能力を示した。 本研究では,新しい単体テスト生成法であるTestARTを提案する。 TestARTは、自動生成と修復の反復の共進化を通じて、LLMベースのユニットテストを改善している。
  論文  参考訳（メタデータ） (2024-08-06T10:52:41Z)
• Contextual Predictive Mutation Testing [17.832774161583036]
  MutationBERTは、ソースメソッドの突然変異とテストメソッドを同時にエンコードする予測突然変異テストのアプローチである。 精度が高いため、MutationBERTは、ライブミュータントをチェック・検証する以前のアプローチで費やされた時間の33%を節約する。 我々は、入力表現と、テストマトリックスレベルからテストスイートレベルまで予測を引き上げるためのアグリゲーションアプローチを検証し、同様の性能改善を見出した。
  論文  参考訳（メタデータ） (2023-09-05T17:00:15Z)
• Effective Test Generation Using Pre-trained Large Language Models and Mutation Testing [13.743062498008555]
  大規模言語モデル(LLM)が生成するテストケースの有効性を,バグの発見の観点から改善するための MuTAP を導入する。 MuTAPは、プログラム・アンダー・テスト(PUT)の自然言語記述がない場合に有効なテストケースを生成することができる 提案手法は, 最大28%の人書きコードスニペットを検出できることを示す。
  論文  参考訳（メタデータ） (2023-08-31T08:48:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。