論文の概要: Beyond Coverage and Mutation: A Blind-Spot Analysis of LLM-Generated Unit Tests

• arxiv url: http://arxiv.org/abs/2610.32548v1
• Date: Fri, 23 Oct 2026 12:29:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.514445
• Title: Beyond Coverage and Mutation: A Blind-Spot Analysis of LLM-Generated Unit Tests
• Title（参考訳）: カバーと変異を超えて: LLM生成単体テストのブラインド・スポット解析
• Abstract要約: BlindSpotEvalは、Arrange-Act-Assertパターンに準拠した義務ベースの評価フレームワークである。 ObligBenchは895の複素関数と700の低複雑さ関数からなる、複雑性を階層化したJavaベンチマークである。
• 参考スコア（独自算出の注目度）: 4.647715092056701
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing evaluation protocols for unit tests rely on aggregate metrics such as branch coverage and mutation score. These metrics quantify the extent to which a test suite exercises program behavior, but do not identify the behavioral obligations it systematically leaves unchecked. We propose BlindSpotEval, an obligation-based evaluation framework aligned with the Arrange-Act-Assert pattern. The framework comprises three metrics, Boundary-Value Adequacy, Control-Flow Adequacy, and Oracle Strength, complemented by an assessment of execution reliability. We also introduce ObligBench, a complexity-stratified Java benchmark comprising 895 complex and 700 low-complexity functions with source-side obligation annotations. Evaluating 14,320 tests from four LLMs under four prompting strategies reveals systematic blind spots. Incorrect assertions account for 15.6% of test failures, illustrating that coverage alone does not establish oracle correctness. Among executable tests, coverage of null, negative, and empty arguments reaches only 34.8%, 23.8%, and 38.8%, compared with average coverage above 93% for booleans. Catch blocks and default groups have Control-Flow Adequacy scores of only 0.100 and 0.312. Across both dimensions, LLM-generated tests exhibit the happy-path bias observed in human-written tests, concentrating on normal inputs and expected flows while leaving unusual values and exceptional paths unchecked. Oracle strength is high on average but uneven, with weaker assertions for object return property values and exceptions. These blind spots also occur in low-complexity functions, suggesting that code complexity alone does not explain them. BlindSpotEval provides construct-level adequacy profiles that identify under-tested obligation types and can guide targeted improvements beyond those supported by aggregate scores alone.
• Abstract（参考訳）: 既存の単体テストの評価プロトコルは、ブランチカバレッジや突然変異スコアなどの集約メトリクスに依存している。 これらのメトリクスは、テストスイートがプログラムの振る舞いを実行する程度を定量化しますが、体系的にチェックされていない振る舞い義務を特定しません。 Arrange-Act-Assertパターンに沿った義務ベースの評価フレームワークであるBlindSpotEvalを提案する。 このフレームワークは、3つのメトリクス、境界値の妥当性、制御フローの妥当性、Oracleの強度で構成され、実行信頼性の評価によって補完される。 また、ObligBenchも導入しています。ObligBenchは895の複雑な関数と700の低複雑さ関数と、ソースサイドの義務アノテーションで構成された複雑なJavaベンチマークです。 4つのプロンプト戦略の下で14,320のテストを評価すると、系統的な盲点が明らかになる。 不正確な主張は、テスト失敗の15.6%を占めており、カバレッジだけではオラクルの正しさを確立していない。 実行可能テストでは、ヌル、負、空の引数のカバレッジは34.8%、23.8%、38.8%に過ぎず、ブールーンの平均カバレッジは93%を超えている。 キャッチブロックとデフォルトのグループは、コントロールフローのスコアが 0.100 と 0.312 しか持たない。 両次元にわたって、LLM生成テストは人間の手書きテストで観察される幸福パスバイアスを示し、通常の入力と期待フローに集中し、異常な値と異常な経路を未確認のまま残している。 Oracleの強みは平均的には高いが不均一であり、オブジェクト戻りプロパティ値と例外に対するより弱いアサーションがある。 これらの盲点は低複雑さ関数でも発生し、コードの複雑さだけでは説明できないことを示唆している。 BlindSpotEvalは、テストされていない義務タイプを特定し、アグリゲーションスコアだけでサポートされているもの以上のターゲット改善をガイドする、構成レベルの妥当性プロファイルを提供する。

関連論文リスト

• Specification-Based Testing of Large Language Models [3.4298729855744026]
  LEST(LLM Evaluation through Specification-driven Testing)は、ブラックボックステストのための仕様として、文書化された安全性クレームを扱うフレームワークである。 LESTでは、各クレームがテストのプロンプトを判断し、Refuse-to-Complyトランジットがそれに対するエビデンスとしてカウントされるかどうかを判断する。 The system card of Claude Opus 4.8 and GPT-5.5 with 97 seed prompts from SORRY-Bench across Mental Health and Self-Harm, Harmful and Violent Content, and Fairness and Bias。
  論文  参考訳（メタデータ） (2026-10-10T01:17:21Z)
• TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
  大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
  論文  参考訳（メタデータ） (2026-10-07T07:58:04Z)
• Auditing and Decomposing Feedback-Driven Evolution in LLM Test Generation under the Oracle Problem [14.44743150931186]
  無効または不特定な入力は、急激な障害検出と明らかな進化的利益を生み出す。 我々は、142の開発タスク、114のロックされた外部タスク、128のホールドアウトタスクを使用して、フィードバック駆動のテスト生成において、この障害モードを監査する。 自己進化型テストジェネレータの評価において,検証対象のアーティファクト,インタラクションの足場,グラウンドドフィードバックを分離するオーディエンス・アンド・プレースボプロトコルを提案する。
  論文  参考訳（メタデータ） (2026-08-20T04:29:35Z)
• Claim-Level Reliability Assessment for Efficient Test-Time Reasoning [9.168249719115845]
  テストタイムスケーリングの原則としてクレームレベルのファルシフィケーションを提案し、Claim-Level Reliability Assessment (CLR) を通じてそれをインスタンス化する。 CLRは、追加のソリューションサンプリングからターゲット検証まで、テスト時間計算を再配置する。
  論文  参考訳（メタデータ） (2026-08-12T12:33:05Z)
• Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
  十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。 STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。 STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
  論文  参考訳（メタデータ） (2026-04-02T01:13:40Z)
• Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs [51.56484100374058]
  ガードレールの設計には、敵の堅牢性、良質なタスクのユーザビリティ、応答レイテンシの明確なトレードオフが伴う。 決定論的パターンフィルタ,構造検証,コンテキストサンドボックス,セッションレベルの動作チェックを組み合わせた,ドメイン固有のマルチレイヤセーフガードパイプラインの評価を行った。 NeMoは16.22パーセントのFPRと1.5パーセントのレイテンシで0パーセントのバイパスに達し、Prompt Guardは38.48パーセントのFPRと3.60パーセントのバイパスを実現している。
  論文  参考訳（メタデータ） (2026-03-29T18:52:01Z)
• Can Adversarial Code Comments Fool AI Security Reviewers -- Large-Scale Empirical Study of Comment-Based Attacks and Defenses Against LLM Code Analysis [0.0]
  敵対的なコメントは、検出精度に小さな、統計的に重要でない効果をもたらす。 複雑な敵戦略は単純な操作的コメントに勝るものではない。 コメントストリッピングは、有用なコンテキストを削除することで、より弱いモデルの検出を減らす。
  論文  参考訳（メタデータ） (2026-02-18T00:34:17Z)
• Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
  既存のベンチマークは、主に質問レベルで質問をキュレートする。 ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
  論文  参考訳（メタデータ） (2025-12-31T13:55:54Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• A Framework for Creating Non-Regressive Test Cases via Branch Consistency Analysis Driven by Descriptions [9.141981611891715]
  DISTINCT は Description-guided, branch-consistency analysis framework である。 LLM(Large Language Model)ベースのジェネレータを障害対応テストジェネレータに変換する。 コンパイル成功率(CSR)が14.64%、通過率(PR)が6.66%の平均的な改善を実現している。
  論文  参考訳（メタデータ） (2025-06-09T07:05:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。