論文の概要: Covered Is Not Checked: Which Branch Outcomes Would Your Tests Notice?

• arxiv url: http://arxiv.org/abs/2610.33708v1
• Date: Sat, 24 Oct 2026 14:45:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.425586
• Title: Covered Is Not Checked: Which Branch Outcomes Would Your Tests Notice?
• Title（参考訳）: どのブランチの結果が、あなたのテストに通知されるのか?
• Abstract要約: コードカバレッジは、テストが障害を検出するかどうかではなく、どのテストを実行するかを報告する。 チェックされたカバレッジは、動的なスライシングを通じてテストのオーラクルに影響を与えるコードをトレースすることで、このギャップに対処する。 カバーされた動作がチェックされているかどうかを直接検査するスライシングフリーのアプローチであるVeritasを提案する。
• 参考スコア（独自算出の注目度）: 4.974612243038232
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code coverage reports what tests execute, not whether tests detect faults. Checked coverage addresses this gap by tracing code that influences test oracles through dynamic slicing, but slicing is costly, and Java slicers struggle with modern language features and complex programs. We present Veritas, a slicing-free approach that directly tests whether covered behavior is checked. We target object branch coverage (OBC), a compiled-code structural criterion with fault-detection effectiveness comparable to source-level Modified Condition/Decision Coverage (MC/DC), which is required at the highest assurance level of DO-178C. For each covered object-branch outcome, Veritas forces the opposite outcome and credits checking only when the change is executed, a previously passing test fails, and the failure is attributable to that outcome. Thus, Veritas distinguishes execution from demonstrated fault detection without dynamic dependence analysis. We evaluated Veritas on eleven open-source Java projects containing 51,382 object-branch outcomes. We find that 18% of covered outcomes can be changed without failing any test, exposing weaknesses hidden by coverage. Among surviving mutants, about half are never activated by test inputs, while the rest are activated but undetected. Compared with slicing-based checked coverage, Veritas identifies 4,763 cases where tests detect a change that slicing does not credit, while 19% of cases credited by slicing produce no detected failure when changed. Weakening assertions increases this gap and reduces fault detection in every project. Moreover, code locations controlled by weakly checked outcomes are 12.4--54.7 percentage points more likely to have an undetected independent fault than locations controlled by checked outcomes. These findings show that directly testing outcomes provides actionable evidence of oracle effectiveness beyond structural coverage.
• Abstract（参考訳）: コードカバレッジは、テストが障害を検出するかどうかではなく、どのテストを実行するかを報告する。 Checkedカバレッジは、動的スライシングを通じてテストのオーラクルに影響を与えるコードをトレースすることで、このギャップに対処するが、スライシングはコストがかかり、Javaスライサーはモダンな言語機能や複雑なプログラムに苦労する。 カバーされた動作がチェックされているかどうかを直接検査するスライシングフリーのアプローチであるVeritasを提案する。 我々は、ソースレベルの修正条件/決定カバレッジ(MC/DC)に匹敵する、障害検出効率のコンパイルコード構造基準であるオブジェクトブランチカバレッジ(OBC)を、DO-178Cの最高保証レベルで要求する。 カバーされたオブジェクトブランチの結果に対して、Veritasは反対の結果とクレジットを強制し、変更の実行時にのみチェックし、以前パスしたテストが失敗し、失敗はその結果に起因する。 したがって、Veritasは動的依存解析を使わずに、実行と障害検出の実証を区別する。 51,382のオブジェクトブランチ結果を含む11のオープンソースJavaプロジェクトでVeritasを評価した。 カバーされた結果の18%がテストに失敗することなく変更可能であり、カバレッジによって隠された弱点が明らかになる。 生き残った変異体のうち、約半数はテスト入力によって活性化されないが、残りは活性化されるが検出されない。 スライシングベースのチェックカバレッジと比較して、Veritas氏は、スライシングが信用できない変更を検出する4,763のケースを特定している。 アサーションを弱めることでこのギャップが増加し、すべてのプロジェクトの障害検出が削減される。 さらに、弱いチェック結果によって制御されるコード位置は、チェック結果によって制御される位置よりも、検出されていない独立した障害を持つ可能性が12.4～54.7ポイント高い。 これらの結果から, 直接検査の結果は, 構造的範囲を超えて, オラクルの有効性を示す有効な証拠となることが示唆された。

関連論文リスト

• Beyond Coverage and Mutation: A Blind-Spot Analysis of LLM-Generated Unit Tests [4.647715092056701]
  BlindSpotEvalは、Arrange-Act-Assertパターンに準拠した義務ベースの評価フレームワークである。 ObligBenchは895の複素関数と700の低複雑さ関数からなる、複雑性を階層化したJavaベンチマークである。
  論文  参考訳（メタデータ） (2026-10-23T12:29:53Z)
• TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
  大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
  論文  参考訳（メタデータ） (2026-10-07T07:58:04Z)
• SINGED: Correct Outputs Do Not Certify Safe Execution in LLM Agents [23.280592496381256]
  ツールを使用する言語モデルエージェントは、サードパーティのアーティファクトを選択して実行する。 要求された出力に対して良質な代替品と一致するが、タスク契約によって禁止される効果を付加する実装について検討する。 SINGEDはランク、エビデンス、選択に敏感な結果と実行のギャップを露呈する。
  論文  参考訳（メタデータ） (2026-09-27T06:37:04Z)
• Beyond Coverage and Kill Scores: Empirically Measuring Test Suite Behavioural Gaps [4.434030666628529]
  従来のテスト適合度メトリクスは、期待される振る舞いに準拠するかどうかではなく、システムの実装を測定する。 私たちは、コードが何をするのか、実際に何をするのかのギャップを調査するために、概念実証の自動化アプローチを導入します。 8,922のメソッドからなる10の人気のあるオープンソースJavaライブラリに対して,93.1%の精度で20,729の動作を抽出し,アプローチを評価した。
  論文  参考訳（メタデータ） (2026-06-09T04:46:32Z)
• What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
  視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。 SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
  論文  参考訳（メタデータ） (2026-06-01T03:18:01Z)
• A Paired Testing Protocol for Batch-Conditioned Refusal Robustness in LLM Serving [0.0]
  言語モデルの安全性評価は、サービス構成を固定されたバックグラウンドインフラストラクチャとして扱うことが多い。 我々は4つのアーティファクト支援研究をペアテストプロトコルに合成する。 標準vLLMは、現在のスコアフリップ候補に対して22/55ラベルのフリップを再生し、VLLM_BATCH_INIANT=1を有効にすることで、同じテストを0/55フリップに削減する。
  論文  参考訳（メタデータ） (2026-05-26T23:22:55Z)
• Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
  十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。 STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。 STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
  論文  参考訳（メタデータ） (2026-04-02T01:13:40Z)
• State Field Coverage: A Metric for Oracle Quality [45.805303746415944]
  オラクルの品質を評価するための新しい指標であるステートフィールドカバレッジを導入する。 私たちのメトリクスの主な直感は、より高い状態のフィールドカバレッジを持つオラクルは、分析中のソフトウェアの欠陥を検出する傾向にあるということです。 静的に計算されているため、メトリックは効率的であり、テストオラクルを改善するための直接的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-10-03T14:57:37Z)
• Enhancing NeuroEvolution-Based Game Testing: A Branch Coverage Approach for Scratch Programs [0.0]
  本稿では,自動ゲームテストにおけるテスト効率を向上させるために,分岐カバレッジに基づくフィットネス機能を提案する。 神経進化過程を導いて枝探索の最大化を図り、制御依存の枝を優先する枝適合機能を統合することでNEATESTを拡張した。
  論文  参考訳（メタデータ） (2025-07-12T22:36:47Z)
• Studying the Impact of Early Test Termination Due to Assertion Failure on Code Coverage and Spectrum-based Fault Localization [48.22524837906857]
  本研究は,アサーション障害による早期検査終了に関する最初の実証的研究である。 6つのオープンソースプロジェクトの207バージョンを調査した。 以上の結果から,早期検査終了は,コードカバレッジとスペクトルに基づく障害局所化の有効性の両方を損なうことが示唆された。
  論文  参考訳（メタデータ） (2025-04-06T17:14:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。