論文の概要: Beyond Test Presence: Assessing the Quality and Robustness of Agent-Generated Tests in Open-Source Projects
- arxiv url: http://arxiv.org/abs/2607.12068v1
- Date: Mon, 13 Jul 2026 18:40:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:29.934839
- Title: Beyond Test Presence: Assessing the Quality and Robustness of Agent-Generated Tests in Open-Source Projects
- Title（参考訳）: テスト存在を超えて - オープンソースプロジェクトにおけるエージェント生成テストの品質とロバスト性を評価する
- Abstract要約: AIによるコーディングエージェントを継続的インテグレーション/継続的デリバリパイプラインに統合することは、ソフトウェア検証の実施方法を根本的に変えた。
これらのエージェントは、テスト生成の自動化に成功したが、現在の評価ベンチマークは、生成されたテストの本質的な品質よりも、パスレートに重点を置いている。
AIDevデータセットから得られた24,941の人間が作成したファイルと179,732のエージェント生成ファイルからなる204,673個のテストアーティファクトを比較した。
- 参考スコア（独自算出の注目度）: 2.9713899640333348
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: The integration of AI-powered coding agents into Continuous Integration/Continuous Delivery (CI/CD) pipelines has fundamentally altered how software verification is conducted. While these agents successfully automate the test generation, current evaluation benchmarks (e.g., SWE-bench) largely focus on pass-rates rather than the intrinsic quality of the generated tests. This raises the possibility of "stealth technical debt", in which test suites pass execution but do not offer comprehensive coverage or semantic value. We address this methodological gap through a large-scale, empirical comparison of 204,673 test artifacts which comprises of 24,941 human-authored files and 179,732 agent-generated files; sourced from the AIDev dataset. Using the Abstract Syntax Tree (AST) parsing with Python's naive ast module, we implemented a "white-box" static analysis framework to evaluate three quality dimensions: Assertion Strength (RQ1), Edge-Case Coverage (RQ2), and Flakiness Potential (RQ3). Our results present a nuanced inversion of traditional assumptions. AI agents performed better than humans in Edge-Case Coverage, with almost twice the variety of boundary checks (Variety Score: 0.62 vs 0.32) and a higher frequency of null-safety testing (13.40% vs. 8.3%), even though human developers had a slight advantage in Assertion Strength (88.1% strong assertions vs. 85.37% for agents). But this thoroughness comes at a price: due mostly to their reliance on file I/O and non-deterministic logic, agent-generated tests exhibited a higher risk of flakiness (Candidate Rate: 0.41 vs. 0.30). These findings suggest that while AI agents excel at rigorous boundary testing, they lack the "environmental awareness" needed to write stable, hermetic tests.
- Abstract（参考訳）: AIによるコーディングエージェントを継続的インテグレーション/継続的デリバリ(CI/CD)パイプラインに統合することは、ソフトウェア検証の実施方法を根本的に変えた。
これらのエージェントはテスト生成の自動化に成功したが、現在の評価ベンチマーク(例:SWE-bench)は、生成されたテストの本質的な品質よりもパスレートに重点を置いている。
これは、テストスイートが実行をパスするが、包括的なカバレッジやセマンティックな価値を提供しない"ステルス技術的負債"の可能性を高める。
AIDevデータセットから得られた24,941個の人為的なファイルと179,732個のエージェント生成ファイルからなる204,673個のテストアーティファクトの大規模かつ実証的な比較を通じて,この方法論的ギャップに対処する。
抽象構文木(AST)をPythonの単純アセットモジュールで解析し,3つの品質次元(Assertion strength, RQ1), Edge-Case Coverage(RQ2), Flakiness potential(RQ3)を評価するための"ホワイトボックス"静的解析フレームワークを実装した。
我々の結果は、従来の仮定の微妙な逆転を示す。
AIエージェントはEdge-Case Coverageにおいて人間よりも優れており、境界チェックの多様性のほぼ2倍(変数スコア:0.62対0.32)とNull-safetyテストの頻度(13.40%対8.3%)が高かった。
主にファイルI/Oと非決定論的論理に依存しているため、エージェント生成テストではフレキネスのリスクが高くなった(Candidate Rate: 0.41 vs. 0.30)。
これらの結果から,AIエージェントは厳密な境界試験に優れる一方で,安定なエルメティックテストを書くために必要な「環境意識」が欠如していることが示唆された。
関連論文リスト
- Grounding AI Agents in Contracts: An Empirical Evaluation of Spec-Driven Test Generation [4.061618191574875]
仕様駆動テスト生成(Spec-Driven Test Generation)は、エージェントに対して、コード事前条件、事後条件、未定義の振る舞いについて-および明示的に文書化するように指示する。
この中間半形式仕様は、その後のテスト生成を導くための認知的足場として機能する。
論文 参考訳（メタデータ） (2026-08-17T22:36:12Z) - Test Coverage Analysis of Agentic Pull Requests [13.366199469803922]
コーディングエージェントは、人間の介入を最小限に抑えた完全なプルリクエスト(PR)を送信します。
これらのエージェントがより普及するにつれて、彼らが生成したコードが適切にテストされることは、レグレッションの防止に不可欠である。
5つの符号化エージェントによって生成された AIDev データセット (532 Java と 4350 Python PR) から,4882 個のエージェント生成 PR を解析した。
論文 参考訳（メタデータ） (2026-07-20T15:26:30Z) - PBT-Bench: Benchmarking AI Agents on Property-Based Testing [29.035258104995204]
PBT-Benchは、40の実際のPythonライブラリにまたがる100のプロパティベースのテスト問題のベンチマークである。
各問題は1つ以上のセマンティックなバグ(総数365、平均3.65)を注入し、デフォルトのストラテジーなランダムな入力がほとんど起こらないように設計する。
PBT指導によるバグリコールは42.1%から83.4%の範囲で、オープンエンドベースラインでは31.4%から76.7%である。
論文 参考訳（メタデータ） (2026-05-13T18:01:05Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。
STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。
STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
論文 参考訳（メタデータ） (2026-04-02T01:13:40Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - TDAD: Test-Driven Agentic Development - Reducing Code Regressions in AI Coding Agents via Graph-Based Impact Analysis [0.0]
TDADはソースコードとテスト間の依存性マップを構築し、パッチをコミットする前に、エージェントはどのテストを検証して自己修正するかを知っている。
本稿では,AI符号化エージェントの事前変更影響分析を行うオープンソースツールであるTDADを提案する。
論文 参考訳（メタデータ） (2026-03-18T17:38:22Z) - AgentAssay: Token-Efficient Regression Testing for Non-Deterministic AI Agent Workflows [0.0]
AgentAssayは、非決定論的AIエージェントを回帰テストするための最初のトークン効率のよいフレームワークである。
厳密な統計保証を維持しながら78-100%のコスト削減を実現している。
論文 参考訳（メタデータ） (2026-03-03T04:59:25Z) - Impatient Users Confuse AI Agents: High-fidelity Simulations of Human Traits for Testing Agents [58.00130492861884]
TraitBasisは、AIエージェントを体系的にストレステストするための軽量でモデルに依存しない方法である。
TraitBasisは、ステアブルなユーザ特性に対応するアクティベーション空間で方向を学習する。
We observed on average a 2%-30% performance degradation on $tau$-Trait across frontier model。
論文 参考訳（メタデータ） (2025-10-06T05:03:57Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。