論文の概要: Test Coverage Analysis of Agentic Pull Requests
- arxiv url: http://arxiv.org/abs/2607.18057v1
- Date: Mon, 20 Jul 2026 15:26:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.67807
- Title: Test Coverage Analysis of Agentic Pull Requests
- Title（参考訳）: エージェントプル要求のテストカバレッジ解析
- Abstract要約: コーディングエージェントは、人間の介入を最小限に抑えた完全なプルリクエスト(PR)を送信します。
これらのエージェントがより普及するにつれて、彼らが生成したコードが適切にテストされることは、レグレッションの防止に不可欠である。
5つの符号化エージェントによって生成された AIDev データセット (532 Java と 4350 Python PR) から,4882 個のエージェント生成 PR を解析した。
- 参考スコア（独自算出の注目度）: 13.366199469803922
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI coding agents increasingly submit complete pull requests (PRs) with minimal human intervention, shifting software development from AI-assisted to autonomous workflows. As these agents become more prevalent, ensuring the code they generate is adequately tested, by existing tests or by tests the agents write, is critical to preventing regressions, yet little is known about testing in agentic PRs. To address this gap, we analyze 4882 agent-generated PRs from the AIDev dataset (532 Java and 4350 Python PRs) produced by five coding agents. We study (i) how often agents include test changes and (ii) how well covered are code changes by existing and agent-written tests. Agents include test changes in only 49.6% of PRs that change code under test files. Existing tests provide an incomplete safety net: they cover 61.5% of agents' changed executable lines in Java and only 27.0% in Python, where 64.8% of PRs have no changed line executed by any existing test. Agent-written tests improve coverage over existing tests, but only in a minority of PRs: 35.9% of Java and 22.5% of Python Code + Tests PRs show a coverage gain. Across both languages, error-handling constructs (e.g., try and catch blocks) are the most consistently under-tested, with miss rates reaching 86.0% in Java and 81.0% in Python. These findings motivate coverage-aware development practices, coverage feedback loops for coding agents, and evaluation benchmarks that measure test quality to better help agents reliably test their own code.
- Abstract（参考訳）: AIコーディングエージェントは、人間の介入を最小限に抑えた完全なプルリクエスト(PR)をますます提出し、ソフトウェア開発をAI支援から自律的なワークフローに移行する。
これらのエージェントがより普及するにつれて、それらが生成するコードが適切にテストされ、既存のテストやエージェントが記述するテストによって、回帰を防ぐために重要であるが、エージェントPRのテストについてはほとんど知られていない。
このギャップに対処するため、5つのコーディングエージェントが生成するAIDevデータセット(532 Javaと4350 Python PR)から4882のエージェント生成PRを分析した。
研究
i) エージェントがテストの変更を含める頻度
(ii)既存のテストとエージェントによるテストによるコードの変更がどの程度うまくカバーされているか。
エージェントには、テストファイルの下でコードを変更するPRの49.6%だけのテスト変更が含まれている。
既存のテストは不完全なセーフティネットを提供しており、エージェントがJavaで変更した実行可能ラインの61.5%とPythonで27.0%しかカバーしていない。
エージェント記述テストは既存のテストのカバレッジを改善するが、少数のPRでのみ改善されている。Javaの35.9%とPython Code + Tests PRの22.5%はカバレッジ向上を示している。
どちらの言語でも、エラー処理の構造(例えば、試行ブロックとキャッチブロック)が最も一貫して未テストであり、ミスレートはJavaで86.0%、Pythonで81.0%に達する。
これらの発見は、カバレッジ対応の開発プラクティス、コーディングエージェントのカバレッジフィードバックループ、テスト品質を測定するベンチマークを動機付け、エージェントが自身のコードを確実にテストするのに役立つ。
関連論文リスト
- ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳（メタデータ） (2026-09-08T17:53:37Z) - Beyond Test Presence: Assessing the Quality and Robustness of Agent-Generated Tests in Open-Source Projects [2.9713899640333348]
AIによるコーディングエージェントを継続的インテグレーション/継続的デリバリパイプラインに統合することは、ソフトウェア検証の実施方法を根本的に変えた。
これらのエージェントは、テスト生成の自動化に成功したが、現在の評価ベンチマークは、生成されたテストの本質的な品質よりも、パスレートに重点を置いている。
AIDevデータセットから得られた24,941の人間が作成したファイルと179,732のエージェント生成ファイルからなる204,673個のテストアーティファクトを比較した。
論文 参考訳（メタデータ） (2026-07-13T18:40:24Z) - StaminaBench: Stress-Testing Coding Agents over 100 Interaction Turns [45.43677974796221]
コーディングエージェントのスタミナを測定するベンチマークであるStaminaBenchを紹介する。
一般的な分数タスクのメトリクスとは異なり、これはセッションが数十回、数百回実行される実際のバイブコーディングと一致します。
論文 参考訳（メタデータ） (2026-06-17T21:36:09Z) - Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。
我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。
LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
論文 参考訳（メタデータ） (2026-05-07T13:52:59Z) - SWE-chat: Coding Agent Interactions From Real Users in the Wild [70.18158706281724]
SWE-chatは、オープンソースの開発者から収集された実際のコーディングエージェントセッションの大規模なデータセットである。
現在、データセットには6000のセッションが含まれており、63,000以上のユーザプロンプトと355,000のエージェントツールコールが含まれている。
論文 参考訳（メタデータ） (2026-04-22T17:08:19Z) - Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。
STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。
STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
論文 参考訳（メタデータ） (2026-04-02T01:13:40Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - TDAD: Test-Driven Agentic Development - Reducing Code Regressions in AI Coding Agents via Graph-Based Impact Analysis [0.0]
TDADはソースコードとテスト間の依存性マップを構築し、パッチをコミットする前に、エージェントはどのテストを検証して自己修正するかを知っている。
本稿では,AI符号化エージェントの事前変更影響分析を行うオープンソースツールであるTDADを提案する。
論文 参考訳（メタデータ） (2026-03-18T17:38:22Z) - Are Coding Agents Generating Over-Mocked Tests? An Empirical Study [2.3625700564650347]
コーディングエージェントは最近、ソフトウェア開発に大きく採用されている。
本稿では,実世界のソフトウェアシステムのエージェント生成テストにおけるモックの存在について検討する。
全体として、コーディングエージェントは、非コーディングエージェントよりもテストを変更し、テストにモックを追加する傾向にある。
論文 参考訳（メタデータ） (2026-01-30T23:55:25Z) - Change And Cover: Last-Mile, Pull Request-Based Regression Test Augmentation [20.31612139450269]
プルリクエスト(PR)をテストすることは、ソフトウェアの品質を維持する上で重要です。
いくつかのPR修正された路線は未試験のままであり、「ラストマイル」回帰テストのギャップを残している。
このギャップに対処する LLM ベースのテスト拡張技術である ChaCo を提案する。
論文 参考訳（メタデータ） (2026-01-16T02:08:16Z) - Agentic Property-Based Testing: Finding Bugs Across the Python Ecosystem [34.68658860352019]
プロパティベースのテスト(PBT)は、ランダム化テストフレームワークとして実装される軽量な形式的手法である。
本研究では,Pythonモジュールを解析し,コードやドキュメントから関数固有およびクロスファンクショナルプロパティを推論し,PBTを合成・実行するLLMベースのエージェントを実演する。
論文 参考訳（メタデータ） (2025-10-10T22:43:54Z) - RedCode: Risky Code Execution and Generation Benchmark for Code Agents [50.81206098588923]
RedCodeはリスクの高いコード実行と生成のためのベンチマークである。
RedCode-Execは、危険なコード実行につながる可能性のある、挑戦的なプロンプトを提供する。
RedCode-Genは160のプロンプトに関数シグネチャとドキュメントを入力として提供し、コードエージェントが命令に従うかどうかを評価する。
論文 参考訳（メタデータ） (2024-11-12T13:30:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。