論文の概要: Testing with Coding Agents: A Large-Scale Comparison of Agent-Supported and Human-Authored Pull Requests

• arxiv url: http://arxiv.org/abs/2610.35297v1
• Date: Mon, 26 Oct 2026 12:03:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.914038
• Title: Testing with Coding Agents: A Large-Scale Comparison of Agent-Supported and Human-Authored Pull Requests
• Title（参考訳）: コーディングエージェントによるテスト: エージェント対応型と人間認証型プルリクエストの大規模比較
• Abstract要約: 我々は、開発者とコーディングエージェントが、検出可能なエージェントの関与なしにプルリクエストと協調するプルリクエストを比較する。 私たちは、2025年1月から2026年4月にマージされた114,134のプルリクエストを、391のJavaリポジトリで分析しました。
• 参考スコア（独自算出の注目度）: 2.704265573446369
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Context. Coding agents increasingly contribute tests through pull requests that developers then maintain, so how testing work is divided affects long-term maintainability. Objective. We compare pull requests in which developers and coding agents collaborate (agent-supported) with pull requests without detectable agent involvement (human-authored) along five dimensions: the frequency and extent of test changes, their type and context, test structure, test smells, and code coverage. Method. We analyze 114,134 pull requests merged between January 2025 and April 2026 in 391 Java repositories, identifying five coding agents through pull-request-level and commit-level signals. Since agent adoption varies across projects, we compare the two groups within repositories with mixed-effects models that control for change size. Results. Pooled across repositories, both groups change test code almost equally often; within repositories, the odds that an agent-supported pull request does so are 1.65 times higher. Agent-supported pull requests add tests more often (odds ratios 1.50-1.58) and modify (0.70-0.76) and delete (0.51-0.77) them less often. We detect no difference in most structural characteristics of the tests they add, which more often have an oracle, nor, in the 95 repositories we could build, in the coverage of their production changes; in test-only pull requests, however, their tests cover less of the code they exercise. Differences in test smells are borderline and not reproduced for individual test methods. Conclusions. Agent participation is associated with a different mix of testing work, which pooled comparisons across projects can hide or reverse; its relationship with test quality remains uncertain.
• Abstract（参考訳）: コンテキスト。 コーディングエージェントは、開発者が次にメンテナンスするプルリクエストを通じてテストにコントリビュートすることが多いため、テスト作業の分割方法が長期的な保守性に影響を与える。 目的。 我々は、開発者とコーディングエージェントが、検出可能なエージェントの関与なしにプルリクエストと(エージェントがサポートしている)協調するプルリクエストを、テスト変更の頻度と範囲、タイプとコンテキスト、テスト構造、テスト臭い、コードカバレッジの5つの次元に沿って比較する。 方法。 2025年1月から2026年4月までに391のJavaリポジトリにマージされた114,134件のプルリクエストを分析し、プル要求レベルとコミットレベルのシグナルを通じて5つのコーディングエージェントを特定しました。 エージェントの採用はプロジェクトによって異なるため、リポジトリ内の2つのグループと、変更サイズを制御する混合効果モデルを比較します。 結果。 リポジトリ間でポーリングされた両グループは、ほぼ同じ頻度でテストコードを変更する。リポジトリ内では、エージェントがサポートするプルリクエストが1.65倍高い確率がある。 エージェントサポートされたプルリクエストは、より頻繁にテストを追加し(odds ratio 1.50-1.58)、修正し(0.70-0.76)、削除する(0.51-0.77)。 それらが追加するテストのほとんどの構造的特性に違いは見つからないが、より多くはオラクルを持っておらず、ビルド可能な95のリポジトリでも、本番環境の変更をカバーしている。 試験臭の差は境界線であり、個々の試験方法では再現されない。 結論。 エージェントの参加は、異なるテスト作業の混合に関連している。プロジェクト間で比較をプールすることは、隠れたり逆らったりできる。

関連論文リスト

• TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
  大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
  論文  参考訳（メタデータ） (2026-10-07T07:58:04Z)
• ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
  実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。 ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。 テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
  論文  参考訳（メタデータ） (2026-09-08T17:53:37Z)
• Grounding AI Agents in Contracts: An Empirical Evaluation of Spec-Driven Test Generation [4.061618191574875]
  仕様駆動テスト生成(Spec-Driven Test Generation)は、エージェントに対して、コード事前条件、事後条件、未定義の振る舞いについて-および明示的に文書化するように指示する。 この中間半形式仕様は、その後のテスト生成を導くための認知的足場として機能する。
  論文  参考訳（メタデータ） (2026-08-17T22:36:12Z)
• Test Coverage Analysis of Agentic Pull Requests [13.366199469803922]
  コーディングエージェントは、人間の介入を最小限に抑えた完全なプルリクエスト(PR)を送信します。 これらのエージェントがより普及するにつれて、彼らが生成したコードが適切にテストされることは、レグレッションの防止に不可欠である。 5つの符号化エージェントによって生成された AIDev データセット (532 Java と 4350 Python PR) から,4882 個のエージェント生成 PR を解析した。
  論文  参考訳（メタデータ） (2026-07-20T15:26:30Z)
• DiffTestGen: Change-Directed LLM-Based Testing for Exposing Behavioral Differences [12.692695524978332]
  本稿では,LLMに基づく差分テスト手法であるDiffTestGenを提案する。 DiffTestGenは、PRの78.2%で行動の違いを露呈し、平均で90.7%のユニオンカバレッジを達成した。 DiffTestGenとTestoraレグレッション検出器を統合することで、既存の最良のアプローチで見逃された回帰バグを検出するために、識別された振る舞いの違いが利用できることを示す。
  論文  参考訳（メタデータ） (2026-07-17T14:57:59Z)
• AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility [104.46861849039357]
  エージェントシステムはドメイン間で急速に進歩しているが、その評価は断片化されている。 根本的問題は、オープンでエージェントに依存しないアセスメントインタフェースがないことである。 我々は、審査員が評価を行い、すべての参加者が標準化されたプロトコルを介して対話するエージェントエージェントアセスメント(AAA)を提唱する。
  論文  参考訳（メタデータ） (2026-06-11T17:23:54Z)
• ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
  ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。 それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。 評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
  論文  参考訳（メタデータ） (2026-04-05T17:55:23Z)
• SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
  我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。 我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。 11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
  論文  参考訳（メタデータ） (2026-03-25T19:26:44Z)
• Are Coding Agents Generating Over-Mocked Tests? An Empirical Study [2.3625700564650347]
  コーディングエージェントは最近、ソフトウェア開発に大きく採用されている。 本稿では,実世界のソフトウェアシステムのエージェント生成テストにおけるモックの存在について検討する。 全体として、コーディングエージェントは、非コーディングエージェントよりもテストを変更し、テストにモックを追加する傾向にある。
  論文  参考訳（メタデータ） (2026-01-30T23:55:25Z)
• Do Autonomous Agents Contribute Test Code? A Study of Tests in Agentic Pull Requests [1.2043574473965317]
  AIDevデータセットを用いたエージェントプルリクエストにおけるテストインクルージョンに関する実証的研究を行った。 テストを含むPRは時間とともに一般的になり、より大きくなり、完成までに時間がかかる傾向にある。 また、テストPRにおけるテスト採用とテストコードと運用コードのバランスの両方において、エージェント間のばらつきも観察します。
  論文  参考訳（メタデータ） (2026-01-07T03:52:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。