論文の概要: Complex Agents, Shallow Tests: Demystifying and Enhancing Test Adequacy of Agent Harness in the Wild
- arxiv url: http://arxiv.org/abs/2610.04921v1
- Date: Sun, 04 Oct 2026 04:03:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 07:54:49.580071
- Title: Complex Agents, Shallow Tests: Demystifying and Enhancing Test Adequacy of Agent Harness in the Wild
- Title（参考訳）: 複雑なエージェント, 浅度試験: 野生におけるエージェントハーネスのテスト精度を低下させ, 向上させる
- Abstract要約: LLMベースのエージェントシステムは、新しいソフトウェアパラダイムとして登場しつつある。
現代のエージェントは通常、バックボーンLLMと、エージェント実行の運用ソフトウェア基盤として機能する周辺ハーネスで構成されている。
エージェントハーネスが複雑化するにつれて、エージェントは多様なハーネスの実装バグに悩まされ、信頼性の懸念が高まる。
- 参考スコア（独自算出の注目度）: 10.418671334929524
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM-based agentic systems are emerging as a new software paradigm. Modern agents are typically composed of backbone LLMs and a surrounding harness that serves as the operational software infrastructure for agent execution. As agent harnesses grow increasingly complex, agents suffer from diverse harness implementation bugs, raising substantial reliability concerns. In this work, we conduct the first empirical study to systematically investigate the test adequacy of harness in real-world agentic systems. Our analysis reveals that agent harness remains substantially undertested. In particular, LLM-dependent harness (LDH) code, despite its critical role in processing LLM outputs and governing agent behavior, receives limited testing attention, with less than half of its lines and branches covered by existing tests. Motivated by these findings, we further propose HarnessTester, the first harness-oriented test generation technique that incorporates explicit agent-harness contract support to construct contract-faithful test setups and extensively exercise LDH code. Our evaluation shows that HarnessTester substantially outperforms state-of-the-art general-purpose test generation techniques in achieving 75.95%/84.76% larger line/branch coverage gains and 69.89% larger mutation-score gains. Furthermore, HarnessTester detects 122 real-world harness bugs in widely-used agentic systems (e.g., OpenClaw), among which, 88 bugs are previously-unknown bugs and 69 bugs have been confirmed by agent developers. These results highlight the practical effectiveness of HarnessTester in improving test adequacy and assuring the reliability of real-world agentic systems.
- Abstract（参考訳）: LLMベースのエージェントシステムは、新しいソフトウェアパラダイムとして登場しつつある。
現代のエージェントは通常、バックボーンLLMと、エージェント実行の運用ソフトウェア基盤として機能する周辺ハーネスで構成されている。
エージェントハーネスが複雑化するにつれて、エージェントは多様なハーネスの実装バグに悩まされ、信頼性の懸念が高まる。
本研究では,実世界のエージェントシステムにおけるハーネスのテスト精度を体系的に調査する最初の実証的研究を行う。
分析の結果, エージェントハーネスは未試験のままであることがわかった。
特に、LDM依存型ハーネス(LDH)コードは、LCM出力の処理やエージェントの動作の制御において重要な役割を担っているが、既存のテストでカバーされているラインとブランチの半分以下で、限定的なテストの注意を受ける。
これらの知見に触発されたHarnessTesterは、明示的なエージェントハーネス契約を組み込んだ最初のハーネス指向テスト生成技術であり、契約に忠実なテストセットアップを構築し、LDHコードを広範囲に動作させる。
評価の結果、HarnessTesterは最先端の汎用テスト生成技術よりも75.95%/84.76%のライン/ブランチカバレッジ向上と69.89%の突然変異スコアアップを達成した。
さらにHarnessTesterは、広く使用されているエージェントシステム(例:OpenClaw)で122の現実世界のハーネスバグを検出し、88のバグは以前は知られていないバグであり、69のバグがエージェント開発者によって確認されている。
これらの結果は、実世界のエージェントシステムの信頼性を保証し、テスト精度を向上させるためのHarnessTesterの実用的効果を強調している。
関連論文リスト
- ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳（メタデータ） (2026-09-08T17:53:37Z) - Grounding AI Agents in Contracts: An Empirical Evaluation of Spec-Driven Test Generation [4.061618191574875]
仕様駆動テスト生成(Spec-Driven Test Generation)は、エージェントに対して、コード事前条件、事後条件、未定義の振る舞いについて-および明示的に文書化するように指示する。
この中間半形式仕様は、その後のテスト生成を導くための認知的足場として機能する。
論文 参考訳（メタデータ） (2026-08-17T22:36:12Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility [104.46861849039357]
エージェントシステムはドメイン間で急速に進歩しているが、その評価は断片化されている。
根本的問題は、オープンでエージェントに依存しないアセスメントインタフェースがないことである。
我々は、審査員が評価を行い、すべての参加者が標準化されたプロトコルを介して対話するエージェントエージェントアセスメント(AAA)を提唱する。
論文 参考訳（メタデータ） (2026-06-11T17:23:54Z) - Test vs Mutant: Adversarial LLM Agents for Robust Unit Test Generation [9.439427795905637]
LLM(Large Language Model)ベースの手法は、より可読性の高いテストを生成するが、しばしば低カバレッジとコンパイル性に悩まされる。
本稿では,LLMを用いたテストケース生成のための新しい逆フレームワークであるAdverTestを提案する。
提案手法は, 既存のLLM法よりも8.56%, EvoSuiteより63.30%, 故障検出率の向上を図っている。
論文 参考訳（メタデータ） (2026-02-08T22:34:30Z) - FIRE-Bench: Evaluating Agents on the Rediscovery of Scientific Insights [63.32178443510396]
FIRE-Bench (Full-cycle Insight Rediscovery Evaluation) は、確立された発見の再検討を通じてエージェントを評価するベンチマークである。
最強のエージェントでさえ、限られた再発見成功(50 F1)を達成し、実行中に高いばらつきを示し、実験的な設計、実行、エビデンスに基づく推論において繰り返し失敗モードを表示する。
論文 参考訳（メタデータ） (2026-02-02T23:21:13Z) - An Empirical Study of Testing Practices in Open Source AI Agent Frameworks and Agentic Applications [12.166151903597445]
ファンデーションモデル(FM)ベースのAIエージェントは、さまざまなドメインで急速に採用されている。
その固有の非決定主義と非再現性は、テストと品質保証の課題を引き起こす。
AIエージェントエコシステムにおけるテストプラクティスの大規模な実証的研究を初めて実施する。
論文 参考訳（メタデータ） (2025-09-23T16:02:09Z) - Identifying the Risks of LM Agents with an LM-Emulated Sandbox [68.26587052548287]
言語モデル(LM)エージェントとツールは、豊富な機能セットを可能にすると同時に、潜在的なリスクを増幅する。
これらのエージェントを高いコストでテストすることは、高いリスクと長い尾のリスクを見つけるのをますます困難にします。
ツール実行をエミュレートするためにLMを使用し、さまざまなツールやシナリオに対してLMエージェントのテストを可能にするフレームワークであるToolEmuを紹介します。
論文 参考訳（メタデータ） (2023-09-25T17:08:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。