論文の概要: Automated structural testing of LLM-based agents: methods, framework, and case studies

• arxiv url: http://arxiv.org/abs/2601.18827v1
• Date: Sun, 25 Jan 2026 11:52:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:50.994037
• Title: Automated structural testing of LLM-based agents: methods, framework, and case studies
• Title（参考訳）: LLMをベースとしたエージェントの自動構造試験:方法、フレームワーク、およびケーススタディ
• Authors: Jens Kohl, Otto Kruse, Youssef Mostafa, Andre Luckow, Karsten Schroer, Thomas Riedl, Ryan French, David Katz, Manuel P. Luitz, Tanrajbir Takher, Ken E. Friedl, Céline Laurent-Winter,
• Abstract要約: LLMベースのエージェントは、様々な領域で急速に採用されている。 現在のテストアプローチは、ユーザの視点からの受け入れレベルの評価に重点を置いている。 LLMをベースとしたエージェントの構造試験を可能にする手法を提案する。
• 参考スコア（独自算出の注目度）: 0.05254956925594667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-based agents are rapidly being adopted across diverse domains. Since they interact with users without supervision, they must be tested extensively. Current testing approaches focus on acceptance-level evaluation from the user's perspective. While intuitive, these tests require manual evaluation, are difficult to automate, do not facilitate root cause analysis, and incur expensive test environments. In this paper, we present methods to enable structural testing of LLM-based agents. Our approach utilizes traces (based on OpenTelemetry) to capture agent trajectories, employs mocking to enforce reproducible LLM behavior, and adds assertions to automate test verification. This enables testing agent components and interactions at a deeper technical level within automated workflows. We demonstrate how structural testing enables the adaptation of software engineering best practices to agents, including the test automation pyramid, regression testing, test-driven development, and multi-language testing. In representative case studies, we demonstrate automated execution and faster root-cause analysis. Collectively, these methods reduce testing costs and improve agent quality through higher coverage, reusability, and earlier defect detection. We provide an open source reference implementation on GitHub.
• Abstract（参考訳）: LLMベースのエージェントは、様々な領域で急速に採用されている。 監視なしでユーザーと対話するため、広範囲にテストする必要がある。 現在のテストアプローチは、ユーザの視点からの受け入れレベルの評価に重点を置いている。 直感的ではあるが、これらのテストは手作業による評価が必要であり、自動化が困難であり、根本原因分析を助長せず、高価なテスト環境も必要である。 本稿では,LSMをベースとしたエージェントの構造試験を可能にする手法を提案する。 提案手法では, (OpenTelemetryに基づく) トレースを用いてエージェントの軌跡を捕捉し, 再現可能なLCM動作を強制するためにモックを採用し, テスト検証を自動化するためにアサーションを追加する。 これにより、自動ワークフロー内のより深い技術的レベルでエージェントコンポーネントとインタラクションをテストすることが可能になる。 構造的テストによって、テスト自動化ピラミッド、回帰テスト、テスト駆動開発、多言語テストなど、ソフトウェアエンジニアリングのベストプラクティスがエージェントに適応できることを実証する。 代表的なケーススタディでは,自動実行と根本原因解析の高速化が示されている。 全体として、これらの手法はテストコストを削減し、より高いカバレッジ、再利用性、早期の欠陥検出を通じてエージェントの品質を向上させる。 私たちはGitHubにオープンソースリファレンス実装を提供しています。

関連論文リスト

• ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases [58.411135609139855]
  タスク完了のための「ショートカット」は、大規模言語モデルの信頼性評価と展開に重大なリスクをもたらす。 我々は,LLMエージェントがテストケースを利用するための正当性を測定するベンチマークフレームワークであるImpossibleBenchを紹介する。 実践的なフレームワークとして、ImpossibleBenchは単なる評価ではなく、汎用的なツールである。
  論文  参考訳（メタデータ） (2025-10-23T06:58:32Z)
• InspectCoder: Dynamic Analysis-Enabled Self Repair through interactive LLM-Debugger Collaboration [71.18377595277018]
  大きな言語モデル(LLM)は、診断が難しい複雑なロジックエラーを伴うバグの多いコードを生成することが多い。 対話型デバッガ制御による動的解析を LLM に委ねる初のエージェントプログラム修復システムである InspectCoder を提案する。
  論文  参考訳（メタデータ） (2025-10-21T06:26:29Z)
• Software Testing with Large Language Models: An Interview Study with Practitioners [2.198430261120653]
  ソフトウェアテストにおける大きな言語モデルの使用は、多くのタスクをサポートするにつれて急速に増加しています。 しかし、彼らの採用は構造的なガイダンスよりも非公式な実験に依存していることが多い。 本研究は,ソフトウェアテスト専門家が LLM を用いて,予備的,実践的インフォームドガイドラインを提案する方法について考察する。
  論文  参考訳（メタデータ） (2025-10-20T05:06:56Z)
• Rethinking Testing for LLM Applications: Characteristics, Challenges, and a Lightweight Interaction Protocol [83.83217247686402]
  大言語モデル(LLM)は、単純なテキストジェネレータから、検索強化、ツール呼び出し、マルチターンインタラクションを統合する複雑なソフトウェアシステムへと進化してきた。 その固有の非決定主義、ダイナミズム、文脈依存は品質保証に根本的な課題をもたらす。 本稿では,LLMアプリケーションを3層アーキテクチャに分解する: textbftextitSystem Shell Layer, textbftextitPrompt Orchestration Layer, textbftextitLLM Inference Core。
  論文  参考訳（メタデータ） (2025-08-28T13:00:28Z)
• TestAgent: An Adaptive and Intelligent Expert for Human Assessment [62.060118490577366]
  対話型エンゲージメントによる適応テストを強化するために,大規模言語モデル(LLM)を利用したエージェントであるTestAgentを提案する。 TestAgentは、パーソナライズされた質問の選択をサポートし、テストテイカーの応答と異常をキャプチャし、動的で対話的なインタラクションを通じて正確な結果を提供する。
  論文  参考訳（メタデータ） (2025-06-03T16:07:54Z)
• The Potential of LLMs in Automating Software Testing: From Generation to Reporting [0.0]
  手動テストは効果的だが、時間とコストがかかり、自動化メソッドの需要が増大する。 大規模言語モデル(LLM)の最近の進歩は、ソフトウェア工学に大きな影響を与えている。 本稿では,人間の介入を減らし,テスト効率を向上させるため,LSMを用いた自動ソフトウェアテストに対するエージェント指向アプローチについて検討する。
  論文  参考訳（メタデータ） (2024-12-31T02:06:46Z)
• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• ASTER: Natural and Multi-language Unit Test Generation with LLMs [6.259245181881262]
  静的解析を組み込んだジェネリックパイプラインを記述し,コンパイル可能な高カバレッジテストケースの生成においてLCMをガイドする。 コードカバレッジとテスト自然性の観点から,生成したテストの品質を評価するための実証的研究を行った。
  論文  参考訳（メタデータ） (2024-09-04T21:46:18Z)
• MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
  我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。 各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。 我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T04:06:12Z)
• Towards Autonomous Testing Agents via Conversational Large Language Models [18.302956037305112]
  大規模言語モデル(LLM)は自動テストアシスタントとして使用できる。 本稿では,LSMをベースとしたテストエージェントの自律性に基づく分類法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T12:22:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。