論文の概要: AgenTest: Mining Business Rules to Test LLM Agents for Business Logic Bugs
- arxiv url: http://arxiv.org/abs/2610.28116v1
- Date: Tue, 20 Oct 2026 12:25:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.804437
- Title: AgenTest: Mining Business Rules to Test LLM Agents for Business Logic Bugs
- Title（参考訳）: AgenTest:ビジネスルールをマイニングしてビジネス論理バグのLLMエージェントをテストする
- Abstract要約: システムプロンプト、ツール定義、ドメイン知識からビジネスルールをマイニングするAgenTestを紹介します。
AgenTestは551の洗練された仕様を生成し、89と121の異なる仕様の違反を検出する。
AgenTestだけが、エージェントが不適切に他のユーザのデータにアクセスまたは変更するケースを検出する。
- 参考スコア（独自算出の注目度）: 23.98382883323461
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) agents increasingly execute business operations through tools and interact directly with application data and services. Beyond completing user requests, these agents must obey domain-specific business rules that constrain when actions are permitted and what data or resources may be affected. Violating such rules can lead to business logic bugs, even when a task appears successful. Detecting these bugs is difficult because the rules are rarely available as explicit, testable specifications. They are distributed across system prompts and tool definitions, while others remain implicit in domain knowledge. Existing agent testing approaches typically evaluate task success, predefined policies, or known attack scenarios. This limits their ability to systematically uncover previously unspecified business-rule violations. We present AgenTest, which mines business rules from system prompts, tool definitions, and domain knowledge, refines them into Given-When-Then specifications, and systematically tests each specification. For each extracted specification, AgenTest instantiates its Given conditions by constructing a satisfying environment state and simulated user, exercises the agent through multi-turn interactions, and checks its Then conditions over messages, tool calls, and state changes using a hybrid oracle. On the airline, retail, and telecom agents of tau2-bench with two underlying models, AgenTest produces 551 refined specifications, and detects violations of 89 and 121 distinct specifications, respectively -- 3.4X and 2.5X as many as all baselines combined. Only AgenTest detects cases where an agent improperly accesses or modifies another user's data. Moreover, about 60% of bug-triggering runs cannot be detected from the final state alone, highlighting the need to check the full interaction against explicit business rules.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、ツールを介してビジネス操作を実行し、アプリケーションデータやサービスと直接対話する。
ユーザリクエストの完了以外にも、これらのエージェントはアクションが許可されたときや、どのようなデータやリソースが影響を受けるかを制限するドメイン固有のビジネスルールに従う必要がある。
このようなルールを違反すると、たとえタスクが成功したとしても、ビジネスロジックのバグが発生する可能性がある。
これらのバグを検出することは、ルールが明示的でテスト可能な仕様として利用されることが滅多にないため、難しい。
それらはシステムプロンプトやツール定義に分散しているが、ドメインの知識には暗黙のものがある。
既存のエージェントテストアプローチは、通常、タスクの成功、事前定義されたポリシー、既知の攻撃シナリオを評価する。
これにより、これまで特定されていなかったビジネスルール違反を体系的に発見する能力が制限される。
AgenTestは、システムプロンプト、ツール定義、ドメイン知識からビジネスルールをマイニングし、それらをGiven-When-Then仕様に洗練し、各仕様を体系的にテストします。
抽出された各仕様に対して、AgenTestは、満足度の高い環境状態を構築し、ユーザをシミュレートして、その条件をインスタンス化し、マルチターンインタラクションを通じてエージェントを動作させ、メッセージ、ツールコール、および状態変更をハイブリッドオラクルを使ってチェックする。
航空会社、小売店、タウ2ベンチのテレコムエージェントと2つの基礎となるモデルでは、AgenTestは551の洗練された仕様を作成し、それぞれ89と121の異なる仕様(それぞれ3.4Xと2.5X)の違反を検出する。
AgenTestだけが、エージェントが不適切に他のユーザのデータにアクセスまたは変更するケースを検出する。
さらに、バグトリガの実行の約60%は最終状態から検出できず、明示的なビジネスルールに対する完全なインタラクションをチェックする必要性を強調している。
関連論文リスト
- AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks [70.52860945958031]
我々は、データセット、エージェント、環境、スコアラーの計測システムであるAlphaDianaを紹介する。
5つの回答ベースベンチマークで3つのオープンソースモデルと3つのオープンソースハーネスについて検討する。
ハーネスは推論の精度を常に改善しないことがわかった。
論文 参考訳（メタデータ） (2026-10-14T14:04:48Z) - Why Do Agent Teams Fail Across Boundaries? A Failure Taxonomy for Agent-to-Agent Systems with Private States [96.00953129073133]
エージェント・ツー・エージェント(A2A)のシナリオでは、各エージェントは独自の環境を持ち、他のエージェントが見ることができない情報と権限を持っている。
既存のマルチエージェントシステム障害研究では、1つのオーケストレータ、共有ワークスペース、または1つのプリンシパルが想定されている。
我々は、異なるエージェントハーネスとモデルで構築された2500以上のA2Aシステムについて研究する。
論文 参考訳（メタデータ） (2026-10-14T00:36:08Z) - The Troy Moment of AI: Why Some Will Cheat and Some Will Follow? [0.0]
エージェントは停止するか、エスカレートするか、他のエージェントの行動が決定を変えるか、という2つの質問を調査する。
GPT-5.6 Sol, Claude Fable 5.1, Gemini 3.8 Flashの7つのImpossibleBenchタスクを単独で3エージェント設定で検討した。
この結果から,ルールの保護を目的としたあいまいさ,明示的な認証境界のモチベーション,認証状態の証明,エージェント間監視から境界交差が生じる可能性が示唆された。
論文 参考訳（メタデータ） (2026-09-14T12:46:45Z) - ABTest: Behavior-Driven Testing for AI Coding Agents [9.532350583164837]
ABTestは、AIコーディングエージェントを体系的にテストする振る舞い駆動型ファジリングフレームワークである。
ABTestをClaude Code、OpenAI Codex CLI、Gemini CLIの3つの広く使用されているコーディングエージェントに適用する。
論文 参考訳（メタデータ） (2026-04-03T17:52:37Z) - Ask or Assume? Uncertainty-Aware Clarification-Seeking in Coding Agents [4.301199871195023]
大規模言語モデル(LLM)エージェントは、ソフトウェア工学のようなオープンなドメインにますますデプロイされています。
我々は, SWE-bench Verified の未特定変種に対する LLM エージェントの解明と探索能力を評価する。
コード実行から不特定性検出を明示的に分離する不確実性認識型マルチエージェントスキャフォールドを提案する。
論文 参考訳（メタデータ） (2026-03-27T09:56:26Z) - Willful Disobedience: Automatically Detecting Failures in Agentic Traces [2.2365938060262356]
AgentPexはエージェントトレースを体系的に評価するAIツールである。
エージェントプロンプトとシステム命令から振る舞いルールを抽出し、これらの仕様を使用してコンプライアンスのトレースを自動的に評価する。
我々は、通信、小売、航空会社の顧客サービスにおいて、AgentPexを2ベンチから424のトレースで評価した。
論文 参考訳（メタデータ） (2026-03-25T00:33:39Z) - Test-Driven AI Agent Definition (TDAD): Compiling Tool-Using Agents from Behavioral Specifications [0.0]
テスト駆動型AIエージェント定義(TDAD)は、エージェントプロンプトをコンパイルされたアーティファクトとして扱う方法論である。
SpecSuite-CoreのTDADは、ポリシーコンプライアンス、グラウンドド・アナリティクス、ランブックの遵守、決定論的強制にまたがる4つのエージェントのベンチマークである。
論文 参考訳（メタデータ） (2026-03-09T18:04:54Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
論文 参考訳（メタデータ） (2025-12-07T09:23:48Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。