論文の概要: Mining Workflow Graphs for Black-Box Boundary Testing of Conversational LLM Agents

• arxiv url: http://arxiv.org/abs/2607.06873v1
• Date: Wed, 08 Jul 2026 00:11:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.240535
• Title: Mining Workflow Graphs for Black-Box Boundary Testing of Conversational LLM Agents
• Title（参考訳）: 会話型LLMエージェントのブラックボックス境界試験のためのワークフローグラフのマイニング
• Abstract要約: 我々は、ステートフル境界を発見し、強調するブラックボックステスティングフレームワークであるAgentEvalを提案する。 盲目的にプロンプトする代わりに、AgentEvalはこのグラフの構造を使って特定のガードと前提条件をテストターゲットとして列挙する。 我々はAgentEvalを、エージェントの基盤となるソースコードにアクセス可能な特権付きホワイトボックス監査者に対してベンチマークします。
• 参考スコア（独自算出の注目度）: 2.9512821350868754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conversational LLM agents can cause real-world harm when their internal workflows fail, such as completing a transaction without confirmation. Testing these state-dependent failures is difficult because critical boundaries, such as identity checks and confirmation gates, are hidden behind multi-turn conversational prerequisites, rendering them inaccessible to standard tests. We present AgentEval, a black-box testing framework that discovers and stresses these stateful boundaries. AgentEval interacts with an agent to mine a \emph{conversational workflow graph}, a model of its behavior. Instead of prompting blindly, AgentEval uses this graph's structure to enumerate specific guards and prerequisites as test targets, replaying the conversational path to a boundary before applying a perturbation. AgentEval then executes each test, determining whether it passes or fails using only the conversation turns. We benchmark AgentEval against a privileged, white-box auditor with access to the agent's underlying source code, which AgentEval never sees. On four $τ^3$-bench agents, AgentEval successfully generates tests covering $23$--$38$ distinct boundaries per agent; ablation studies attribute the gain to the graph's structure: $23$ distinct boundaries versus $12$ with a prompt-only baseline, at lower duplicate and false-alarm rates.
• Abstract（参考訳）: 会話型LLMエージェントは、内部ワークフローが失敗すると現実世界に悪影響を及ぼす可能性がある。 これらの状態依存型障害のテストは、アイデンティティチェックや確認ゲートといった重要な境界が、マルチターン会話の前提条件の背後に隠されているため、標準的なテストにはアクセスできないため、難しい。 我々は、これらのステートフル境界を発見し、強調するブラックボックステストフレームワークであるAgentEvalを提案する。 AgentEvalはエージェントと対話して、その振る舞いのモデルである \emph{conversational workflow graph} をマイニングする。 AgentEvalは盲目的にプロンプトする代わりに、このグラフの構造を使用して特定のガードと前提条件をテストターゲットとして列挙し、摂動を適用する前に境界への会話パスを再生する。 AgentEvalは各テストを実行し、会話のターンだけを使用してパスするか失敗するかを決定する。 我々はAgentEvalを、エージェントの基盤となるソースコードにアクセス可能な特権付きホワイトボックス監査者に対してベンチマークします。 4ドルのτ^3$-ベンチエージェントでは、AgentEvalはエージェントごとに23$-38$の異なる境界をカバーするテストを生成することに成功した。

関連論文リスト

• Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
  クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。 反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
  論文  参考訳（メタデータ） (2026-09-02T08:10:22Z)
• Facts Without Rules: Boundary Metadata Collapse in Multi-Agent LLM Handoffs [13.92589238677081]
  要約では,操作上の事実を優先的に保存しつつ,それらの事実の使い方を規定する境界メタデータを弱めていることを示す。 GPT-5-miniとDeepSeek-R1-32Bの双方のハンドオフレベルでは、境界標識と運用結果の生存はほぼ無関係である。
  論文  参考訳（メタデータ） (2026-08-29T03:38:35Z)
• An Interactive Agent for Requirement-Driven Candidate Sourcing [75.63902836826038]
  最初の要件駆動型候補ソーシングエージェントであるsysを提示する。 それは、あいまいな人々の要求を正当化されたスレートに導き、検証し、回収し、検証する。 広さ (100%$カバレッジ 2.5times$ the yield) を支配し、フィールドに直交する。
  論文  参考訳（メタデータ） (2026-08-24T17:04:16Z)
• Do Context Files Help Coding Agents? A Two-Agent Ablation Study on Real Repositories [0.0]
  永続コンテキストファイル(AGENTS.md, CLAUDE.md)は、AIコーディングエージェントを誘導する標準的な慣行であるが、それらの効果の証拠は矛盾している。 我々は2つのフロンティアエージェント(Claude Code と Codex)間のコンテキスト注入戦略の制御されたアブレーションを示す。
  論文  参考訳（メタデータ） (2026-07-28T11:07:53Z)
• TensorBench: Benchmarking Coding Agents on a Compiler-Based Tensor Framework [0.9012337166501982]
  CohenBenchはオープンソースのコンパイラベースのフレームワーク上のタスクのベンチマークである。 エージェントのパッチを適用して、フレームワークのテストスイートを実行することで、各実行をグレードする。 3つのフロンティアモデルファミリーと1つのオープンウェイトモデルにまたがる7つの符号化エージェントを評価した。
  論文  参考訳（メタデータ） (2026-06-04T01:42:40Z)
• HLL: Can Agents Cross Humanity's Last Line of Verification? [27.923163104768758]
  textbfHumanityのLast Line of Verification (HLL)を導入し、エージェントがこの境界を越えることができるかどうかを評価する。 HLLは多様なCAPTCHA相互作用をカバーし、制御されたリアリズムストレス因子に作用する。 結果は、現在のエージェントがこの人間-置換境界で不安定なままであることを示している。
  論文  参考訳（メタデータ） (2026-06-01T16:20:45Z)
• LACUNA: Safe Agents as Recursive Program Holes [3.2613419151327343]
  LLMエージェントはますますコードを記述することで振る舞うが、エージェントを駆動するランタイムとモデルが記述するコードの間には分割が持続する。 我々は、安全性を維持しながら、この分割を閉じるエージェントのためのプログラミングモデルであるLACUNAを紹介する。 我々のプリミティブは、通常の制御フローとしてReActループ、サブエージェント、スキル、並列分解、マルチモデル計画を表現する。
  論文  参考訳（メタデータ） (2026-05-27T15:27:25Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)
• Agent-Testing Agent: A Meta-Agent for Automated Testing and Evaluation of Conversational AI Agents [2.3429263075112288]
  本稿では,静的コード解析,デザイナの尋問,文献マイニング,ペルソナ駆動の対人テスト生成を組み合わせたメタエージェントであるAgent-Testing Agent(ATA)を提案する。 各対話はLLM-as-a-Judge (LAAJ)ルーブリックでスコアされ、その後の試験をエージェントの最も弱い能力に向けて操るために使用される。
  論文  参考訳（メタデータ） (2025-08-24T15:02:13Z)
• Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
  大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。 LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2025-05-23T08:23:36Z)
• Preventing Rogue Agents Improves Multi-Agent Collaboration [21.955058255432974]
  本稿では,アクション予測中にエージェントを監視し,将来エラーが発生する可能性がある場合に介入することを提案する。 WhoDunitEnv、コード生成タスク、そしてリソース持続可能性のためのGovSim環境の実験は、我々のアプローチがパフォーマンスを大幅に向上させることを示している。
  論文  参考訳（メタデータ） (2025-02-09T18:35:08Z)
• On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
  大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。 不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。 本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
  論文  参考訳（メタデータ） (2024-08-02T03:25:20Z)
• A Simple and Provably Efficient Algorithm for Asynchronous Federated Contextual Linear Bandits [77.09836892653176]
  我々は,M$エージェントが相互に協力して,中央サーバの助けを借りて,グローバルなコンテキスト線形バンドイット問題を解決するためのフェデレーション付きコンテキスト線形バンドイットについて検討した。 すべてのエージェントが独立して動作し、ひとつのエージェントとサーバ間の通信が他のエージェントの通信をトリガーしない非同期設定を考える。 texttFedLinUCBの後悔は$tildeO(dsqrtsum_m=1M T_m)$で、通信の複雑さは$tildeO(dM)であることを示す。
  論文  参考訳（メタデータ） (2022-07-07T06:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。