論文の概要: Silent Failures in Agent-Tool Interaction: An Audit of ToolUniverse

• arxiv url: http://arxiv.org/abs/2609.26836v1
• Date: Mon, 21 Sep 2026 16:34:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.695224
• Title: Silent Failures in Agent-Tool Interaction: An Audit of ToolUniverse
• Title（参考訳）: エージェントとツールの相互作用における無作為な失敗:ツールユニバースの監査
• Abstract要約: 本研究では,エージェントとツールの相互作用における特定の障害について検討する。 ツール呼び出しが成功すると、API/ラッパーを介してツールからの情報や機能の一部または全部が不完全または欠落する。 私たちはこれを、ユーザやエージェントがそのような障害が発生したことを認識していないため、サイレント障害と呼んでいます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic AI systems are increasingly adopting automated pipelines that integrate multiple tools. While prior research and benchmarks have studied about task success and task completion of these agentic systems, the research about agent to tool interaction, specifically in biology agentic workflow is limited. This study investigates specific failures in agent to tool interaction where a tool invocation appears successful, some or all of the information or functionality from the tool via API/ wrapper is incomplete or missing and there are no communications / notifications to the user or the agent about such missing information. We call this a silent failures as the user or the agents are not aware that such failure has occurred. For the purposes of this study we developed an audit mechanism to identify such silent failures in Agent to tool interaction, by examining 15 scientific tools (and their associated API documentation and tool documentations) integrated within ToolUniverse environment (ToolUniverse serves as our experimental environment rather than the object of the study itself). We structure our study around 7 failure locus characterising where the failure occurs in the chain. We observed 91 failures (manually validated post LLM based candidate discovery and automated testing), most frequent of them being missing data or fields and inconsistencies in search, filtering or ranking criteria. Most of the 91 failures occurred in API layer (51) or wrapper layer (25), with a potential of silent failure amplification downstream. The results show that silent failures originate upstream of the event and propagate downstream into apparently valid scientific outputs. We propose a concept of contextual reliability to handle such failures and suggest mechanisms for testing, disclosing, monitoring, and measuring such failures across the agent-tool interaction pipeline.
• Abstract（参考訳）: エージェントAIシステムは、複数のツールを統合する自動化パイプラインの採用が増えている。 これらのエージェントシステムのタスク成功とタスク完了について、以前の研究とベンチマークが研究されているが、特に生物学のエージェントワークフローにおいて、エージェントとツールの相互作用に関する研究は限られている。 本研究は,ツール呼び出しが成功した場合,API/ラッパーを介してツールからの情報や機能の一部あるいは全部が不完全あるいは欠落しており,ユーザやエージェントに対して,そのような欠落情報に関するコミュニケーションや通知がない場合に,エージェントからツールインタラクションへの特定の障害を調査するものである。 私たちはこれを、ユーザやエージェントがそのような障害が発生したことを認識していないため、サイレント障害と呼んでいます。 本研究では,ToolUniverse環境に統合された15の科学ツール(および関連するAPIドキュメントおよびツールドキュメント)を調査することで,エージェントとツールのインタラクションにおけるこのような静かな障害を識別する監査機構を開発した(ToolUniverseは研究対象ではなく,実験環境として機能する)。 チェーン内の障害の発生箇所を特徴付ける7つの障害点について,本研究を構造化する。 我々は91の障害(LSMベースの候補発見と自動テスト)を観察し,その多くがデータやフィールドの欠如,検索,フィルタリング,ランキング基準の不整合であった。 91の障害のほとんどは、API層(51)またはラッパー層(25)で発生し、サイレント障害が下流で増幅される可能性がある。 その結果, 静かな故障はイベントの上流から発生し, 下流へ伝播することが明らかとなった。 本稿では,このような障害に対処するためのコンテキスト信頼性の概念を提案し,エージェントとツールのインタラクションパイプライン間での障害のテスト,開示,監視,測定のメカニズムを提案する。

関連論文リスト

• TimeEvo: Failure-Driven Self-Evolution of a Time Series Agent [58.343983191487276]
  時系列エージェントは、外部ツールを呼び出すことで分析的な質問に答える。 Human-Agent Tool Misalignment: 21のエキスパートキュレートされたツールのライブラリは、いくつかのタスクを支援し、他の人を傷つけます。 TimeEvoは、エージェントの診断された障害を能力ギャップに集約し、それぞれの測定を計画し、ペアの入場ゲートを通してのみ候補ライブラリを許可する。
  論文  参考訳（メタデータ） (2026-09-23T03:08:12Z)
• ToolRobustBench: Stage-Wise Perturbation Evaluation and Failure Diagnosis for Tool-Calling Agents [16.995082216096787]
  大規模言語モデルは基本的なエージェント機能としてツール呼び出しに依存している。 クリーンなエンドツーエンド(E2E)の成功は、ツール使用障害の発生場所や、呼び出しを通じてどのように伝播するかを特定できない。 ツールコールエージェントの段階的診断ベンチマークである ToolRobustBench を紹介する。
  論文  参考訳（メタデータ） (2026-08-23T15:22:49Z)
• ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
  ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。 このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。 現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
  論文  参考訳（メタデータ） (2026-08-03T15:07:46Z)
• Beyond the Black Box: Interpretability of Agentic AI Tool Use [0.0]
  本稿では,スパースオートエンコーダと線形プローブ上に構築された機械論的・解釈可能性ツールキットを提案する。 フレームワークは各アクションの前にモデル状態を読み出し、ツールが必要かどうか、そして次のツールアクションがいかに適切かの両方を推測する。 我々は、NVIDIA Nemotron関数呼び出しデータセットから多段階の軌道上のプローブをトレーニングし、GPT-OSS 20BとGemma 3 27Bモデルに同じワークフローを適用する。
  論文  参考訳（メタデータ） (2026-05-07T19:47:30Z)
• DeepAgent: A General Reasoning Agent with Scalable Toolsets [111.6384541877723]
  DeepAgentは、自律的な思考、ツール発見、アクション実行を実行するエンドツーエンドのディープ推論エージェントである。 長期にわたる相互作用の課題に対処するために,過去の相互作用を構造化エピソード,動作,ツール記憶に圧縮する自律的メモリ折り畳み機構を導入する。 LLMシミュレートされたAPIを活用し、ツール呼び出しトークンにきめ細かいクレジットを割り当てるツールコールアドバンテージ属性を適用した、エンドツーエンドの強化学習戦略であるToolPOを開発した。
  論文  参考訳（メタデータ） (2025-10-24T16:24:01Z)
• Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
  LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。 本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。 最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
  論文  参考訳（メタデータ） (2025-04-30T23:09:44Z)
• ToolFuzz -- Automated Agent Tool Testing [5.174808367448261]
  ToolFuzzは,(1)ツール実行時のエラーにつながるユーザクエリと,(2)誤ったエージェント応答につながるユーザクエリの2つのタイプのエラーを検出するように設計されている。 ToolFuzzは、プロンプトエンジニアリングのアプローチと比較して、20倍の誤入力を識別する。
  論文  参考訳（メタデータ） (2025-03-06T14:29:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。