論文の概要: Agents Trust Tools Too Much: Measuring Reliance on Unreliable Tools
- arxiv url: http://arxiv.org/abs/2609.05587v1
- Date: Fri, 04 Sep 2026 17:02:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.098375
- Title: Agents Trust Tools Too Much: Measuring Reliance on Unreliable Tools
- Title（参考訳）: エージェント信頼ツールが多すぎる:信頼できないツールへの信頼度を測定する
- Abstract要約: Web検索,LLMサブエージェントデリゲート,コード実行という3つのツールを用いて,エージェントが信頼できないツールに応答する方法を評価する。
各ツールに対して、そのリターンを破損させ、エージェントが最終回答で破損したコンテンツを採用するかどうかを測定する。
エージェントは3つの設定にまたがって高いレベルのオーバートラストを示す。
- 参考スコア（独自算出の注目度）: 16.535602696436424
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing evaluations of tool-using agents primarily measure whether an agent can successfully complete diverse tasks with tools. These evaluations generally assume that tools return reliable information. However, tool returns in real-world systems can be plausible yet incorrect. We investigate how agents respond to unreliable tool returns by evaluating fourteen LLMs using three tools-web search, LLM sub-agent delegation, and code execution. For each tool, we corrupt its returns and measure whether agents adopt the corrupted content in their final answers. Agents exhibit high levels of overtrust across all three settings: the mean adoption rate exceeds one third for every tool and reaches 68.0% for web search. Analysis of reasoning traces reveals a particularly concerning failure mode: agents often recognize conflicts and even recover the correct answer internally, yet present only the corrupted answer without warning the user. To mitigate agents' overtrust in tool returns, we intervene at three levels: prompting by the user, metadata from the tool provider, and post-training by the agent builder. Although some interventions help for particular models or tools, none consistently mitigates overtrust across tools. These findings identify overtrust in unreliable tools as a serious and persistent failure mode, motivating evaluations and interventions that enable agents to validate tool outputs and transparently communicate unresolved conflicts.
- Abstract（参考訳）: 既存のツール利用エージェントの評価は、主にエージェントが様々なタスクをツールで完了できるかどうかを測定する。
これらの評価は一般的に、ツールが信頼できる情報を返すと仮定する。
しかし、現実世界のシステムではツールの返却は確実だが、正しくない。
エージェントが信頼できないツールにどのように反応するかを、3つのツール-webサーチ、LLMサブエージェントデリゲート、コード実行を用いて14のLSMを評価して検討する。
各ツールに対して、そのリターンを破損させ、エージェントが最終回答で破損したコンテンツを採用するかどうかを測定する。
エージェントは3つの設定で高い信頼度を示しており、平均的な採用率は各ツールの3分の1を超え、ウェブ検索では68.0%に達する。
エージェントはしばしばコンフリクトを認識し、内部で正しい回答を復元するが、ユーザを警告することなく、破損した回答のみを表示する。
ツールリターンにおけるエージェントの過信を軽減するために、ユーザからのプロンプト、ツールプロバイダからのメタデータ、エージェントビルダによる後トレーニングの3つのレベルに介入します。
いくつかの介入は特定のモデルやツールに役立つが、ツール間のオーバートラストを一貫して緩和するものではない。
これらの知見は、信頼性の低いツールにおける過信を、深刻で永続的な障害モードとみなし、エージェントがツールのアウトプットを検証し、未解決の競合を透過的にコミュニケーションできるようにする、評価と介入を動機付けている。
関連論文リスト
- ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳（メタデータ） (2026-08-27T01:22:14Z) - Robustness Analysis of Agentic AI to Inconsistent and Incomplete Tool Responses [8.002494437891077]
リターンがエージェントコンテキストに入ると、ツールの障害を分析します。
確率に基づく信号は、不完全なリターンといくつかの直接的な不整合をはっきりと捉えていることを示す。
可能性信号の弱いいくつかの障害は、エージェントを状態変化アクションにリダイレクトすることができる。
論文 参考訳（メタデータ） (2026-08-24T00:26:57Z) - Forgotten in Weights, Recovered by Tools: Agentic Tool Unlearning for LLM Agents [54.050506620820784]
エージェントツールアンラーニング(ATU)は、通常のツール使用を保持しながら、パラメトリックリコールとツールによるリカバリの両方を削減することを目的としている。
ATUは、ツール強化されたエージェントデプロイメント下で、ターゲットの忘れと保持ユーティリティのバランスを向上し、未学習をより堅牢にする。
論文 参考訳（メタデータ） (2026-08-21T18:34:48Z) - AgentCheck: A Reproduce-Intervene-Mitigate Workbench for LLM Agents over MCP [0.0]
AgentCheckは、実際のツールに対してエージェントを実行し、すべてのツール応答を記録し、その後、障害(12タイプ)インジェクタによって妨害されたレスポンスでエージェントを再実行します。
マッチングツールコールはキャッシュからリプレイされ、その後、エージェントが分岐した後にツールコールがライブになる。
開発者は緩和をトグルし、同じ障害に対して再実行し、障害が消滅するかどうかを確認する。
論文 参考訳（メタデータ） (2026-07-13T05:14:12Z) - Do Multimodal Agents Really Benefit from Tool Use? A Systematic Study of Capability Gains [20.11899219087138]
画像のエージェントであるThymeとDeepEyesV2を用いて、現実世界の理解、OCR、チャート理解、数学的推論の2つの代表的思考について検討する。
ツールアクセスは、一貫した集約的改善がほとんど得られず、生成したコストを確実に削減することができず、小さなツールのみの解決セットのみを残している。
論文 参考訳（メタデータ） (2026-06-01T15:04:25Z) - MalTool: Malicious Tool Attacks on LLM Agents [52.01975462609959]
MalToolはLLMベースのフレームワークで、特定の悪意のある振る舞いを示すツールを合成する。
MalTool は LLM のコーディングが安全に対応している場合でも非常に有効であることを示す。
論文 参考訳（メタデータ） (2026-02-12T17:27:43Z) - DeepAgent: A General Reasoning Agent with Scalable Toolsets [111.6384541877723]
DeepAgentは、自律的な思考、ツール発見、アクション実行を実行するエンドツーエンドのディープ推論エージェントである。
長期にわたる相互作用の課題に対処するために,過去の相互作用を構造化エピソード,動作,ツール記憶に圧縮する自律的メモリ折り畳み機構を導入する。
LLMシミュレートされたAPIを活用し、ツール呼び出しトークンにきめ細かいクレジットを割り当てるツールコールアドバンテージ属性を適用した、エンドツーエンドの強化学習戦略であるToolPOを開発した。
論文 参考訳（メタデータ） (2025-10-24T16:24:01Z) - InfoMosaic-Bench: Evaluating Multi-Source Information Seeking in Tool-Augmented Agents [60.89180545430896]
InfoMosaic-Benchは、ツール拡張されたエージェントを探すマルチソース情報に特化した最初のベンチマークである。
汎用検索とドメイン固有のツールを組み合わせるにはエージェントが必要である。
この設計は信頼性と非自明性の両方を保証する。
論文 参考訳（メタデータ） (2025-10-02T17:48:03Z) - More Vulnerable than You Think: On the Stability of Tool-Integrated LLM Agents [24.84276066855418]
本研究では,ツール実行プロセス全体を通して,エージェントがエラーに対して脆弱であるかどうかを検討する。
エージェントは各段階でエラーの影響を受けやすく,オープンソースモデルに基づくエージェントは,プロプライエタリモデルに基づくエージェントよりも脆弱である。
論文 参考訳（メタデータ） (2025-06-27T07:13:29Z) - ToolFuzz -- Automated Agent Tool Testing [5.174808367448261]
ToolFuzzは,(1)ツール実行時のエラーにつながるユーザクエリと,(2)誤ったエージェント応答につながるユーザクエリの2つのタイプのエラーを検出するように設計されている。
ToolFuzzは、プロンプトエンジニアリングのアプローチと比較して、20倍の誤入力を識別する。
論文 参考訳（メタデータ） (2025-03-06T14:29:52Z) - SMART: Self-Aware Agent for Tool Overuse Mitigation [58.748554080273585]
現在のLarge Language Model (LLM) エージェントは、強力な推論とツールの使用能力を示すが、しばしば自己認識に欠ける。
この不均衡はツール・オーバーユースにつながり、モデルはパラメトリックな知識を持つタスクに対して、不要に外部ツールに依存する。
SMART(Strategic Model-Aware Reasoning with Tools)は、エージェントの自己認識を高め、タスクハンドリングを最適化し、ツールの過剰使用を減らすパラダイムである。
論文 参考訳（メタデータ） (2025-02-17T04:50:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。