論文の概要: Trust No Tool: Evaluating and Defending LLM Agents under Untrusted Tool Feedback

• arxiv url: http://arxiv.org/abs/2605.17453v1
• Date: Sun, 17 May 2026 13:51:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.098329
• Title: Trust No Tool: Evaluating and Defending LLM Agents under Untrusted Tool Feedback
• Title（参考訳）: Trust No Tool: 信頼できないツールフィードバック下でのLDMエージェントの評価と防御
• Authors: Lecheng Yan, Ruizhe Li, Xicheng Han, Wenxi Li, Binwu Wang, Longyue Wang, Chenyang Lyu, Guanhua Chen,
• Abstract要約: 我々は,悪質なツールが探索中に合理的に振る舞う,異なる障害モード,認知的中毒について検討する。 ファイナルアクションリスクスコアリングのためのバックボーンに依存しないフレームワークであるVISTA-Guardを提案する。
• 参考スコア（独自算出の注目度）: 38.251599309409
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tool-using LLM agents increasingly rely on external tools to make consequential decisions, yet most existing agent-security benchmarks and defenses implicitly assume that tool feedback is trustworthy once a tool has been selected. We study a different failure mode, cognitive poisoning, in which a malicious tool behaves plausibly during exploration, accumulates trust through benign-looking feedback, and becomes harmful only when hidden state conditions align with the final executable action. To study this setting, we construct TRUST-Bench, a task-conditioned benchmark of 1,970 hidden-trigger tool-compromise episodes with matched safe controls, introduce an asymmetric penalty metric, GuardedJoint, to better reflect real deployment risk, and present VISTA-Guard, a backbone-agnostic framework for final-action risk scoring. The core idea is to abstract multi-step tool interaction into structured environment variables that encode trust-formation dynamics and then score the risk of the final executable action from this trajectory-conditioned representation. Experiments show that prompt-centric heuristics, scalarized features, and zero-shot judges fail in this regime, whereas trajectory-aware final-action scoring yields strong in-domain discrimination and remains effective under balanced out-of-distribution transfer. Under GuardedJoint, VISTA-Guard reaches $84.2$ in-domain and $56.9$ on balanced out-of-distribution evaluation, while methods that optimize only one side of the safety--utility tradeoff collapse to zero. These findings support a broader view of agent security in black-box tool ecosystems: the decisive defense target is not local prompt text or tool descriptors alone, but the way trust is formed across the interaction trajectory and committed through the final action.
• Abstract（参考訳）: ツールを使用するLLMエージェントは、連続的な決定を外部ツールに依存していることが多いが、既存のエージェントセキュリティベンチマークやディフェンスでは、ツールが選択されるとツールフィードバックが信頼できると暗黙的に仮定している。 本研究では,悪質なツールが探索中に合理的に動作し,良心的なフィードバックを通じて信頼を蓄積し,隠された状態条件が最終的な実行動作と一致した場合にのみ有害となる,異なる障害モード,認知的中毒について検討する。 この設定を検討するために、TRUST-Benchというタスク条件付きベンチマークと、マッチした安全制御を備えた1,970個の隠れトリガーツールコンパイルエピソードを構築し、実際のデプロイメントリスクをよりよく反映するために非対称なペナルティメトリックであるGuardedJointを導入し、そして、現在、最終アクションリスク評価のためのバックボーン非依存フレームワークであるVISTA-Guardを構築している。 中心となる考え方は、多段階のツールインタラクションを、信頼形成ダイナミクスを符号化した構造化環境変数に抽象化し、この軌道条件付き表現から最終的な実行可能なアクションのリスクを評価することである。 実験により、急激な中心的ヒューリスティック、スキャラライズされた特徴、ゼロショットの判断は、この体制では失敗するが、軌跡を意識した最終結果のスコアは、ドメイン内での強い差別をもたらし、バランスの取れたアウト・オブ・ディストリビューション・トランスファーの下で有効であることが示されている。 GuardedJointの下では、VISTA-Guardはドメイン内で84.2ドル、バランスの取れたアウト・オブ・ディストリビューション評価で56.9ドルに達した。 これらの発見は、ブラックボックスツールエコシステムにおけるエージェントのセキュリティに関するより広範な見解を支持している。決定的な防御対象は、ローカルなプロンプトテキストやツール記述子ではなく、インタラクションの軌跡を越えて信頼が形成され、最終的な行動を通じてコミットされる方法である。

関連論文リスト

• On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
  既存の安全アライメント信号は、主に応答レベルまたは政治外である。 FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。 FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
  論文  参考訳（メタデータ） (2026-05-12T09:56:28Z)
• The Causal Impact of Tool Affordance on Safety Alignment in LLM Agents [0.3823356975862005]
  本研究は,大規模言語モデル(LLM)の安全アライメントがいかに変化するかを実証的に検証する。 決定論的金融取引環境において、1500シナリオにわたる二元的安全制約を伴う実験を行う。 どちらのモデルも、テキストのみの設定では完全なコンプライアンスを維持しているが、ツールアクセスが導入されると、違反が大幅に増加する。
  論文  参考訳（メタデータ） (2026-03-19T23:34:46Z)
• Unsafer in Many Turns: Benchmarking and Defending Multi-Turn Safety Risks in Tool-Using Agents [68.20752678837377]
  本稿では,単一ターン有害なタスクを多ターン攻撃シーケンスに変換する基本的分類法を提案する。 この分類法を用いて,マルチターンツール使用エージェントの安全性を評価する最初のベンチマークであるMT-AgentRiskを構築した。 トレーニング不要で、ツールに依存しない、自己探索型防御ツールであるToolShieldを提案する。
  論文  参考訳（メタデータ） (2026-02-13T18:38:18Z)
• DRAFT: Task Decoupled Latent Reasoning for Agent Safety [59.46137757545185]
  DRAFT(Task Decoupled Latent Reasoning for Agent Safety)を提案する。 エクストラクターは、完全な軌跡をコンパクトな連続的な潜伏ドラフトに蒸留し、リゾナーはドラフトと元の軌跡に共同で参加して安全性を予測する。 DRAFTの精度は63.27%(LoRA)から91.18%に向上した。
  論文  参考訳（メタデータ） (2026-02-11T07:45:14Z)
• ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
  本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。 ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
  論文  参考訳（メタデータ） (2026-01-15T08:23:38Z)
• VIGIL: Defending LLM Agents Against Tool Stream Injection via Verify-Before-Commit [44.24310459184061]
  オープン環境で動作するLLMエージェントは、間接的なプロンプトインジェクションによるエスカレーションリスクに直面している。 制約的分離から検証前コミットプロトコルへパラダイムをシフトするフレームワークである textbfVIGIL を提案する。
  論文  参考訳（メタデータ） (2026-01-09T12:19:49Z)
• Quantifying Distributional Robustness of Agentic Tool-Selection [8.457056023589951]
  ツール選択の堅牢性を正式に認定する最初の統計フレームワークであるToolCertを紹介する。 本稿では,ToolCertが精度に高い信頼度を低下させ,エージェントの最悪の性能を定量的に評価することを示す。 偽装ツールを注入したり、検索を飽和させたりすることで、認証された精度はゼロ近く低下する。
  論文  参考訳（メタデータ） (2025-10-05T01:50:34Z)
• STAC: When Innocent Tools Form Dangerous Chains to Jailbreak LLM Agents [38.755035623707656]
  本稿では,エージェントツールの利用を生かした新しいマルチターンアタックフレームワークSTACについて紹介する。 我々は,483のSTACケースを自動生成し,評価するために,1,352セットのユーザエージェント環境相互作用を特徴とするフレームワークを適用した。 GPT-4.1を含む最先端のLSMエージェントはSTACに対して極めて脆弱であり,攻撃成功率(ASR)は90%以上である。
  論文  参考訳（メタデータ） (2025-09-30T00:31:44Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。