論文の概要: ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback

• arxiv url: http://arxiv.org/abs/2601.10156v1
• Date: Thu, 15 Jan 2026 07:54:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-16 19:43:19.04303
• Title: ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback
• Title（参考訳）: ToolSafe: アクティブステップレベルのガードレールとフィードバックによるLCMエージェントのツール起動安全性の向上
• Authors: Yutao Mou, Zhangchi Xue, Lijun Li, Peiyang Liu, Shikun Zhang, Wei Ye, Jing Shao,
• Abstract要約: エージェントのデプロイには、ステップレベルのツールの実行動作をリアルタイムで監視することが不可欠だ。 LLMエージェントにおけるステップレベルツール起動安全検出のための新しいベンチマークであるTS-Benchを構築した。 次に,マルチタスク強化学習を用いたガードレールモデルTS-Guardを開発した。
• 参考スコア（独自算出の注目度）: 53.2744585868162
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While LLM-based agents can interact with environments via invoking external tools, their expanded capabilities also amplify security risks. Monitoring step-level tool invocation behaviors in real time and proactively intervening before unsafe execution is critical for agent deployment, yet remains under-explored. In this work, we first construct TS-Bench, a novel benchmark for step-level tool invocation safety detection in LLM agents. We then develop a guardrail model, TS-Guard, using multi-task reinforcement learning. The model proactively detects unsafe tool invocation actions before execution by reasoning over the interaction history. It assesses request harmfulness and action-attack correlations, producing interpretable and generalizable safety judgments and feedback. Furthermore, we introduce TS-Flow, a guardrail-feedback-driven reasoning framework for LLM agents, which reduces harmful tool invocations of ReAct-style agents by 65 percent on average and improves benign task completion by approximately 10 percent under prompt injection attacks.
• Abstract（参考訳）: LLMベースのエージェントは外部ツールを呼び出すことで環境と対話できるが、その拡張機能はセキュリティリスクを増幅する。 ステップレベルのツールの実行動作をリアルタイムで監視し、安全でない実行がエージェントのデプロイに不可欠だが、まだ探索されていない。 本研究では,LSMエージェントにおけるステップレベルツール起動安全検出のための新しいベンチマークであるTS-Benchを構築した。 次に,マルチタスク強化学習を用いたガードレールモデルTS-Guardを開発した。 モデルは、インタラクション履歴を推論することで、実行前に安全でないツール呼び出しアクションを積極的に検出する。 要求の有害性と行動-攻撃の相関を評価し、解釈可能で一般化可能な安全判断とフィードバックを生成する。 さらに,LSMエージェントに対するガードレールフィードバック駆動推論フレームワークであるTS-Flowを導入し,ReAct型エージェントの有害なツール呼び出しを平均65%削減し,即発インジェクション攻撃下での良質なタスク完了を約10%改善した。

関連論文リスト

• STAC: When Innocent Tools Form Dangerous Chains to Jailbreak LLM Agents [38.755035623707656]
  本稿では,エージェントツールの利用を生かした新しいマルチターンアタックフレームワークSTACについて紹介する。 我々は,483のSTACケースを自動生成し,評価するために,1,352セットのユーザエージェント環境相互作用を特徴とするフレームワークを適用した。 GPT-4.1を含む最先端のLSMエージェントはSTACに対して極めて脆弱であり,攻撃成功率(ASR)は90%以上である。
  論文  参考訳（メタデータ） (2025-09-30T00:31:44Z)
• OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
  OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。 従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。 ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
  論文  参考訳（メタデータ） (2025-07-08T16:18:54Z)
• AgentGuard: Repurposing Agentic Orchestrator for Safety Evaluation of Tool Orchestration [0.3222802562733787]
  AgentGuardは、安全でないツールの使用を自律的に発見し、検証するフレームワークである。 エージェントの動作を限定する安全制約を生成し、安全保証の基準を達成する。 フレームワークは、安全でないことを識別し、実際の実行でそれらを検証し、安全性の制約を生成し、制約の有効性を検証する。
  論文  参考訳（メタデータ） (2025-02-13T23:00:33Z)
• The Task Shield: Enforcing Task Alignment to Defend Against Indirect Prompt Injection in LLM Agents [6.829628038851487]
  大きな言語モデル(LLM)エージェントは、ツール統合を通じて複雑な現実世界のタスクを実行できる対話アシスタントとして、ますます多くデプロイされている。 特に間接的なプロンプトインジェクション攻撃は、外部データソースに埋め込まれた悪意のある命令が、エージェントを操作してユーザの意図を逸脱させる、重大な脅威となる。 我々は,エージェントのセキュリティが有害な行為を防止し,タスクアライメントを確保するためには,すべてのエージェントアクションをユーザ目的に役立てる必要がある,という新たな視点を提案する。
  論文  参考訳（メタデータ） (2024-12-21T16:17:48Z)
• Breaking ReAct Agents: Foot-in-the-Door Attack Will Get You In [5.65782619470663]
  本稿では,直感的かつ効果的な手法でReActエージェントをどのように活用できるかを検討する。 実験の結果,間接的プロンプトインジェクション攻撃は,後続の悪意ある行為を行うエージェントの可能性を著しく高めることができることがわかった。 この脆弱性を軽減するために,エージェントが実行中の動作の安全性を再評価する簡単なリフレクション機構の実装を提案する。
  論文  参考訳（メタデータ） (2024-10-22T12:24:41Z)
• AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents [84.96249955105777]
  LLMエージェントは誤用された場合、より大きなリスクを引き起こすが、その堅牢性は未発見のままである。 我々は, LLMエージェント誤用の研究を容易にするために, AgentHarmと呼ばれる新しいベンチマークを提案する。 主要なLLMは、ジェイルブレイクなしで悪意のあるエージェント要求に驚くほど準拠している。
  論文  参考訳（メタデータ） (2024-10-11T17:39:22Z)
• Athena: Safe Autonomous Agents with Verbal Contrastive Learning [3.102303947219617]
  大規模言語モデル(LLM)は、様々なタスクを実行するために言語ベースのエージェントとして利用されてきた。 本研究では,言語コントラスト学習の概念を活用したアテナフレームワークを提案する。 このフレームワークには、エージェントを誘導するクオリティ機構も組み込まれており、各ステップにおけるリスクのあるアクションを防ぐ。
  論文  参考訳（メタデータ） (2024-08-20T17:21:10Z)
• Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based Agents [47.219047422240145]
  我々は、LSMベースのエージェントに対して、典型的な安全脅威であるバックドアアタックの1つを調査する第一歩を踏み出した。 具体的には、ユーザ入力とモデル出力のみを操作できる従来のLDMに対するバックドア攻撃と比較して、エージェントバックドア攻撃はより多様で隠蔽的な形式を示す。
  論文  参考訳（メタデータ） (2024-02-17T06:48:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。