論文の概要: ShieldAgent: Shielding Agents via Verifiable Safety Policy Reasoning

• arxiv url: http://arxiv.org/abs/2503.22738v1
• Date: Wed, 26 Mar 2025 17:58:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:36:30.576274
• Title: ShieldAgent: Shielding Agents via Verifiable Safety Policy Reasoning
• Title（参考訳）: ShieldAgent: 検証可能な安全ポリシー推論によるシールドエージェント
• Authors: Zhaorun Chen, Mintong Kang, Bo Li,
• Abstract要約: ShieldAgentは、他の保護されたエージェントの行動軌跡に対する明確な安全政策コンプライアンスを実施するために設計されたガードレールエージェントである。 保護剤の作用軌跡を考慮し、ShieldAgentは関連するルール回路を取得し、シールド計画を生成する。 ShieldAgentはAPIクエリを64.7%削減し、推論時間を58.2%削減した。
• 参考スコア（独自算出の注目度）: 7.481324060587101
• License:
• Abstract: Autonomous agents powered by foundation models have seen widespread adoption across various real-world applications. However, they remain highly vulnerable to malicious instructions and attacks, which can result in severe consequences such as privacy breaches and financial losses. More critically, existing guardrails for LLMs are not applicable due to the complex and dynamic nature of agents. To tackle these challenges, we propose ShieldAgent, the first guardrail agent designed to enforce explicit safety policy compliance for the action trajectory of other protected agents through logical reasoning. Specifically, ShieldAgent first constructs a safety policy model by extracting verifiable rules from policy documents and structuring them into a set of action-based probabilistic rule circuits. Given the action trajectory of the protected agent, ShieldAgent retrieves relevant rule circuits and generates a shielding plan, leveraging its comprehensive tool library and executable code for formal verification. In addition, given the lack of guardrail benchmarks for agents, we introduce ShieldAgent-Bench, a dataset with 3K safety-related pairs of agent instructions and action trajectories, collected via SOTA attacks across 6 web environments and 7 risk categories. Experiments show that ShieldAgent achieves SOTA on ShieldAgent-Bench and three existing benchmarks, outperforming prior methods by 11.3% on average with a high recall of 90.1%. Additionally, ShieldAgent reduces API queries by 64.7% and inference time by 58.2%, demonstrating its high precision and efficiency in safeguarding agents.
• Abstract（参考訳）: 基礎モデルを利用した自律エージェントは、様々な現実世界のアプリケーションで広く採用されている。 しかし、悪意のある指示や攻撃に対して脆弱なままであり、プライバシー侵害や金銭的損失などの重大な結果をもたらす可能性がある。 より重要なことは、エージェントの複雑でダイナミックな性質のため、既存のLLMのガードレールは適用できない。 これらの課題に対処するため、我々は、論理的推論を通じて、他の保護されたエージェントの行動軌跡に対する明確な安全政策コンプライアンスを強制するために設計された、最初のガードレールエージェントであるShieldAgentを提案する。 特に、ShieldAgentは、まず、ポリシー文書から検証可能なルールを抽出し、それらを一連のアクションベースの確率的ルール回路に構造化することで、安全ポリシーモデルを構築する。 保護されたエージェントの動作軌跡を考慮し、ShieldAgentは関連するルール回路を検索してシールド計画を生成し、その包括的なツールライブラリと実行可能なコードを形式検証に活用する。 さらに,エージェントのガードレールベンチマークが欠如していることを踏まえ,6つのWeb環境と7つのリスクカテゴリにわたるSOTA攻撃を通じて収集された,3Kセーフティ関連エージェント命令とアクショントラジェクトリを備えたデータセットであるShieldAgent-Benchを紹介した。 実験の結果、ShieldAgentはShieldAgent-Benchと既存の3つのベンチマークでSOTAを達成した。 さらに、ShieldAgentはAPIクエリを64.7%削減し、推論時間を58.2%削減する。

関連論文リスト

• SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [42.69984822098671]
  既存のベンチマークは主に重要な安全リスクを見落とし、パフォーマンスの計画に集中しています。 我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを提案する。 SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な、多種多様で高品質なデータセット、(2)低レベルコントローラを備えた普遍的な実施環境であるSafeAgentEnvは、8つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートし、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法である。
  論文  参考訳（メタデータ） (2024-12-17T18:55:58Z)
• AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents [84.96249955105777]
  LLMエージェントは誤用された場合、より大きなリスクを引き起こすが、その堅牢性は未発見のままである。 我々は, LLMエージェント誤用の研究を容易にするために, AgentHarmと呼ばれる新しいベンチマークを提案する。 主要なLLMは、ジェイルブレイクなしで悪意のあるエージェント要求に驚くほど準拠している。
  論文  参考訳（メタデータ） (2024-10-11T17:39:22Z)
• AgentMonitor: A Plug-and-Play Framework for Predictive and Secure Multi-Agent Systems [43.333567687032904]
  AgentMonitorはエージェントレベルで統合されたフレームワークで、インプットとアウトプットをキャプチャし、回帰モデルをトレーニングしてタスクのパフォーマンスを予測する統計に変換する。 さらに、悪意のあるエージェントによるセキュリティリスクに対処し、ネガティブな影響を軽減し、MASセキュリティを強化するために、リアルタイムの修正を適用することができる。
  論文  参考訳（メタデータ） (2024-08-27T11:24:38Z)
• AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
  本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。 従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。 エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
  論文  参考訳（メタデータ） (2024-07-17T17:59:47Z)
• GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning [79.07152553060601]
  安全ガード要求を満たすか否かを動的に確認し,目標エージェントを保護する最初のガードレールエージェントであるガードアジェントを提案する。 特にGuardAgentは、まず安全ガードの要求を分析してタスクプランを生成し、それからその計画をガードレールコードにマップして実行します。 GuardAgentは,98%,83%以上のガードレールアキュラシーを有する2つのベンチマークにおいて,異なる種類のエージェントに対する違反行為を効果的に抑制することを示した。
  論文  参考訳（メタデータ） (2024-06-13T14:49:26Z)
• TrustAgent: Towards Safe and Trustworthy LLM-based Agents [50.33549510615024]
  本稿では,エージェント・コンスティチューションをベースとしたエージェント・フレームワークであるTrustAgentについて述べる。 提案枠組みは,計画立案前のモデルに安全知識を注入する事前計画戦略,計画立案時の安全性を高める内計画戦略,計画後検査による安全性を確保する後計画戦略の3つの戦略要素を通じて,エージェント憲法の厳格な遵守を保証する。
  論文  参考訳（メタデータ） (2024-02-02T17:26:23Z)
• Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
  多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。 MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。 我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
  論文  参考訳（メタデータ） (2023-10-18T11:36:42Z)
• Safe Reinforcement Learning via Shielding for POMDPs [29.058332307331785]
  安全クリティカルな環境での強化学習(RL)は、破滅的な結果の決定を避けるためにエージェントを必要とする。 我々は,PMDPと最先端の深部RLアルゴリズムの密結合性について検討し,徹底的に評価する。 我々は、シールドを用いたRLエージェントが安全であるだけでなく、期待される報酬のより高い値に収束することを実証的に実証した。
  論文  参考訳（メタデータ） (2022-04-02T03:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。