論文の概要: AGrail: A Lifelong Agent Guardrail with Effective and Adaptive Safety Detection

• arxiv url: http://arxiv.org/abs/2502.11448v1
• Date: Mon, 17 Feb 2025 05:12:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:11:58.558910
• Title: AGrail: A Lifelong Agent Guardrail with Effective and Adaptive Safety Detection
• Title（参考訳）: AGrail: 有効かつ適応的な安全検知機能を備えたライフロングエージェントガードレール
• Authors: Weidi Luo, Shenghong Dai, Xiaogeng Liu, Suman Banerjee, Huan Sun, Muhao Chen, Chaowei Xiao,
• Abstract要約: 我々は,エージェントの安全性を高めるため,生涯のガードレールであるAGrailを提案する。 AGrailは適応型安全チェック生成、効果的な安全チェック最適化、ツールの互換性と柔軟性を備えている。
• 参考スコア（独自算出の注目度）: 47.83354878065321
• License:
• Abstract: The rapid advancements in Large Language Models (LLMs) have enabled their deployment as autonomous agents for handling complex tasks in dynamic environments. These LLMs demonstrate strong problem-solving capabilities and adaptability to multifaceted scenarios. However, their use as agents also introduces significant risks, including task-specific risks, which are identified by the agent administrator based on the specific task requirements and constraints, and systemic risks, which stem from vulnerabilities in their design or interactions, potentially compromising confidentiality, integrity, or availability (CIA) of information and triggering security risks. Existing defense agencies fail to adaptively and effectively mitigate these risks. In this paper, we propose AGrail, a lifelong agent guardrail to enhance LLM agent safety, which features adaptive safety check generation, effective safety check optimization, and tool compatibility and flexibility. Extensive experiments demonstrate that AGrail not only achieves strong performance against task-specific and system risks but also exhibits transferability across different LLM agents' tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩により、動的環境における複雑なタスクを処理するための自律的なエージェントとしてデプロイできるようになった。 これらのLCMは、多面的シナリオに対する強力な問題解決能力と適応性を示す。 しかし、エージェントとしての使用は、特定のタスク要件と制約に基づいてエージェント管理者によって特定されるタスク固有のリスクや、設計やインタラクションの脆弱性から生じるシステム的リスク、情報の機密性、完全性、あるいは可用性(CIA)を損なう可能性があり、セキュリティリスクを引き起こします。 既存の防衛機関はこれらのリスクを適応的に効果的に軽減することができません。 本稿では,LLMエージェントの安全性を高めるための長寿命エージェントガードレールAGrailを提案し,適応型安全チェック生成,効果的な安全チェック最適化,ツール互換性と柔軟性を特徴とする。 大規模な実験では、AGrailはタスク固有のリスクやシステムリスクに対して高いパフォーマンスを達成するだけでなく、異なるLLMエージェントのタスク間での転送可能性も示している。

関連論文リスト

• Multi-Agent Risks from Advanced AI [90.74347101431474]
  先進的なAIのマルチエージェントシステムは、新規で未発見のリスクを生じさせる。 エージェントのインセンティブに基づく3つの重要な障害モードと7つの重要なリスク要因を同定する。 各リスクのいくつかの重要な事例と、それらを緩和するための有望な方向性を強調します。
  論文  参考訳（メタデータ） (2025-02-19T23:03:21Z)
• AgentGuard: Repurposing Agentic Orchestrator for Safety Evaluation of Tool Orchestration [0.3222802562733787]
  AgentGuardは、安全でないツールの使用を自律的に発見し、検証するフレームワークである。 エージェントの動作を限定する安全制約を生成し、安全保証の基準を達成する。 フレームワークは、安全でないことを識別し、実際の実行でそれらを検証し、安全性の制約を生成し、制約の有効性を検証する。
  論文  参考訳（メタデータ） (2025-02-13T23:00:33Z)
• Agent-SafetyBench: Evaluating the Safety of LLM Agents [72.92604341646691]
  我々は,大規模言語モデル(LLM)の安全性を評価するための総合ベンチマークであるAgent-SafetyBenchを紹介する。 Agent-SafetyBenchは349のインタラクション環境と2,000のテストケースを含み、安全リスクの8つのカテゴリを評価し、安全でないインタラクションで頻繁に発生する10の一般的な障害モードをカバーする。 16 名の LLM エージェントを評価した結果,いずれのエージェントも 60% 以上の安全性スコアを達成できないことがわかった。
  論文  参考訳（メタデータ） (2024-12-19T02:35:15Z)
• SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [42.69984822098671]
  LLMエージェントの安全性を考慮したタスク計画のための新しいベンチマークであるSafeAgentBenchを紹介する。 最高のパフォーマンスのベースラインは、安全なタスクで69%の成功率を得るが、有害なタスクでは5%の拒絶率しか得られない。
  論文  参考訳（メタデータ） (2024-12-17T18:55:58Z)
• Safeguarding AI Agents: Developing and Analyzing Safety Architectures [0.0]
  本稿では,人間チームと連携するAIシステムにおける安全対策の必要性について論じる。 我々は,AIエージェントシステムにおける安全プロトコルを強化する3つのフレームワークを提案し,評価する。 これらのフレームワークはAIエージェントシステムの安全性とセキュリティを大幅に強化することができると結論付けている。
  論文  参考訳（メタデータ） (2024-09-03T10:14:51Z)
• SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• Current state of LLM Risks and AI Guardrails [0.0]
  大規模言語モデル(LLM)はますます洗練され、安全性と信頼性が最優先されるセンシティブなアプリケーションに広くデプロイされるようになる。 これらのリスクは、LSMを望ましい行動と整合させ、潜在的な害を軽減するために、"ガードレール"の開発を必要とする。 本研究は,LLMの展開に伴うリスクを調査し,ガードレールの実装とモデルアライメント技術に対する現在のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-06-16T22:04:10Z)
• Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
  大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。 彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。 本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• TrustAgent: Towards Safe and Trustworthy LLM-based Agents [50.33549510615024]
  本稿では,エージェント・コンスティチューションをベースとしたエージェント・フレームワークであるTrustAgentについて述べる。 提案枠組みは,計画立案前のモデルに安全知識を注入する事前計画戦略,計画立案時の安全性を高める内計画戦略,計画後検査による安全性を確保する後計画戦略の3つの戦略要素を通じて,エージェント憲法の厳格な遵守を保証する。
  論文  参考訳（メタデータ） (2024-02-02T17:26:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。