論文の概要: AGrail: A Lifelong Agent Guardrail with Effective and Adaptive Safety Detection

• arxiv url: http://arxiv.org/abs/2502.11448v2
• Date: Tue, 18 Feb 2025 05:37:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:02:19.205043
• Title: AGrail: A Lifelong Agent Guardrail with Effective and Adaptive Safety Detection
• Title（参考訳）: AGrail: 有効かつ適応的な安全検知機能を備えたライフロングエージェントガードレール
• Authors: Weidi Luo, Shenghong Dai, Xiaogeng Liu, Suman Banerjee, Huan Sun, Muhao Chen, Chaowei Xiao,
• Abstract要約: 我々は,エージェントの安全性を高めるため,生涯のガードレールであるAGrailを提案する。 AGrailは適応型安全チェック生成、効果的な安全チェック最適化、ツールの互換性と柔軟性を備えている。
• 参考スコア（独自算出の注目度）: 47.83354878065321
• License:
• Abstract: The rapid advancements in Large Language Models (LLMs) have enabled their deployment as autonomous agents for handling complex tasks in dynamic environments. These LLMs demonstrate strong problem-solving capabilities and adaptability to multifaceted scenarios. However, their use as agents also introduces significant risks, including task-specific risks, which are identified by the agent administrator based on the specific task requirements and constraints, and systemic risks, which stem from vulnerabilities in their design or interactions, potentially compromising confidentiality, integrity, or availability (CIA) of information and triggering security risks. Existing defense agencies fail to adaptively and effectively mitigate these risks. In this paper, we propose AGrail, a lifelong agent guardrail to enhance LLM agent safety, which features adaptive safety check generation, effective safety check optimization, and tool compatibility and flexibility. Extensive experiments demonstrate that AGrail not only achieves strong performance against task-specific and system risks but also exhibits transferability across different LLM agents' tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩により、動的環境における複雑なタスクを処理するための自律的なエージェントとしてデプロイできるようになった。 これらのLCMは、多面的シナリオに対する強力な問題解決能力と適応性を示す。 しかし、エージェントとしての使用は、特定のタスク要件と制約に基づいてエージェント管理者によって特定されるタスク固有のリスクや、設計やインタラクションの脆弱性から生じるシステム的リスク、情報の機密性、完全性、あるいは可用性(CIA)を損なう可能性があり、セキュリティリスクを引き起こします。 既存の防衛機関はこれらのリスクを適応的に効果的に軽減することができません。 本稿では,LLMエージェントの安全性を高めるための長寿命エージェントガードレールAGrailを提案し,適応型安全チェック生成,効果的な安全チェック最適化,ツール互換性と柔軟性を特徴とする。 大規模な実験では、AGrailはタスク固有のリスクやシステムリスクに対して高いパフォーマンスを達成するだけでなく、異なるLLMエージェントのタスク間での転送可能性も示している。

関連論文リスト

• Safeguarding AI Agents: Developing and Analyzing Safety Architectures [0.0]
  本稿では,人間チームと連携するAIシステムにおける安全対策の必要性について論じる。 我々は,AIエージェントシステムにおける安全プロトコルを強化する3つのフレームワークを提案し,評価する。 これらのフレームワークはAIエージェントシステムの安全性とセキュリティを大幅に強化することができると結論付けている。
  論文  参考訳（メタデータ） (2024-09-03T10:14:51Z)
• SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• Athena: Safe Autonomous Agents with Verbal Contrastive Learning [3.102303947219617]
  大規模言語モデル(LLM)は、様々なタスクを実行するために言語ベースのエージェントとして利用されてきた。 本研究では,言語コントラスト学習の概念を活用したアテナフレームワークを提案する。 このフレームワークには、エージェントを誘導するクオリティ機構も組み込まれており、各ステップにおけるリスクのあるアクションを防ぐ。
  論文  参考訳（メタデータ） (2024-08-20T17:21:10Z)
• Preemptive Detection and Correction of Misaligned Actions in LLM Agents [70.54226917774933]
  InferActは、実行前に不整合アクションを検出する新しいアプローチである。 タイムリーな修正をユーザーに警告し、有害な結果を防ぐ。 InferActは、ミスアライメントされたアクション検出におけるベースラインに対するMarco-F1の最大20%の改善を実現している。
  論文  参考訳（メタデータ） (2024-07-16T15:24:44Z)
• Purple-teaming LLMs with Adversarial Defender Training [57.535241000787416]
  本稿では,PAD(Adversarial Defender Training)を用いたPurple-teaming LLMを提案する。 PADは、赤チーム(アタック)技術と青チーム(セーフティトレーニング)技術を新たに取り入れることで、LSMを保護するために設計されたパイプラインである。 PADは、効果的な攻撃と堅牢な安全ガードレールの確立の両方において、既存のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-07-01T23:25:30Z)
• Current state of LLM Risks and AI Guardrails [0.0]
  大規模言語モデル(LLM)はますます洗練され、安全性と信頼性が最優先されるセンシティブなアプリケーションに広くデプロイされるようになる。 これらのリスクは、LSMを望ましい行動と整合させ、潜在的な害を軽減するために、"ガードレール"の開発を必要とする。 本研究は,LLMの展開に伴うリスクを調査し,ガードレールの実装とモデルアライメント技術に対する現在のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-06-16T22:04:10Z)
• Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
  大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。 彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。 本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• TrustAgent: Towards Safe and Trustworthy LLM-based Agents [50.33549510615024]
  本稿では,エージェント・コンスティチューションをベースとしたエージェント・フレームワークであるTrustAgentについて述べる。 提案枠組みは,計画立案前のモデルに安全知識を注入する事前計画戦略,計画立案時の安全性を高める内計画戦略,計画後検査による安全性を確保する後計画戦略の3つの戦略要素を通じて,エージェント憲法の厳格な遵守を保証する。
  論文  参考訳（メタデータ） (2024-02-02T17:26:23Z)
• Risk-aware Safe Control for Decentralized Multi-agent Systems via Dynamic Responsibility Allocation [36.52509571098292]
  我々は,個別のエージェントが他者との衝突を避けるためにどの程度の責任を負うべきかに関するガイダンスを提供する,リスク対応の分散制御フレームワークを提案する。 本研究では,移動不確実性下での衝突により発生する危険物質を特徴付けるために,新しい制御バリア関数(CBF)によるリスク測定を提案する。 ロボットの柔軟性を低いリスクで活用し、より高いリスクを持つ人の動きの柔軟性を向上させることで、集団安全性を向上させることができる。
  論文  参考訳（メタデータ） (2023-05-22T20:21:49Z)
• Safety Aware Reinforcement Learning (SARL) [4.4617911035181095]
  我々は、エージェントが第一のタスクでポリシーを実行しながら、望ましくない副作用を引き起こすことができるシナリオの研究に焦点をあてる。 与えられた環境ダイナミクスに対して複数のタスクを定義することができるので、2つの重要な課題があります。 仮想安全なエージェントが主報酬に基づくエージェントの行動を調整し、副作用を最小限に抑えるためのフレームワークである安全意識強化学習(SARL)を提案する。
  論文  参考訳（メタデータ） (2020-10-06T16:08:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。