論文の概要: Cumulative and Audited Guardrail Tool Evolution for LLM Agent Safety

• arxiv url: http://arxiv.org/abs/2611.02516v1
• Date: Mon, 02 Nov 2026 04:36:16 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:13:56.71366
• Title: Cumulative and Audited Guardrail Tool Evolution for LLM Agent Safety
• Title（参考訳）: LLMエージェント安全のための累積および監査ガードレールツールの進化
• Abstract要約: EVOLVEは、累積的なセキュリティ進化のプロセスとしてエージェントセキュリティを定式化する、ツールレベルの自己進化型防衛フレームワークである。 EVOLVEは、人間の社会が体験を伝達可能な保護的知識にどのように変換するかに触発され、セキュリティ知識を実行可能なガードレールツールに外部化する。 EVOLVEは、さまざまなリスクシナリオにおける既存の防御を、+22%の平均F1スコアで一貫して上回る。
• 参考スコア（独自算出の注目度）: 91.89694600440801
• License:
• Abstract: Large language model (LLM) agents increasingly operate in open-world environments where safety risks cannot be fully predefined. However, most existing guardrail mechanisms remain static, relying on fixed rules, prompts, or classifiers that generalize poorly to emerging risks. Here we present EVOLVE, a tool-level self-evolving defense framework that formulates agent security as a process of cumulative security evolution. Inspired by how human societies transform experiences into transferable protective knowledge, EVOLVE externalizes security knowledge into executable guardrail tools that are continuously inherited, independently audited, and iteratively refined through lifelong interaction. Across multiple benchmarks, backbone models, and embodied environments, EVOLVE consistently outperforms existing defenses across diverse risk scenarios with +22\% average F1 score. We further validate the framework in real-world robotic and autonomous agent systems. Our results suggest that scalable agent safety may require continuously evolving defense systems rather than static guardrails.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、安全リスクを完全に事前に定義できないオープンワールド環境でますます運用される。 しかしながら、既存のガードレール機構のほとんどは、不安定なルールやプロンプト、あるいは新たなリスクを一般化する分類器に依存して、静的のままである。 ここでは、累積的なセキュリティ進化のプロセスとしてエージェントセキュリティを定式化するツールレベルの自己進化型防衛フレームワークEVOLVEを紹介する。 EVOLVEは、人間の社会が経験を伝達可能な保護的知識に変える方法に触発され、セキュリティ知識を連続的に継承し、独立的に監査し、生涯にわたるインタラクションを通じて反復的に洗練される、実行可能なガードレールツールに外部化する。 複数のベンチマーク、バックボーンモデル、実施環境において、EVOLVEは、+22\%の平均F1スコアで、さまざまなリスクシナリオにおける既存の防御を一貫して上回ります。 実世界のロボットと自律エージェントシステムの枠組みをさらに検証する。 以上の結果から,拡張性のあるエージェントの安全性には,静的ガードレールではなく,継続的な防御システムが必要である可能性が示唆された。

関連論文リスト

• SafeEvolve: Harness-Policy Co-Evolution from Agent Experience for Safety Alignment [51.263370090136696]
  エージェント安全アライメントのための経験駆動型フレームワークであるSafeEvolveを提案する。 我々は、完了したオン・ポリティィ・トラジェクトリから安全経験を活用して、ハーネス・ポリティ共進化の継続ループを駆動する。 Qwen3.5-4B の場合、SafeEvolve は AgentDojo の 3 倍の ASR 削減を実現し、良質なユーティリティを 59.79% から 61.86% に改善した。
  論文  参考訳（メタデータ） (2026-09-02T16:19:54Z)
• SHE: Trajectory-driven Safety Harness Evolution for LLM Agents [63.74895225415523]
  既存の安全メカニズムは、ハーネスを固定されたデプロイメントアーティファクトとして扱い、新興リスクで進化する能力を制限する。 我々は、ロールアウト軌道から安全な境界を進化させるフレームワークであるSafety Harness Evolutionを提案する。 Agent-SafetyBenchの実験では、SHEはハーネスの進化を通じて安全性を効果的に向上し、静的なSafeHarnessと比較して3.1倍のASR削減を実現している。
  論文  参考訳（メタデータ） (2026-08-10T17:35:08Z)
• A Systematic Security Evaluation of OpenClaw and Its Variants [26.64519805689193]
  本稿では,6つの代表的なOpenClaw-Seriesエージェントフレームワークのセキュリティ評価について述べる。 エージェント実行ライフサイクル全体にわたって、代表的な攻撃行動をカバーする205のテストケースのベンチマークを構築した。 以上の結果から, 評価されたエージェントはいずれも重大なセキュリティ上の脆弱性を示し, エージェント化されたシステムは, 基礎となるモデルよりもかなりリスクが高いことがわかった。
  論文  参考訳（メタデータ） (2026-04-03T15:52:36Z)
• The Devil Behind Moltbook: Anthropic Safety is Always Vanishing in Self-Evolving AI Societies [57.387081435669835]
  大規模言語モデルから構築されたマルチエージェントシステムは、スケーラブルな集合知性と自己進化のための有望なパラダイムを提供する。 エージェント社会が継続的自己進化、完全隔離、安全性の不変性を満たすことは不可能であることを示す。 我々は、特定された安全上の懸念を軽減するために、いくつかの解決方法を提案する。
  論文  参考訳（メタデータ） (2026-02-10T15:18:19Z)
• SafeEvalAgent: Toward Agentic and Self-Evolving Safety Evaluation of LLMs [37.82193156438782]
  本稿では, エージェント安全評価の新しいパラダイムとして, 継続的かつ自己進化的なプロセスとしてのリフレーミング評価を提案する。 本稿では、構造化されていないポリシー文書を自律的に取り込み、包括的な安全ベンチマークを生成し、永続的に進化させる、新しいマルチエージェントフレームワークSafeEvalAgentを提案する。 本実験はSafeEvalAgentの有効性を実証し,評価が強まるにつれてモデルの安全性が一貫した低下を示す。
  論文  参考訳（メタデータ） (2025-09-30T11:20:41Z)
• SafeAgent: Safeguarding LLM Agents via an Automated Risk Simulator [77.86600052899156]
  LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。 完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。 AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
  論文  参考訳（メタデータ） (2025-05-23T10:56:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。