論文の概要: SHE: Trajectory-driven Safety Harness Evolution for LLM Agents

• arxiv url: http://arxiv.org/abs/2608.09885v1
• Date: Mon, 10 Aug 2026 17:35:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.399382
• Title: SHE: Trajectory-driven Safety Harness Evolution for LLM Agents
• Title（参考訳）: SHE:LLMエージェントの軌道駆動型安全ハーネス進化
• Abstract要約: 既存の安全メカニズムは、ハーネスを固定されたデプロイメントアーティファクトとして扱い、新興リスクで進化する能力を制限する。 我々は、ロールアウト軌道から安全な境界を進化させるフレームワークであるSafety Harness Evolutionを提案する。 Agent-SafetyBenchの実験では、SHEはハーネスの進化を通じて安全性を効果的に向上し、静的なSafeHarnessと比較して3.1倍のASR削減を実現している。
• 参考スコア（独自算出の注目度）: 63.74895225415523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The safety of large language model (LLM) agents depends not only on model weights but also on the agent harness that manages context, memory, tools, permissions, and runtime control. Existing safety mechanisms often treat the harness as a fixed deployment artifact, limiting their ability to evolve with emerging risks. Moreover, coupled functions across harness components obscure safety responsibility attribution, making localized evolution difficult. We propose Safety Harness Evolution (SHE), a framework that learns evolving safe boundaries from rollout trajectories. SHE decomposes the harness into four artifacts with explicit safety responsibilities, including the System Prompt, Rule Bank, Safety Memory, and Tool Policy, defining clear functional boundaries for localized evolution. Based on this decomposition, SHE introduces an attribution-guided evolution loop that converts trajectory failures into structured diagnoses, learns artifact-specific boundary refinements, and selects evolved harnesses through safety-utility validation. Experiments on Agent-SafetyBench demonstrate that SHE effectively enhances safety through harness evolution, achieving a 3.1x ASR reduction compared with static SafeHarness, while also improving benign utility. The evolved harness further generalizes to unseen risks on the held-out AgentHarm benchmark and transfers across agent models without additional evolution.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントの安全性は、モデルウェイトだけでなく、コンテキスト、メモリ、ツール、パーミッション、ランタイム制御を管理するエージェントハーネスにも依存する。 既存の安全メカニズムは、しばしばハーネスを固定されたデプロイメントアーティファクトとして扱い、新興リスクで進化する能力を制限する。 さらに、ハーネスコンポーネント間の結合関数は、安全責任の帰属を曖昧にし、局所的な進化を困難にしている。 ロールアウト軌道から安全なバウンダリを進化させるフレームワークであるSafety Harness Evolution (SHE)を提案する。 SHEは、このハーネスを、システムプロンプト、ルールバンク、セーフティメモリ、ツールポリシーなど、明確な安全責任を持つ4つのアーティファクトに分解し、ローカライズされた進化のための明確な機能境界を定義する。 この分解に基づいて、SHEは帰属誘導進化ループを導入し、軌道障害を構造化診断に変換し、アーティファクト固有の境界補正を学習し、安全利用検証を通じて進化したハーネスを選択する。 Agent-SafetyBenchの実験では、SHEはハーネスの進化を通じて安全性を効果的に向上し、静的なSafeHarnessに比べて3.1倍のASR削減を実現し、良質な実用性も向上している。 進化したハーネスは、ホールドアウトされたAgentHarmベンチマークのリスクと、さらなる進化を伴わないエージェントモデル間の転送をさらに一般化する。

関連論文リスト

• SafeEvolve: Harness-Policy Co-Evolution from Agent Experience for Safety Alignment [51.263370090136696]
  エージェント安全アライメントのための経験駆動型フレームワークであるSafeEvolveを提案する。 我々は、完了したオン・ポリティィ・トラジェクトリから安全経験を活用して、ハーネス・ポリティ共進化の継続ループを駆動する。 Qwen3.5-4B の場合、SafeEvolve は AgentDojo の 3 倍の ASR 削減を実現し、良質なユーティリティを 59.79% から 61.86% に改善した。
  論文  参考訳（メタデータ） (2026-09-02T16:19:54Z)
• RUBAS: Rubric-Based Reinforcement Learning for Agent Safety [93.80584563695646]
  RUBASは、エージェント安全性のためのルーリックベースの強化学習フレームワークである。 エージェントの動作は、ツール使用の安全性、引数の安全性、応答の安全性、役に立つ4つの次元に分けられる。 実験により、RUBASは標準アライメントベースラインよりも安全性を向上し、ツール接地幻覚を低減し、競争力を維持することが示されている。
  論文  参考訳（メタデータ） (2026-06-02T09:02:14Z)
• Auditing Agent Harness Safety [81.22315979618612]
  LLMエージェントは、ツールをディスパッチし、リソースを割り当て、特別なコンポーネント間でメッセージをルーティングする実行ハーネスの中でますます動作します。 ほとんどの安全ベンチマークは最終出力または終端状態のみをスコアするが、多くの違反は終端ではなく、軌道の途中で発生する。 HarnessAuditは、境界コンプライアンス、実行の忠実さ、システムの安定性など、完全な実行軌跡を監査するフレームワークである。
  論文  参考訳（メタデータ） (2026-05-14T02:14:28Z)
• On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
  既存の安全アライメント信号は、主に応答レベルまたは政治外である。 FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。 FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
  論文  参考訳（メタデータ） (2026-05-12T09:56:28Z)
• Enhancing Agent Safety Judgment: Controlled Benchmark Rewriting and Analogical Reasoning for Deceptive Out-of-Distribution Scenarios [0.2578242050187029]
  ROMEは、既知の安全でないトラジェクトリを偽評価インスタンスに書き換える、制御されたベンチマーク構築パイプラインである。 ARISEは、外部アナログベースからReActスタイルのアナログ安全軌道を抽出し、それらを構造化推論例として注入する検索誘導推論時間拡張である。
  論文  参考訳（メタデータ） (2026-05-05T00:21:00Z)
• AgentDoG: A Diagnostic Guardrail Framework for AI Agent Safety and Security [126.49733412191416]
  現在のガードレールモデルは、リスク診断におけるエージェント的リスク認識と透明性を欠いている。 エージェントリスクをソース(場所)、障害モード(方法)、結果(何)で分類する統合された3次元分類法を提案する。 AgentDoG(AgentDoG)のための,エージェント安全性ベンチマーク(ATBench)と診断ガードレールフレームワークを新たに導入する。
  論文  参考訳（メタデータ） (2026-01-26T13:45:41Z)
• Preemptive Detection and Steering of LLM Misalignment via Latent Reachability [8.01833277608166]
  大規模言語モデル(LLM)は現在、日常的なツールで広く普及しており、有害なコンテンツを生成する傾向について緊急の安全上の懸念を提起している。 我々は, LLM推論に制御理論安全ツールを提供する, 到達可能性に基づくフレームワークであるBRT-Alignを提案する。
  論文  参考訳（メタデータ） (2025-09-25T20:15:29Z)
• Lyapunov-based uncertainty-aware safe reinforcement learning [0.0]
  InReinforcement Learning (RL)は、様々なシーケンシャルな意思決定タスクに対して最適なポリシーを学ぶ上で、有望なパフォーマンスを示している。 多くの現実世界のRL問題において、主な目的を最適化する以外に、エージェントは一定のレベルの安全性を満たすことが期待されている。 これらの制約に対処するために,リャプノフに基づく不確実性を考慮した安全なRLモデルを提案する。
  論文  参考訳（メタデータ） (2021-07-29T13:08:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。