論文の概要: Compositional Safety Failures in Harness Evolution: Identification and Runtime Monitoring

• arxiv url: http://arxiv.org/abs/2609.33123v2
• Date: Tue, 29 Sep 2026 12:07:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.641889
• Title: Compositional Safety Failures in Harness Evolution: Identification and Runtime Monitoring
• Title（参考訳）: ハーネス進化における構成的安全性の失敗--同定と実行時モニタリング
• Abstract要約: 自己進化エージェントは、メモリ、プロンプト、スキル、ツールなどの永続的なコンポーネントを継続的に更新する。 本研究では, 安全かつ実用性に配慮したコンポーネント更新間の相互作用が, 望ましくない, 安全でないエージェントの挙動を生じさせる, ハーネス進化における構成的安全性障害について検討する。 本手法は,作業性を維持しながら構成安全リスクを効果的に軽減し,インタラクションチェックコストを低減させる。
• 参考スコア（独自算出の注目度）: 9.115792122058991
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-evolving agent harnesses continually update persistent components such as memory, prompts, skills, and tools. We call this process harness evolution. However, such evolution could introduce unexpected safety risks. Existing work studies harness misevolution and validates candidate harnesses or attributed individual component updates, leaving safety analysis of cross-component update interactions largely unexamined. To address this gap, we study compositional safety failures in harness evolution, where interactions among individually safe and utility-preserving component updates can produce undesirable or unsafe agent behavior, revealing a safety risk intrinsic to harness evolution. Across three safety-related benchmarks, we identify 43 pairwise and 18 irreducible 3-way compositional safety failures. Conventional solution incurs combinatorial complexity in validating cross-component interactions, leaving the safety checking impractical as the harness evolves. To solve this, we introduced a typed hypergraph that represents component states as nodes and safety-relevant higher-order interactions as hyperedges. When the harness changes, the hypergraph updates only the interaction neighborhood of the changed states rather than reconstructing the global composition space. Building on that, we develop a hypergraph-guided runtime monitoring mechanism. Experiments show that our method effectively mitigates compositional safety risks while preserving task utility and reducing interaction-checking costs, and further reveal an empirical safety-utility-cost trade-off across different safety mechanisms.
• Abstract（参考訳）: 自己進化エージェントは、メモリ、プロンプト、スキル、ツールなどの永続的なコンポーネントを継続的に更新する。 私たちはこのプロセスを進化と呼ぶ。 しかし、このような進化は予期せぬ安全リスクをもたらす可能性がある。 既存の研究は、誤った進化を利用して、候補となるハーネスや個々のコンポーネントの更新を検証し、コンポーネント間の更新インタラクションの安全性分析は、ほとんど検討されていないままである。 このギャップに対処するために、我々は、安全で実用的なコンポーネント更新間の相互作用が望ましくない、あるいは安全でないエージェントの振る舞いを生じさせ、進化を利用するのに固有の安全リスクを明らかにする、構成上の安全性の欠陥について研究する。 3つの安全関連ベンチマークで、43のペアワイドと18の既約3方向構成安全障害を同定した。 従来の解法は、相互成分相互作用の検証において組合せ複雑性を生じさせ、ハーネスが進化するにつれて安全性チェックを非現実的に残す。 そこで我々は,ノードとしてコンポーネント状態を表す型付きハイパーグラフと,ハイパーエッジとして安全関連の高い高次相互作用を導入した。 ハーネスが変化すると、ハイパーグラフはグローバルな合成空間を再構築するのではなく、変化した状態の相互作用近傍のみを更新する。 そこで我々はハイパーグラフ誘導型ランタイム監視機構を開発した。 提案手法は,タスクユーティリティの維持とインタラクションチェックコストの低減を両立させつつ,構成安全リスクを効果的に軽減し,また,異なる安全メカニズム間の実証的安全ユーティリティコストトレードオフを明らかにした。

関連論文リスト

• SEABench: Benchmarking Endogenous Misalignment In Self-Evolving Agents [49.54988737892722]
  自己進化型LDMエージェントは、ハーネスを変更することで、デプロイ後に改善する能力で有名になった。 SEABenchは、エージェントの自己進化から生じる内因性不整合を研究するためのベンチマークである。 自己進化はタスク完了率を高めるが、安全上の失敗の犠牲になることが多い。
  論文  参考訳（メタデータ） (2026-09-28T16:46:25Z)
• SafeEvolve: Harness-Policy Co-Evolution from Agent Experience for Safety Alignment [51.263370090136696]
  エージェント安全アライメントのための経験駆動型フレームワークであるSafeEvolveを提案する。 我々は、完了したオン・ポリティィ・トラジェクトリから安全経験を活用して、ハーネス・ポリティ共進化の継続ループを駆動する。 Qwen3.5-4B の場合、SafeEvolve は AgentDojo の 3 倍の ASR 削減を実現し、良質なユーティリティを 59.79% から 61.86% に改善した。
  論文  参考訳（メタデータ） (2026-09-02T16:19:54Z)
• SHE: Trajectory-driven Safety Harness Evolution for LLM Agents [63.74895225415523]
  既存の安全メカニズムは、ハーネスを固定されたデプロイメントアーティファクトとして扱い、新興リスクで進化する能力を制限する。 我々は、ロールアウト軌道から安全な境界を進化させるフレームワークであるSafety Harness Evolutionを提案する。 Agent-SafetyBenchの実験では、SHEはハーネスの進化を通じて安全性を効果的に向上し、静的なSafeHarnessと比較して3.1倍のASR削減を実現している。
  論文  参考訳（メタデータ） (2026-08-10T17:35:08Z)
• RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
  視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。 しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。 提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
  論文  参考訳（メタデータ） (2025-12-24T15:01:26Z)
• Safeguarded Progress in Reinforcement Learning: Safe Bayesian Exploration for Control Policy Synthesis [63.532413807686524]
  本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。 探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-12-18T16:09:43Z)
• State-Wise Safe Reinforcement Learning With Pixel Observations [12.338614299403305]
  本稿では,未知の危険領域に対する安全性の制約を効率的にエンコードする,新しい画素オブザービングセーフなRLアルゴリズムを提案する。 共同学習の枠組みとして,画素観測から導出した低次元潜在空間を用いた潜在力学モデルの構築から着目する。 次に、潜時力学の上に潜時バリアのような機能を構築・学習し、同時にポリシー最適化を行い、それによって安全性と総リターンの両方を改善します。
  論文  参考訳（メタデータ） (2023-11-03T20:32:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。