論文の概要: Safety in Self-Evolving Agents: A Survey

• arxiv url: http://arxiv.org/abs/2610.00093v1
• Date: Tue, 08 Sep 2026 05:04:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.362208
• Title: Safety in Self-Evolving Agents: A Survey
• Title（参考訳）: 自己進化型エージェントの安全性に関する調査
• Abstract要約: 大きな言語モデル(LLM)は強力な汎用能力を示すが、そのパラメータは通常、デプロイ後に固定され、新しいインタラクションからの学習が制限される。 経験が再利用可能な状態になり、過去の出来事が将来の原因になり、ある文脈で無害な情報が後により大きな永続性、権威、あるいは範囲で決定に影響を与える可能性がある。 私たちは、再利用可能な影響を特定する移行中心のフレームワークであるSAVERを導入し、Adaptationは変更の仕方を捉え、Violationは破損した安全属性を特定し、障害が観測可能な露出マークを識別し、Responseは封じ込め、修復、取り消しを評価します。
• 参考スコア（独自算出の注目度）: 65.20955577335691
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) exhibit strong general capabilities, yet their parameters typically remain fixed after deployment, limiting learning from new interactions. In open-ended environments, this motivates self-evolving agents that continually update reusable state-including model parameters, memories, tool definitions, skills, and workflows-from data, feedback, and accumulated experience. This shift changes the safety problem: once experience becomes reusable state, past events become future causes, and information harmless in one context may later influence decisions with greater persistence, authority, or scope. Self-evolving agent safety therefore asks not only whether a response is aligned or an action authorized, but whether safety properties survive the accumulation, generalization, and cross-context reuse of locally useful experience. We introduce SAVER, a transition-centered framework in which Substrate locates reusable influence, Adaptation captures how it changes, Violation identifies compromised safety attributes, Exposure marks where failures become observable, and Response assesses containment, repair, or revocation. Our survey reveals that failures need not originate from harmful information: legitimate state can become unsafe when adaptation expands its persistence, authority, or scope beyond the conditions under which it was valid. Existing work provides comparatively strong evidence for admission, retrieval, activation, exposure, and local containment, but much less for descendant repair and evaluation after adaptation resumes. We therefore argue for longitudinal evaluation that traces unsafe influence to its originating transition, verifies repair across descendants, and tests whether it can re-emerge under continued evolution.
• Abstract（参考訳）: 大きな言語モデル(LLM)は強力な汎用能力を示すが、そのパラメータは通常、デプロイ後に固定され、新しいインタラクションからの学習が制限される。 オープンエンド環境では、再利用可能なモデルパラメータ、記憶、ツール定義、スキル、データ、フィードバック、蓄積されたエクスペリエンスからワークフローを継続的に更新するセルフ進化エージェントを動機付ける。 経験が再利用可能な状態になり、過去の出来事が将来の原因になり、ある文脈で無害な情報が後により大きな永続性、権威、あるいは範囲で決定に影響を与える可能性がある。 したがって、自己進化型エージェントの安全性は、応答が一致しているか、承認されたアクションであるかだけでなく、安全性特性が局所的な有用な体験の蓄積、一般化、コンテキスト間の再利用を生き残るかどうかを問う。 私たちは、再利用可能な影響を特定する移行中心のフレームワークであるSAVERを導入し、Adaptationは変更の仕方を捉え、Violationは破損した安全属性を識別し、障害が観測可能な露出マークを識別し、Re Responseは封じ込め、修復、取り消しを評価します。 我々の調査では、障害は有害な情報から生じる必要はなく、適応が持続性、権限、あるいはそれが有効である条件を超えて範囲を広げると、正当な状態が安全でない可能性があることを明らかにした。 既存の研究は、入場、回収、アクティベーション、露出、局所的な封じ込めに関する比較的強力な証拠を提供するが、適応再開後の子孫の修復と評価にははるかに少ない。 そこで, 本研究は, 起源の遷移に不安全の影響を辿り, 子孫間の修復を検証し, 進化が継続して再開できるかどうかを検証し, 長期的評価について論じる。

関連論文リスト

• SEABench: Benchmarking Endogenous Misalignment In Self-Evolving Agents [49.54988737892722]
  自己進化型LDMエージェントは、ハーネスを変更することで、デプロイ後に改善する能力で有名になった。 SEABenchは、エージェントの自己進化から生じる内因性不整合を研究するためのベンチマークである。 自己進化はタスク完了率を高めるが、安全上の失敗の犠牲になることが多い。
  論文  参考訳（メタデータ） (2026-09-28T16:46:25Z)
• Towards Reversible Forgetting: Managing Obsolete Knowledge in Continual Enterprise AI Agents [0.0]
  継続的な学習は伝統的に忘れを失敗として扱い、環境が進化するにつれて獲得した知識の保存を強調する。 この目的は、非定常環境で動作するエンタープライズAIエージェントには不完全である、と我々は主張する。 本稿では,3つの動作記憶状態 – アクティブ,休眠状態,退職状態 – と,関連する知識を回復可能な再活性化遷移を備えた概念的フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-18T00:38:46Z)
• Diagnose, Recover, Certify: Task Readiness under Hidden Dynamics Changes [10.10742501508043]
  本稿では,アクティブチェンジ診断とポストチェンジ制御の回復を統一する決定問題である,休息時ダイナミクスドリフトにおけるタスクの即応性を導入する。 Evidence-Gated Matched-Pulse Transport(英語版)を提案する。 複数のシミュレーターにまたがる様々なドミナント・アクチュエーター・ベンチマークで、その結果のフレームワークを評価する。
  論文  参考訳（メタデータ） (2026-07-30T12:30:16Z)
• On Safety Risks in Experience-Driven Self-Evolving Agents [78.82066774532676]
  本研究では, 自己進化型エージェントの蓄積と利用が, Web ベースおよび実施環境における安全性能に与える影響について検討する。 本研究は,現在の自己進化剤の限界を明らかにするとともに,安全で信頼性の高い適応を確実にするための,より原則化された戦略を求めるものである。
  論文  参考訳（メタデータ） (2026-04-18T11:32:36Z)
• ADReFT: Adaptive Decision Repair for Safe Autonomous Driving via Reinforcement Fine-Tuning [22.803044962152878]
  自律運転システムに対する適応決定修復(ADreFT)を提案する。 ADReFTは、失敗するテストからのオフライン学習を通じて安全クリティカルな状態を識別し、適切な緩和アクションを生成する。 評価結果から,ADReFTによる補修性能の向上が示唆された。
  論文  参考訳（メタデータ） (2025-06-30T15:29:36Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。