論文の概要: Evolutionary Safety of Recursive Self-Improving AI: Taxonomy, Risk Discovery, and Evaluation

• arxiv url: http://arxiv.org/abs/2609.31186v1
• Date: Fri, 25 Sep 2026 12:17:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.376908
• Title: Evolutionary Safety of Recursive Self-Improving AI: Taxonomy, Risk Discovery, and Evaluation
• Title（参考訳）: 再帰的自己改善型AIの進化的安全性:分類学、リスク発見、評価
• Abstract要約: 我々は、進化を通して安全性がどのように変化し、持続し、蓄積し、伝播するかを研究する。 我々は,永続的エージェント状態,モデル状態,評価と環境フィードバック,計算基板,メタレベル更新機構にまたがる分類法を開発した。 この分類に基づいて、我々は、進化的リスクが州、更新、軌跡、系統でどのように発見され、評価されるかを検討する。
• 参考スコア（独自算出の注目度）: 7.260011558484158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial intelligence is advancing rapidly, with increasingly capable systems taking larger roles in reasoning, decision-making, scientific discovery, and autonomous development. As AI begins to participate in its own improvement, from model training and experience accumulation to agent evolution and automated AI development, the prospect of recursive self-improvement (RSI) is becoming increasingly relevant. This transition raises a fundamental safety question: how can safety be maintained when the system, its accumulated experience, and even the process producing its successors continue to change? We introduce Evolutionary Safety as a perspective for studying safety under persistent and recursive self-improvement. It concerns not only whether an AI system is safe at a particular moment, but how safety properties change, persist, accumulate, and propagate throughout evolution. We characterize recurring manifestations, including intent drift, error accumulation, experience contamination, safety-property erosion, evaluator drift, and risk propagation. We then develop a taxonomy spanning persistent agent state, model state, evaluation and environmental feedback, computational substrate, and meta-level update mechanisms. Building on this taxonomy, we examine how evolutionary risks can be discovered and evaluated across states, updates, trajectories, and lineages, and derive governance principles for modification, selection, authorization, provenance, and recovery. Finally, we outline open problems toward maintaining safety guarantees as AI systems become increasingly persistent, adaptive, and recursively self-improving. Project resources and proposed evaluation systems are available at https://chaunceykung.github.io/evolutionary-safety-rsi.
• Abstract（参考訳）: 人工知能は急速に進歩しており、推論、意思決定、科学的発見、自律開発においてより大きな役割を担っている。 モデルトレーニングや経験蓄積からエージェント進化、自動AI開発に至るまで、AIが独自の改善に参加し始めるにつれ、再帰的自己改善(RSI)の見通しはますます重要になっている。 この移行は、基本的な安全性に関する疑問を提起する。システム、その蓄積した経験、さらにはその後継者を生み出すプロセスさえも、どのようにして安全を維持することができるのか? 永続的かつ再帰的な自己改善の下での安全性研究の視点として進化的安全を紹介する。 それは、AIシステムが特定の瞬間に安全であるかどうかだけでなく、進化を通して安全性がどのように変化し、持続し、蓄積し、伝播するかを懸念する。 我々は、意図の漂流、エラー蓄積、経験汚染、安全性の損耗、評価器の漂流、リスク伝播など、繰り返し発生する現象を特徴付ける。 次に、永続的エージェント状態、モデル状態、評価および環境フィードバック、計算基板、メタレベル更新機構にまたがる分類法を開発する。 この分類に基づいて、我々は、国家、更新、軌跡、系統の進化的リスクの発見と評価方法を検討し、修正、選択、承認、証明、回復のためのガバナンス原則を導出する。 最後に、AIシステムがますます永続的で適応的になり、再帰的に自己改善するにつれて、安全保証を維持するためのオープンな問題を概説する。 プロジェクトリソースと提案された評価システムはhttps://chaunceykung.github.io/evolutionary-safety-rsi.comで公開されている。

関連論文リスト

• The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement [66.06470438483697]
  再帰的自己改善(Recursive self-improvement、RSI)は、AIシステムが経験とフィードバックを永続的な変化に変え、能力と将来の改善プロセスの両方を改善することを可能にする。
  論文  参考訳（メタデータ） (2026-09-10T17:44:23Z)
• SafeEvolve: Harness-Policy Co-Evolution from Agent Experience for Safety Alignment [51.263370090136696]
  エージェント安全アライメントのための経験駆動型フレームワークであるSafeEvolveを提案する。 我々は、完了したオン・ポリティィ・トラジェクトリから安全経験を活用して、ハーネス・ポリティ共進化の継続ループを駆動する。 Qwen3.5-4B の場合、SafeEvolve は AgentDojo の 3 倍の ASR 削減を実現し、良質なユーティリティを 59.79% から 61.86% に改善した。
  論文  参考訳（メタデータ） (2026-09-02T16:19:54Z)
• Towards Healthy Evolution: Exploring the Role and Mechanisms of Human-Agent Interaction in Self-Evolving Systems [30.399085963137836]
  自己進化エージェントは、連続的な自己再生と自己生成学習信号によって改善される。 Human-like Oversight and Review (ANCHOR)は、人間の監督をシミュレートし、自己進化のさまざまなフェーズでフィードバックを提供する。
  論文  参考訳（メタデータ） (2026-06-04T13:03:16Z)
• Trust as Monitoring: Evolutionary Dynamics of User Trust and AI Developer Behaviour [59.27481013639016]
  我々は、安全と安全でないAIのユーザー信頼戦略と開発者選択が、異なるレベルの監視コストと制度体制の下でどのように共存するかを研究する。 安全でない開発への採用、安全でないが広く採用されているシステム、そして広く採用されている安全なシステムです。
  論文  参考訳（メタデータ） (2026-03-25T19:04:23Z)
• The Devil Behind Moltbook: Anthropic Safety is Always Vanishing in Self-Evolving AI Societies [57.387081435669835]
  大規模言語モデルから構築されたマルチエージェントシステムは、スケーラブルな集合知性と自己進化のための有望なパラダイムを提供する。 エージェント社会が継続的自己進化、完全隔離、安全性の不変性を満たすことは不可能であることを示す。 我々は、特定された安全上の懸念を軽減するために、いくつかの解決方法を提案する。
  論文  参考訳（メタデータ） (2026-02-10T15:18:19Z)
• Your Agent May Misevolve: Emergent Risks in Self-evolving LLM Agents [58.69865074060139]
  エージェントの自己進化が意図しない方法で逸脱し、望ましくない結果や有害な結果に至る場合について検討する。 我々の経験から、誤進化は広範囲にわたるリスクであり、最上位のLSM上に構築されたエージェントにも影響を及ぼすことが判明した。 我々は、より安全で信頼性の高い自己進化型エージェントを構築するためのさらなる研究を促すための潜在的な緩和戦略について議論する。
  論文  参考訳（メタデータ） (2025-09-30T14:55:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。