論文の概要: Safety Must Survive Self-Improvement: Why Failures Persist and How Agents Recover

• arxiv url: http://arxiv.org/abs/2610.01073v1
• Date: Thu, 01 Oct 2026 05:13:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.912596
• Title: Safety Must Survive Self-Improvement: Why Failures Persist and How Agents Recover
• Title（参考訳）: 安全を守らなければならない自己改善:なぜ失敗が持続し、エージェントがどうやって回復するか
• Abstract要約: 再帰的自己改善(RSI)により、エージェントは世代毎に有用な変更を実行できる。 我々は、ステートフルな認証タスクの制御テストベッドを通じてこれらの課題を研究する。
• 参考スコア（独自算出の注目度）: 25.659991228025433
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recursive self-improvement (RSI) allows agents to carry useful changes across generations. Maintaining safety across these generations involves both preventing unsafe behavior from persisting and enabling recovery when failures occur. We study these challenges through a controlled testbed of stateful authorization tasks, where fixed LLM editors optimize executable agent components and independent traces record their effects. Paired interventions separate which revisions pass validation, which program continues running, and which program the editor revises next. After a new authorization dependency invalidates previously tested optimizations, historical scores preserve the same unsafe programs in 22 of 48 framework histories despite a correct alternative in every affected archive. Refreshing scores restores correctness on the original suite, with residual failures on independently composed tests. Failures also persist under an unchanged contract when all proposals are rejected and the failed incumbent remains active. Starting from shared failures, editing the initial implementation instead of the failed one improves recovery, although the advantage varies across editors. Full validation and validated rollback end with fully correct programs in the core trajectory study while retaining over 43% deployment savings. Preserving agent safety requires checking what will run under current conditions and choosing which implementation to edit next.
• Abstract（参考訳）: 再帰的自己改善(RSI)により、エージェントは世代毎に有用な変更を実行できる。 これらの世代間の安全を維持するには、安全でない動作が持続するのを防ぐことと、障害が発生した時に回復を可能にすることの両方が含まれる。 固定LLMエディターが実行可能なエージェントコンポーネントを最適化し、独立したトレースがその効果を記録できるような、ステートフルな認証タスクの制御テストベッドを通じてこれらの課題を研究する。 ペア化された介入は、どのリビジョンが検証をパスし、どのプログラムが引き続き実行され、どのプログラムが次に修正されるかを分離する。 新たな認証依存関係が以前テストされた最適化を無効にした後、影響のあるすべてのアーカイブに正しい代替手段があるにも関わらず、過去のスコアは同じ安全でないプログラムを48のフレームワークヒストリー中22で保存する。 リフレッシュスコアはオリジナルのスイートの正しさを復元する。 すべての提案が拒否され、失敗した既存の提案がアクティブである場合、フェールは変更のない契約の下でも持続する。 共有障害から始めて、失敗したものの代わりに初期実装を編集することで、リカバリが改善されるが、利点はエディタによって異なる。 完全な検証とロールバックが完了し、コアトラジェクトリー調査では完全に正しいプログラムが実施され、デプロイメントの43%以上を節約した。 エージェントの安全性を維持するには、現在の条件下で何が実行されるかを確認し、次にどの実装を編集するかを選択する必要がある。

関連論文リスト

• RRSI: Regularized Recursive Self-Improvement of Agent Harnesses [76.77275934611428]
  正規化再帰的自己改善型エージェント・ハーネス(RRSI) 本稿では、正規化の原則を取り入れたRRSIを紹介し、進化候補の提案と選択を制約することで自己改善を活用する。 RRSIは5つのアウト・オブ・ディストリビューション・ベンチマークで14.1ポイント、最大4.7ポイントを獲得し、非正規化進化よりも30%少ないポリシートークンで動作するハーネスを生産している。
  論文  参考訳（メタデータ） (2026-09-21T17:54:49Z)
• Recoverability as a System Primitive for Long-Horizon AI Agents [5.008310199603767]
  再利用を明示的な決定とするシステムプリミティブとして,リカバリビリティを導入する。 4つの決定論的ファイルと20のペアファイルの課題は、正確な復元と完了が許可されていない開始点を隠蔽できることを示している。
  論文  参考訳（メタデータ） (2026-09-12T02:54:33Z)
• HarnessEvolve: Learning from Reference Trajectories for Reliable Agent Self-Evolution [11.431479238875712]
  我々は、信頼できるエージェントの自己進化を実現するために、参照軌道から学習する自己進化フレームワークであるHarnessEvolveを紹介する。 私たちは、さまざまなモデルとエージェントフレームワークを使用して、オープンドメインとエンタープライズシナリオにまたがるいくつかのベンチマークで広範な実験を行います。 結果は、HarnessEvolveがすべてのベンチマークと設定で、最先端のベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-09-01T07:31:18Z)
• REVISE: Validity-Guided Recovery for Online Revisions in Agent Workflows [5.5444120195759785]
  textscReviseは構造化エージェントのきめ細かい回復に有効である。 無効な作業を止め、最初期の紛争を超えて有効に確立された進捗を保ち、影響を受けた地域のみを再計算する。 モデルコールをフルリスタートに対して40.6--56.0%、サフィックス再計算に対して31.3--43.6%削減する。
  論文  参考訳（メタデータ） (2026-09-01T03:22:18Z)
• PAST-Bench: Benchmarking the Foundations of Recursive Self-Improvement in Personal Agents [50.9061759859778]
  PAST-Benchは、保持されたエクスペリエンスがエージェントを時間とともに実際に改善するかどうかを識別するために設計されたベンチマークである。 遅延タスクのゲインと、そのゲインが意図したセーブ、リトリーブ、更新パスに従うかどうかを報告します。 我々はHermes+を開発し、エージェントループの段階にわたって5つのターゲット的介入でHermesを拡張した。
  論文  参考訳（メタデータ） (2026-08-04T17:58:05Z)
• Self-Authored Verification Is Unreliable in Heuristic Self-Improving Agents [5.91817208489443]
  検証・受け入れ・デプロイのギャップについて検討する。 このギャップは、エージェントの自己承認された検証信号と封印されたデプロイメント評価との相違を指す。 シーリング型外因性受容ループ(SEAL)について紹介する。
  論文  参考訳（メタデータ） (2026-07-27T11:45:14Z)
• TTHE: Test-Time Harness Evolution [50.26245555541721]
  既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。 我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。 評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。 その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
  論文  参考訳（メタデータ） (2026-07-09T05:53:39Z)
• On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
  既存の安全アライメント信号は、主に応答レベルまたは政治外である。 FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。 FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
  論文  参考訳（メタデータ） (2026-05-12T09:56:28Z)
• ANNEAL: Adapting LLM Agents via Governed Symbolic Patch Learning [12.44509691077682]
  本稿では,繰り返し発生する障害をプロセス知識グラフのシンボル編集に変換する神経シンボルエージェントであるANNEALを紹介する。 その中核となるメカニズムであるFDKA(Failure-Driven Knowledge Acquisition)は、責任のあるオペレータをローカライズし、制約付きLLM生成を通じて型付きパッチを合成し、提案を検証する。 4つのドメインと27のマルチシードランをまたいだANNEALは、永続的な構造修復を行う唯一の評価システムである。
  論文  参考訳（メタデータ） (2026-05-04T05:24:03Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。