論文の概要: Safe Harness Self-Evolution: A Theoretical Analysis of Feasibility and Limits
- arxiv url: http://arxiv.org/abs/2609.08175v1
- Date: Tue, 08 Sep 2026 03:04:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.562995
- Title: Safe Harness Self-Evolution: A Theoretical Analysis of Feasibility and Limits
- Title（参考訳）: 安全ハーネス自己進化 : 可能性と限界の理論的分析
- Abstract要約: Harness self-evolutionは、エージェントがタスクフィードバックに応じてプロンプト、ツール、コード、オーケストレーションを変更するプロセスである。
安全ハーネス自己進化の可能性と限界を体系的に理論的に分析する。
- 参考スコア（独自算出の注目度）: 36.26511953633407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Harness self-evolution is the process by which an agent modifies its prompts, tools, code, or orchestration in response to task feedback while keeping the underlying language model frozen, with changes persisting across subsequent tasks. We provide a systematic theoretical analysis of the feasibility and limits of safe harness self-evolution, connecting modification generation, finite-data certification and selection, safe adoption, and behavior after an update. Under a fixed user-task distribution, we establish conditions guaranteeing overall expected-reward improvement while controlling changes on retained tasks, characterize the probability of generating qualified modifications, and derive finite-data bounds for safe selection and adoption. Our analysis shows that generation and certification impose distinct constraints: current task performance does not determine the probability of generating qualified modifications, and generating more candidates need not improve the guarantee of a successful update when evaluation is limiting. Stagnation may therefore arise even when improvement opportunities remain. We further show that worst-case evaluation cost for recognizing genuine improvements diverges as expected reward approaches its upper bound. Across successive updates, certified improvement guarantees accumulate over a finite run, but a successful update does not by itself guarantee that further improvement remains possible. These results provide a basis for diagnosing bottlenecks and designing safer self-evolution mechanisms.
- Abstract（参考訳）: Harness self-evolutionは、エージェントがタスクフィードバックに応じてプロンプト、ツール、コード、オーケストレーションを変更するプロセスである。
安全利用の自己進化の可能性と限界を体系的に分析し、修正生成、有限データ認証と選択、安全な採用、そして更新後の振る舞いを接続する。
固定されたユーザタスク分布の下では、保持タスクの変更を制御しながら全体的な再帰的改善を保証する条件を確立し、適度な修正を生成する確率を特徴づけ、安全な選択と採用のための有限データ境界を導出する。
現状のタスク性能は,適度な修正を発生させる確率を判断せず,評価が制限された場合には,より多くの候補を生成することは,更新を成功させる保証を向上する必要はない。
したがって、改善の機会が残っている場合でも、停滞が生じる可能性がある。
さらに、期待される報酬が上限に近づくにつれて、真の改善を認識するための最悪の評価コストがばらばらになることを示す。
連続した更新を通じて、認定された改善保証は有限時間にわたって蓄積されるが、成功した更新は、さらなる改善が引き続き可能であることをそれ自体は保証しない。
これらの結果はボトルネックを診断し、より安全な自己進化機構を設計するための基盤を提供する。
関連論文リスト
- HarnessEvolve: Learning from Reference Trajectories for Reliable Agent Self-Evolution [11.431479238875712]
我々は、信頼できるエージェントの自己進化を実現するために、参照軌道から学習する自己進化フレームワークであるHarnessEvolveを紹介する。
私たちは、さまざまなモデルとエージェントフレームワークを使用して、オープンドメインとエンタープライズシナリオにまたがるいくつかのベンチマークで広範な実験を行います。
結果は、HarnessEvolveがすべてのベンチマークと設定で、最先端のベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-09-01T07:31:18Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - Less Approximates More: Harmonizing Performance and Confidence Faithfulness via Hybrid Post-Training for High-Stakes Tasks [52.81286869496811]
大規模な言語モデルは、自信を持って不正確な推論が現実世界の害を引き起こすような、ハイテイクなタスクにますますデプロイされている。
内的フィードバックからの教師なし強化学習と推論・トラス誘導型推論蒸留を併用して協調的に最適化することを提案する。
PRG方式のメトリクスを用いてRDとRLIFを適応的に重み付けするハイブリッドポストトレーニングフレームワークであるHyTuningを紹介する。
論文 参考訳（メタデータ） (2026-04-09T16:50:11Z) - Beyond Fixed Tests: Repository-Level Issue Resolution as Coevolution of Code and Behavioral Constraints [17.818522356206977]
ほとんどの大規模言語モデル(LLM)ベースの修復システムは、修理中に固定された動作制約を扱います。
本稿では,Agent-CoEvoを提案する。Agent-CoEvoは共進化的マルチエージェントフレームワークで,候補コードパッチとテストパッチを共同で探索し,洗練する。
Agent-CoEvoは、修復の成功と再現性の両方において、最先端のエージェントベースとエージェントレスベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-04-06T10:26:46Z) - SAHOO: Safeguarded Alignment for High-Order Optimization Objectives in Recursive Self-Improvement [16.505918019260964]
SAHOOは3つのセーフガードを通してドリフトを監視し制御するためのフレームワークである。
GDIは意味、語彙、構造、分布の計測を組み合わせた多信号検出器である。
制約保存チェックは、構文的正当性や非幻覚といった安全クリティカルな不変性を強制する。
論文 参考訳（メタデータ） (2026-03-06T14:44:51Z) - From Passive Metric to Active Signal: The Evolving Role of Uncertainty Quantification in Large Language Models [77.04403907729738]
このサーベイは、受動的診断基準からリアルタイムモデル動作を導くアクティブ制御信号への不確実性の進化をグラフ化する。
3つのフロンティアにまたがるアクティブ制御信号として不確実性がいかに活用されているかを示す。
この調査は、次世代のスケーラブルで信頼性があり、信頼できるAIを構築するためには、新しい不確実性のトレンドを習得することが不可欠である、と論じている。
論文 参考訳（メタデータ） (2026-01-22T06:21:31Z) - Audited Skill-Graph Self-Improvement for Agentic LLMs via Verifiable Rewards, Experience Synthesis, and Continual Memory [3.7163033180152536]
Audited Skill-Graph Self-Improvementは、自己改善をエージェントの反復的なコンパイルとしてスキルグラフに扱うフレームワークである。
本稿では,完全なシステムアーキテクチャ,脅威モデル,セキュリティ解析を提案し,完全に実行可能な参照実装を提供する。
論文 参考訳（メタデータ） (2025-12-28T19:39:47Z) - Towards Continuous Assurance with Formal Verification and Assurance Cases [0.5483130283061118]
我々は、トレース可能なモデル駆動ワークフロー内に設計時、実行時、進化時保証を統合する統合された継続的保証フレームワークを提案する。
我々は,核検査ロボットのシナリオに対するアプローチを実証し,三元AI原則との整合性について議論する。
論文 参考訳（メタデータ） (2025-11-17T18:42:38Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳（メタデータ） (2025-06-25T07:04:49Z) - Know Where You're Uncertain When Planning with Multimodal Foundation Models: A Formal Framework [54.40508478482667]
認識と計画生成の不確実性を解消し、定量化し、緩和する包括的枠組みを提案する。
本稿では,知覚と意思決定の独特な性質に合わせた手法を提案する。
この不確実性分散フレームワークは, 変動率を最大40%削減し, タスク成功率をベースラインに比べて5%向上させることを示した。
論文 参考訳（メタデータ） (2024-11-03T17:32:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。