論文の概要: When Better Gets Worse: Improvement Fidelity for Self-Improving Agents in Adaptive Worlds

• arxiv url: http://arxiv.org/abs/2609.32677v1
• Date: Sat, 26 Sep 2026 14:34:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 21:24:00.970505
• Title: When Better Gets Worse: Improvement Fidelity for Self-Improving Agents in Adaptive Worlds
• Title（参考訳）: 事態が悪化する時 - 適応的世界における自己改善エージェントの忠実性向上
• Abstract要約: 改善の忠実さは、改善プロセスが実際に提案する更新よりも、プロキシの改善がサインとデプロイメントの改善の順序を保存するかどうかを問うものだ。 PIVOT-KGは,単位コスト当たりの選択後悔の低減を期待して,少ない高忠実度評価を割り当てる決定対応検証器である。
• 参考スコア（独自算出の注目度）: 3.55777956232142
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-improving agents increasingly rely on proxy verifiers to choose policy updates, yet deployment can change the world in which those updates are evaluated. An update that looks better to the verifier can therefore become worse after deployment even when the verifier ranks policies well overall. We formalize this gap as Improvement Fidelity, which asks whether proxy improvements preserve the sign and ordering of deployment improvements over the updates an improvement process actually proposes. We show that global policy accuracy need not guarantee update fidelity: operator shift and deployment response can create update-level errors, while candidate margins determine whether those errors change the replacement decision. We introduce PIVOT-KG, a paired, decision-aware validator that allocates scarce high-fidelity evaluation according to the expected reduction in selection regret per unit cost. Across 90 held-out roots in Leduc, Kuhn, and Melting Pot, proxy and deployment optimal sets are disjoint in 51 cases. In an eight-candidate HighwayEnv stress test, PIVOT-KG reduces mean improvement-selection regret from 0.0435 under the exact Uniform validation rule to 0.0055 at the primary budget. Together, these results show why reliable self-improvement should evaluate proposed improvements in the worlds they induce, while providing a practical rule for allocating scarce deployment evidence when it can affect the replacement decision.
• Abstract（参考訳）: セルフ改善エージェントは、ポリシー更新を選択するためにプロキシ検証をますます頼りにしていますが、デプロイは、これらの更新を評価する世界を変えることができます。 したがって、検証者が全体的なポリシーを適切にランク付けしている場合でも、検証者にとってより良く見えるアップデートは、デプロイ後にさらに悪化する可能性がある。 改善プロセスが実際に提案している更新よりも、プロキシの改善がサインとデプロイメントの改善の順序を保存するかどうかを問う。 オペレータシフトとデプロイメントレスポンスは、更新レベルのエラーを発生させることができる一方で、候補マージンは、それらのエラーが代替決定を変更するかどうかを判断する。 PIVOT-KG(PIVOT-KG)は、単体コスト当たりの選択後悔の低減を期待して、少ない高忠実度評価を割り当てる一対の意思決定対応検証器である。 Leduc、Kuhn、Melting Potの保持された90のルートでは、プロキシとデプロイメントの最適セットは51のケースで分離される。 8候補のHighwayEnvストレステストでは、PIVOT-KGは、正確なUniform Validationルールの下で、平均的な改善選択の後悔を0.0435から0.0055に減らした。 これらの結果は、信頼性の高い自己改善が、それらが引き起こす世界に提案された改善を評価すべきであることを示すとともに、代替決定に影響を及ぼす可能性がある場合に、不足した展開証拠を割り当てるための実践的なルールを提供する。

関連論文リスト

• Which Self-Improvements Should We Trust? Reliable Self-Improvement When Agents Reuse Their Benchmarks [4.633684245833275]
  再帰的自己改善(RSI)は急速に進歩し、適応探索を導く上で信頼性の高い評価が重要である。 提案するREUSEは,修正された評価セットが反復的な適応的意思決定を支援するための認定評価・促進フレームワークである。 本稿では, 同時誤差制御, 累積的改善に対する有効下限, 適応的評価再利用の基本的な限界のキャラクタリゼーションを含む, RSI 評価のための詳細な統計理論を開発する。
  論文  参考訳（メタデータ） (2026-09-27T03:58:48Z)
• RRSI: Regularized Recursive Self-Improvement of Agent Harnesses [76.77275934611428]
  正規化再帰的自己改善型エージェント・ハーネス(RRSI) 本稿では、正規化の原則を取り入れたRRSIを紹介し、進化候補の提案と選択を制約することで自己改善を活用する。 RRSIは5つのアウト・オブ・ディストリビューション・ベンチマークで14.1ポイント、最大4.7ポイントを獲得し、非正規化進化よりも30%少ないポリシートークンで動作するハーネスを生産している。
  論文  参考訳（メタデータ） (2026-09-21T17:54:49Z)
• FINSKILLOPS: A Self-Evolving Multi-Agent System for SEC Filing QA [19.781137463581274]
  既存の自己改善手法は、失敗を新しい振る舞いに変えることができる。 我々は、デプロイ後の改善を、制御された行動維持とみなしている。 SECの申請QAのためのマルチエージェントシステムであるFINSKILLOPSで、この見解をインスタンス化する。
  論文  参考訳（メタデータ） (2026-09-17T04:25:17Z)
• Safe Harness Self-Evolution: A Theoretical Analysis of Feasibility and Limits [36.26511953633407]
  Harness self-evolutionは、エージェントがタスクフィードバックに応じてプロンプト、ツール、コード、オーケストレーションを変更するプロセスである。 安全ハーネス自己進化の可能性と限界を体系的に理論的に分析する。
  論文  参考訳（メタデータ） (2026-09-08T03:04:39Z)
• FRAMES: Guarded and Dual-Objective Skill Evolution for Agents in Policy-Governed Enterprise Workflows [10.830716991438878]
  FRAMESはクローズドループフレームワークで、既存のアセットからデプロイ可能なスキルをコールドスタートし、それを進化させる。 ベースライン間で最高の精度とコストのトレードオフを達成し、タウベンチで再現されるのと同じ利得が得られる。
  論文  参考訳（メタデータ） (2026-08-03T06:46:47Z)
• SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
  自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。 自己検証を計算制御ポリシとして使用することを学ぶ。 マクロ平均精度は0.563で、平均で2.99回しか推測できない。
  論文  参考訳（メタデータ） (2026-07-30T16:20:58Z)
• PACE: Anytime-Valid Acceptance Tests for Self-Evolving Agents [0.0]
  自己進化型エージェントは、自身のプロンプト、スキル、オーモーフィケーションの変更を繰り返し提案することで改善する。 Qwen2.5 のエージェント (0.5B-3B) が GSM8K, SVAMP, ARC-Challenge のプロンプトレベルで自己進化する際、greedy は 30-42% の偽陽性と 10-33% の有害な編集をコミットする。 PACEは実際のものをコミットし、グリーディのホールトアウトの精度を著しく低いばらつきと約18%低い評価コストで一致させる。
  論文  参考訳（メタデータ） (2026-06-06T11:12:11Z)
• One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。 本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。 実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
  論文  参考訳（メタデータ） (2026-05-21T08:25:27Z)
• On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
  既存の安全アライメント信号は、主に応答レベルまたは政治外である。 FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。 FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
  論文  参考訳（メタデータ） (2026-05-12T09:56:28Z)
• SEED-GRPO: Semantic Entropy Enhanced GRPO for Uncertainty-Aware Policy Optimization [57.69385990442078]
  大規模言語モデル(LLM)は、入力プロンプト(クエスト)にまたがる様々なレベルの信頼を示す。 セマンティックエントロピー(Semantic entropy)は、プロンプトが与えられた複数の生成された回答における意味の多様性を測定し、ポリシー更新の規模を変調するためにこれを使用する。
  論文  参考訳（メタデータ） (2025-05-18T10:20:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。