論文の概要: Recoverability and Verifier Strength: Two Measured Preconditions for Unattended Agent Self-Improvement
- arxiv url: http://arxiv.org/abs/2610.27465v1
- Date: Tue, 20 Oct 2026 01:32:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.578391
- Title: Recoverability and Verifier Strength: Two Measured Preconditions for Unattended Agent Self-Improvement
- Title（参考訳）: 回復性と検証力:未確認エージェント自己改善のための2つの測定条件
- Abstract要約: プラットフォームが測定可能な2つの量を提案する。
検証器強度$$は、利用可能な検証器が信頼された参照検証器とどの程度よく一致するかである。
ステップは、両方が適切であれば、意図せずに実行されるべきです。
- 参考スコア（独自算出の注目度）: 2.83533907065442
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agent platforms are starting to improve their own agents: they read a deployed agent's execution traces, derive a change, have an automated verifier approve it, and release it with no human author. How much of this loop can safely run without a human? We propose two quantities a platform can measure. Verifier strength $σ$ is how well the available verifier -- often an LLM judge -- agrees with a trusted reference verifier; it limits how much a step can improve the agent. Recoverability is how cheaply a bad change can be undone: whether undoing it needs a new verifier approval, and how much of the old behavior a rollback restores. A step should run unattended only if both are adequate. On our platform this rule allows prompt, tool and skill edits to run unattended and keeps weight updates under human sign-off. Our main contribution is these two definitions and how to measure them. We built a platform that applies the rule and tested it in two ways: on the platform's own approval gate, and in controlled experiments on the $τ^2$-bench agent benchmark. On verifier strength, the platform's LLM judge sometimes gave the same score no matter what it was shown (9 of 37 settings) and reported no error, so a verifier can look healthy while approving anything; its strength must be measured, and two simple tests catch the failure. On recoverability, restoring a saved copy brought the agent back to its original behavior, but a regenerated undo did not, so only changes whose old version is kept can be reversed without a human; and while a change was deployed, it altered the outcome of 17 percent of tasks beyond normal run-to-run variation, which no undo repairs. Together these support the rule: a change can run unattended only when its old version is kept and its verifier's strength has been measured.
- Abstract（参考訳）: エージェントプラットフォームは独自のエージェントを改善し始めている。デプロイされたエージェントの実行トレースを読み、変更を導き、自動検証器でそれを承認し、人間の作者なしでリリースする。
このループのどれぐらいが人間なしで安全に走れるのか?
プラットフォームが測定可能な2つの量を提案する。
検証器の強度$σ$は、利用可能な検証器(しばしば LLM の審査員)が信頼できる参照検証器とどの程度うまく一致しているかを示す。
回復性は、新しい検証者承認が必要かどうか、ロールバックがどれだけ古い振る舞いを復元するか、という、いかに安く、悪い変更が取り除かれる可能性があるかである。
ステップは、両方が適切であれば、意図せずに実行されるべきです。
私たちのプラットフォームでは、このルールにより、プロンプト、ツール、スキルの編集が未修正で実行でき、人間のサインオフの下で重み更新を維持できます。
私たちの主な貢献は、これらの2つの定義と測定方法です。
我々は、このルールを適用して、プラットフォーム独自の承認ゲートと、$τ^2$-benchエージェントベンチマークで制御された実験の2つの方法でテストした。
検証器の強度について、プラットフォームのLCM判事は、何が示されても(37設定中9)同じスコアを与え、エラーを報告しないため、検証器は何かを承認しながら健全に見え、その強度を計測し、2つの単純なテストで失敗をキャッチする。
回復性について、保存されたコピーを復元すると、エージェントは元の動作に戻されるが、再生されたundoは行わなかったため、古いバージョンが人間なしで保持された変更のみを反転させることができ、変更が展開されている間は、通常の実行時から実行時までのタスクの17%が変更され、undoは修正されない。
変更は、古いバージョンが保持され、検証者の強度が測定された場合にのみ、意図せず実行できる。
関連論文リスト
- When Can You Trust an Agent's Own Verifier? Stress-Testing Counterfactual Rationale Verification Under Search Pressure and Oracle Access [2.548904650574671]
エージェントがそれに対して最適化したら、検証者が信頼性を保つかどうかを問う。
私たちの貢献は新しい検証ではなく、ストレステストの方法です。
テストはRationale Consistency Score(RCS)という独自の検証装置に適用する。
我々は報告基準を提案し、検証を$$で監査し、これらのプローブを信頼する前に検証する。
論文 参考訳（メタデータ） (2026-10-16T00:41:30Z) - Structural Baselines Matter for Agent Failure Detection and Attribution [0.0]
2種類のモニターがこれに対処し、1つは実行が失敗したかどうかを判断し、もう1つは障害が避けられないステップを命名した。
常に最後のステップを名付けているルールは、実行を全く読まないまま、ここで67%$から96%$に修正されている。
検出のために、エージェントの内部状態は、エージェントベンチマークで書き起こしの長さとテキスト類似性を破り、テキストベースラインがそうでない場所で保持する。
論文 参考訳（メタデータ） (2026-10-12T12:13:48Z) - Who Verifies the Verifier? Co-Evolving Inspectable Graders with Self-Improving Agents [9.989306175511238]
すべての自己改善エージェントループがこれを何百回も答え、すべての答えは検証者から得られます。
オープンエンドタスクには、ループは存在しないので、ループは手書きのルーブリックや、モデル自体から出力をグラデーションする素の裁判官に渡される。
我々は検証器を進化する物体、すなわち小さな、主に決定論的検出器上での検査可能な表現にする。
論文 参考訳（メタデータ） (2026-10-08T08:13:53Z) - Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。
コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。
3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
論文 参考訳（メタデータ） (2026-10-07T17:37:19Z) - Agents Are Systems, Not Models: Rethinking Agentic Evaluation [80.87068485535677]
エージェントの構成の5つの部分(タスク情報、推論、自己検証、時間予算、バックボーンモデル)について検討する。
結果の約54%は、変更ではなく、同じ構成を繰り返すことによるものです。
ベンチマークと18,000以上のエージェントトラジェクトリをリリースする。
論文 参考訳（メタデータ） (2026-10-01T12:55:07Z) - ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳（メタデータ） (2026-09-08T17:53:37Z) - Rebuild Dossier: Mechanically-Enforced Specs for Agentic App Rebuilds, and What Model-Tier Failures Reveal [0.0]
restruct-dossierは、コードを記述する前にアプリケーションの実際のインターフェースをロックするオープンソースツールである。
自動チェックによるワンテスト・アズ・ア・タイムのビルドを強制する。
論文 参考訳（メタデータ） (2026-08-22T01:26:56Z) - Independent Patch Verification for Coding Agents with a Bidirectional Reconstruct-and-Verify Framework [49.16055123488827]
大規模言語モデルを利用したコーディングエージェントは、バグレポートから直接コードパッチを生成することができる。
報告された問題を真に解決するかどうかを独立に検証するメカニズムは存在しない。
本稿では,RETRACE をトレーニング不要なポストジェネレーション検証フレームワークとして提案する。
論文 参考訳（メタデータ） (2026-08-09T22:59:13Z) - Self-Authored Verification Is Unreliable in Heuristic Self-Improving Agents [5.91817208489443]
検証・受け入れ・デプロイのギャップについて検討する。
このギャップは、エージェントの自己承認された検証信号と封印されたデプロイメント評価との相違を指す。
シーリング型外因性受容ループ(SEAL)について紹介する。
論文 参考訳（メタデータ） (2026-07-27T11:45:14Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - Your Agents Are Aging Too: Agent Lifespan Engineering for Deployed Systems [60.79651380135334]
長寿命のAIエージェントは、永続的な運用システムとしてますますデプロイされる。
エージェントはデプロイ後、いつまで信頼できるのか?
エージェントライフスパンエンジニアリングのための縦型信頼性ベンチマークであるAgingBenchを紹介する。
論文 参考訳（メタデータ） (2026-05-25T19:55:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。