論文の概要: Monitor Accuracy Isn't the Answer: A Decision-Value Framework for Evaluating AI Agent Restart Monitors
- arxiv url: http://arxiv.org/abs/2610.36544v1
- Date: Tue, 27 Oct 2026 02:59:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.470429
- Title: Monitor Accuracy Isn't the Answer: A Decision-Value Framework for Evaluating AI Agent Restart Monitors
- Title（参考訳）: モニターの正確さは答えではない:AIエージェントの再起動を評価するための決定値フレームワーク
- Abstract要約: 90%の精度で固定されたモニタが5ポイントの損失から35ポイントの成功率に変動できることを解析的に示す。
本稿では,モニタと進行信号の判定手法を2つ導入する。
- 参考スコア（独自算出の注目度）: 0.996038809132083
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classification accuracy and true-positive and false-positive rates alone do not determine whether restarting an AI agent improves success. Using an exact alarm-to-action identity for an independent clean restart with zero monitoring overhead, we show analytically that a monitor with fixed 90% accuracy can swing from a five-percentage-point loss to a 35-point gain in success rate, depending solely on the replacement attempt's residual-budget success probability. We introduce two techniques for evaluating monitors and progress signals in decision terms. First, a decision-sufficiency criterion, a binary-action specialization of Blackwell's comparison of experiments, identifies which progress representations or context compressions preserve the information needed to choose optimally between the specified actions, independent of trace reconstruction fidelity. Second, a finite-sample, model-free decision audit uses simultaneous binomial intervals over existing agent traces, without additional model calls, to certify a preference for "restart" or "continue" under stated sampling assumptions, or return "abstain" when evidence is insufficient. In a study of 194 externally evaluated model executions on 19 selected SymPy issues from SWE-bench Verified, with a retrospective audit of 130 of these traces, we find a 2.29-point apparent restart gain traced to a single surviving failed attempt, a 42.29-point loss on a second model, no positive replication of the initial gain on prospective task cohorts, and zero of 103 live comparisons meeting the specified certification bar. These results motivate evaluating agent monitors through recovery opportunity, decision value, and statistical support, rather than classification performance alone.
- Abstract（参考訳）: 分類精度と真陽性率と偽陽性率だけでは、AIエージェントの再起動が成功を改善するかどうかを判断できない。
監視オーバーヘッドがゼロの独立クリーンリスタートにおいて、正確なアラーム・ツー・アクション・アイデンティティを用いて、固定された90%の精度のモニタが、5パーセントの損失から35ポイントの成功率に変動できることを解析的に示す。
本稿では,モニタと進行信号の判定手法を2つ導入する。
第一に、ブラックウェルの実験の比較のバイナリアクション専門化である決定充足基準は、どの進行表現や文脈圧縮が、痕跡再構成の忠実性とは無関係に、指定された行動間で最適に選択するために必要な情報を保持するかを識別する。
第二に、有限サンプルのモデルフリー決定監査では、既存のエージェントトレースに対して、追加のモデルコールなしで同時二項区間を使用して、提案されたサンプリング仮定の下で「再起動」または「継続」の好みを認証し、証拠が不十分な場合に「持続」を返す。
SWE-bench Verifiedの19件のSymPy問題に対する194件の外部評価モデル実行について,130件のふりかえり調査を行った結果,1回の未完成試行に遡る2.29ポイントの可視再起動ゲイン,第2のモデルでの42.29ポイントの損失,予測タスクコホートの初期ゲインの正の複製,特定認定バーに適合する103件のライブ比較が得られた。
これらの結果は,分類性能のみではなく,回復機会,意思決定値,統計的支援を通じて,エージェントモニタの評価を動機付けている。
関連論文リスト
- Look Before You Restore: Learning to Predict Before Acting for Agentic Image Restoration [52.44858327464349]
実行前にツールの結果を予測するエージェント復元フレームワークであるPreActIRを提案する。
各候補ツールに対して、ツール条件付きワールドモデルは、残留劣化、画質、忠実度の変化を予測する。
PreActIRは実際のツールコールを42.5%、拒否されたコールを63.4%削減している。
論文 参考訳（メタデータ） (2026-10-14T15:50:31Z) - JockeyBench: Evaluating LLM Agents on Horse-Racing Decision-Making [51.28684419852576]
繰り返し発生する事象予測には、ノイズのある証拠から予測信号を抽出する必要がある。
本稿では,歴史的競馬を通じてこの問題を研究するベンチマークおよび評価プロトコルであるJockeyBenchを紹介する。
論文 参考訳（メタデータ） (2026-10-14T04:59:45Z) - Same Winners, Different Success Rates: Evaluating How LLM Agents Recover from Failures [16.745093090677475]
既存のチェックポイントベースのベンチマークは、独立した実行毎にどのアクションがベストに選択されているかを比較することで、リカバリを測定する。
すべてのアクションが失敗すると、報酬がゼロとなり、独立ランニングは高い確率で同じ結びついた集合を生成する。
等コストベルヌーイ作用に対して、成功確率は各サンプルサイズで同一のベストアクションセット分布が得られることを証明した。
論文 参考訳（メタデータ） (2026-09-28T03:22:21Z) - The Delegation Blind Spot: Auditing Product Decisions from Agent Choices [2.731113456484581]
成功したエージェントの実行は、ユーザがどの製品に価値をもたらすかを識別する必要がない。
本稿では、宣言された観察チャンネルと製品価値を、互換性のある間隔や目撃者集団と対比する決定特異的監査を提案する。
論文 参考訳（メタデータ） (2026-09-22T16:15:55Z) - Testing-Driven Reliability Audit of Trajectory-Based Early Outcome Prediction for LLM Agents: Target-Specific Calibration Transfer Persists Within a Single Benchmark [0.0]
軌道に基づく早期結果の予測は、結果が十分に予測可能になったときにランを終了させることにより、エージェント評価に関連する費用を削減できる。
このような転送障害がエージェントシステムにまたがっているのか、あるいは特定のターゲットエージェント/ヘッドの組み合わせに集中しているのかは不明だ。
パブリックなSWE-bench Verified trajectoriesと凍結したデュアルヘッド早期アウト予測パイプラインを使用して、我々は、Left-one-agent-out calibration auditを実行した。
論文 参考訳（メタデータ） (2026-09-22T03:57:30Z) - Intrinsic Sequence-Likelihood Confidence in Retrieval-Dominated Extractive QA: Two Pre-Specified Negatives, and What They Do and Do Not Attribute [0.4310167974376404]
オープン言語モデルを微調整すると、自身の信頼度が誘引制御信号であるモデルが得られる。
我々は,実行前の基準下での両使用量を評価した。
検索だけで92-99.8%のベストケースの組み合わせ精度が回復する。
論文 参考訳（メタデータ） (2026-09-17T09:17:00Z) - SafeRestore: Detector-Relative Risk Certificates for Selective Industrial Image Restoration [4.906746849209501]
産業用検査パイプラインは、検出器が作用する前に測定画像を復元することが多いが、修復は検出器が支持する欠陥構造を抑えるか、クリーン領域の活性化を生成することができる。
本研究は, ディスプレイ上の選択的動作問題, 5つの復元候補, レビューとして復元を定式化する。
SafeRestoreは、アクション固有の適合スコアで候補をランク付けし、しきい値調整データ上でゲートを選択し、一方の正確な2つの二項境界を持つ不一致認定サンプル上で固定ゲートを評価する。
論文 参考訳（メタデータ） (2026-09-03T07:32:42Z) - Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。
我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。
VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
論文 参考訳（メタデータ） (2026-04-03T15:19:46Z) - Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [65.21599711087538]
テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。
本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
論文 参考訳（メタデータ） (2024-03-18T05:49:45Z) - Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。
本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:05:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。