論文の概要: Post-Audit Mirage: Identifiability Limits of Offline Agent Verification
- arxiv url: http://arxiv.org/abs/2610.31130v1
- Date: Thu, 22 Oct 2026 11:50:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.364216
- Title: Post-Audit Mirage: Identifiability Limits of Offline Agent Verification
- Title(参考訳): 監査後ミラージュ:オフラインエージェント検証の信頼性限界
- Abstract要約: 我々は, 安全で有害なライフサイクルを用いて, 聴取後のミラージュを運用する。
我々の定理は、この実行可能な監査境界に対して、標準的な観測等価性と識別不可能性の概念を適用している。
IdentifiedRangeMonitorは、新しいグループラベルによる害結果を使用して、デプロイ、保持、決定、またはサポートを返却する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Offline tests can fail to reveal whether an agent update will remain safe after deployment. We operationalize this post-audit mirage using matched safe and harmful lifecycles that expose identical verifier-visible evidence while an isolated scorer records opposite deployment truth. Our theorem applies standard observational-equivalence and indistinguishability ideas to this executable audit boundary and states the resulting error-abstention tradeoff. The Post-Audit Mirage benchmark makes that boundary executable across authorization, scheduling, and shared-capacity environments. IdentifiedRangeMonitor uses fresh group-labelled harm outcomes to return deploy, hold, cannot determine, or unsupported. Experiments show that monitoring can recover the missing distinction in favorable settings but may remain undecided for rare groups, small effects, or missing observations. Verifier-agent evaluation must therefore test both calculation validity and whether the available evidence supports the deployment decision.
- Abstract(参考訳): オフラインテストは、デプロイ後、エージェントのアップデートが安全かどうかを明らかにすることができない。
我々は、同一の検証可能な証拠を暴露する安全で有害なライフサイクルを用いて、この監査後のミラージュを運用し、一方、独立したスコアラは、配置の真相と反対に記録する。
我々の定理は、この実行可能監査境界に標準的な観測等価性と識別不可能性の概念を適用し、結果として生じるエラー回避トレードオフを述べる。
Post-Audit Mirageベンチマークは、そのバウンダリを、認可、スケジューリング、共有容量環境にわたって実行可能にする。
IdentifiedRangeMonitorは、新しいグループラベルによる害結果を使用して、デプロイ、保持、決定、またはサポートを返却する。
実験により、モニターは、好ましい設定で欠落した区別を回復できるが、希少なグループ、小さな効果、または欠落した観察のためには未決定のままであることが示された。
したがって、検証エージェント評価は、計算の妥当性と、利用可能な証拠がデプロイメント決定を支持するかどうかを検査する必要がある。
関連論文リスト
- VerifierBench: Benchmarking the Generation of Executable Verifiers for LLM Agents [57.86211802714839]
VerifierBenchは、ツールコール、ステートベース、コード検証にまたがる222のタスクのベンチマークである。
Verifier4Verifier (V4V) はソース検証とテストスイートを検査する。
分析されたレコードのほとんどの偽りの拒絶は、あるタスクに対するテストされた解決策を受け入れない検証者によるものである。
論文 参考訳(メタデータ) (2026-10-19T17:22:36Z) - Behavioural self-monitoring for autonomous earth observation agents: The attribute reliability monitor (ARM) [51.56484100374058]
この研究は、個々のセマンティック属性を評価するために時間をかけて疑念の証拠を蓄積するフレームワークである属性信頼性モニター(ARM)を導入している。
ARMは異なる検出器と時間モニタリング方法に対応し、介入ポリシーを消費システムに残す。
衛星熱赤外画像のための特殊な視覚言語モデルを用いて初期実装を評価した。
論文 参考訳(メタデータ) (2026-10-13T15:25:41Z) - Functionally Equivalent or Not? Graph-Grounded Differential Surrogate Execution for Code Equivalence [10.45005458481016]
FEAgentは、型付きプログラムグラフエビデンスと差分代理実行を組み合わせた選択等価評価エージェントである。
そのオラクルに対する不一致はすべて、直接実行によって判断され、ベンチマークラベルと単体テストのみのスコアで見逃された振る舞いの相違が明らかになる。
EquiBenchでは、1200個の評価済みペアのうち216個(18.0%)、SWE-bench Verifiedでは331個のテストパスエージェントパッチ(28.4%)が参照パッチから分岐している。
論文 参考訳(メタデータ) (2026-10-03T08:19:45Z) - Verify Claims, Not Scores: Evidence-Based Verification of Modular Agents [0.0]
我々は,モジュールエージェントに対して,計画,行動,検査,精査を行うクレーム固有の検証監査を導入する。
エージェントをスコアする代わりに、監査はエビデンスをスコアする。
論文 参考訳(メタデータ) (2026-10-01T09:17:47Z) - Black-Box Auditing of Epistemic Reliability in Multi-Agent Debate Distillation [19.88070595796935]
ディベート蒸留は、後続の議論における判断を改善するために、マルチエージェントの議論書き起こしを用いた弱い検証装置に適応する。
本研究では,隠れたタスクに対する正しい応答を抑えつつ,適応が監視性能を保ちながら,エピステマティックな信頼性劣化について検討した。
本研究では,2段階のブラックボックス監査フレームワークであるER-Auditを提案する。
実験の結果, 隠れタスクの精度は, 非劣化および低劣化境界に対する反例と共存できることがわかった。
論文 参考訳(メタデータ) (2026-09-26T08:33:34Z) - Inquesto Score: A reliability Protocol For Voice Agents [53.4810159595586]
Inquesto Score(IS)は、音声エージェントの信頼性を、固定バージョン評価集団における呼び出しの割合として測定するプロトコルである。
タイミングの失敗、セマンティック、および状態依存の失敗は、シナリオ述語、ツールトレース、ピン留めされたオープンモデル判定を用いて評価される。
Inquesto Score v0.1は、基準音声エージェントシステムの13構成に対して、30のシナリオ、3つの音響条件、4つの話者グループ、306の呼び出しを評価する。
論文 参考訳(メタデータ) (2026-09-24T20:07:53Z) - From Trajectories to Evidence: Auditable Experimental Records for Industrial Research Agents [47.678562263387214]
研究エージェントは、産業レコメンデーション設定において、多段階の機械学習実験をますます実施している。
生成されたアーティファクトは、サポートされないか、不完全かもしれないし、実行されたラウンドは無効かもしれないし、あるいは廃止されるかもしれないし、後の修正は、以前の発見を曖昧にするかもしれない。
本稿では,連続的アーティファクトのバウンダリ検証と実行後のクレーム資格を結合するエビデンス・グラウンド・フレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-05T13:37:38Z) - Self-Authored Verification Is Unreliable in Heuristic Self-Improving Agents [5.91817208489443]
検証・受け入れ・デプロイのギャップについて検討する。
このギャップは、エージェントの自己承認された検証信号と封印されたデプロイメント評価との相違を指す。
シーリング型外因性受容ループ(SEAL)について紹介する。
論文 参考訳(メタデータ) (2026-07-27T11:45:14Z) - The Hidden Signal of Verifier Strictness: Controlling and Improving Step-Wise Verification via Selective Latent Steering [67.8271652641864]
我々は,隠蔽状態の介入によって検証の厳密性を制御できるかどうかを検討した。
VerifySteerは、サンプルレベルのルーティングに潜時補正信号を使用し、段落境界に選択的に介入する。
論文 参考訳(メタデータ) (2026-05-20T05:48:16Z) - Can Agent Benchmarks Support Their Scores? Evidence-Supported Bounds for Interactive-Agent Evaluation [8.049844623361725]
インタラクティブエージェントベンチマークは、結果チェックを通じてエージェントの実行をバイナリ結果にマッピングする。
これらのチェックは、表面レベル信号に依存するか、エージェントの実際のアクションパスをキャプチャできない。
既存のベンチマークに対して、結果エビデンスレポート層を導入します。
論文 参考訳(メタデータ) (2026-05-11T12:20:15Z) - Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。
プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
論文 参考訳(メタデータ) (2026-01-23T17:17:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。