論文の概要: A Verifier Can Leak the Answer: Diagnosability Before Optimization in Closed-Loop Agent Debugging

• arxiv url: http://arxiv.org/abs/2610.00126v1
• Date: Wed, 09 Sep 2026 17:32:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.378346
• Title: A Verifier Can Leak the Answer: Diagnosability Before Optimization in Closed-Loop Agent Debugging
• Title（参考訳）: クローズドループエージェントデバッグにおける最適化前の診断可能性
• Abstract要約: 検証者は、そのプローブがターゲットのアイデンティティを符号化したり、述語化したりすると、解法の比較を空にする。 クローズドループ決定エージェントにおけるアグリゲートトレースデバッガーの障害を報告する。
• 参考スコア（独自算出の注目度）: 0.39287497907611874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agent developers increasingly compare prompts, tools, policies, and diagnosis algorithms through simulator-grounded verifiers. A verifier can nevertheless make a solver comparison vacuous: if its probes or predicates encode the target identity, an exact optimizer may appear effective without resolving any genuine ambiguity. We report such a failure in an aggregate-trace debugger for a closed-loop decision agent. Exact minimum hitting set (MHS) and a propagation-aware greedy method returned identical supports in 12/12 development cases and the same planted-fault recovery in 9/12. A subsequent audit found that exact-anchor predicates produced the planted pair in 9/9 cases. After removing those anchors, overall planted-pair recovery was 8/9; hard-probe singleton pairs nevertheless matched the planted pair in 9/9, and no case retained a nonempty residual conflict family after propagation (0/9). The optimizer was correct, but the verifier had already disclosed the answer. We replace solver-first evaluation with a support-gated verification contract. A clean reference map must first show repeated component exposure; a matched reference/current gate must then establish comparable runtime evidence; only afterward may an independently calibrated signal rule return a detection. In a preregistered heldout comprising 1,440 cases and 21,600 partition rows, 55/72 regime-component units passed the reference gate, 54/55 passed the runtime gate, and stable false admission was 0/20 represented components with a one-sided exact 95% upper bound of 0.1391. Within admitted units, affected clean traffic predicted detection better than nominal fault-cell fraction. The main lesson is structural: verify evidence eligibility and non-revelation before optimizing the component selector. Otherwise a stronger solver can merely certify a stronger verifier artifact.
• Abstract（参考訳）: エージェント開発者は、シミュレータ基底検証を通じてプロンプト、ツール、ポリシー、診断アルゴリズムを比較する傾向にある。 検証者は、そのプローブや述語が対象のアイデンティティを符号化している場合、真の曖昧さを解決せずに正確な最適化者が効果的に現れる。 クローズドループ決定エージェントにおけるアグリゲートトレースデバッガーの障害を報告する。 特定最小打撃セット (MHS) と伝播認識グレディ法 (Greedy method) は, 12/12 症例で同じサポートを受け, 9/12 例で同じプラント・フォールト・リカバリが可能であった。 その後の検査では、正確なアンカーの述語が9/9のケースで植えられたペアを生み出した。 両アンカーの除去後, 総植毛回復率は8/9, 硬プロブシングルトンペアは9/9であった。 オープティマイザは正しかったが、検証者はすでに答えを公表していた。 我々は,解決者優先評価をサポート付き検証契約に置き換える。 クリーンな参照マップは、最初に繰り返しコンポーネントの露出を示す必要があり、マッチした参照/カレントゲートは、同等のランタイムエビデンスを確立する必要がある。 1,440のケースと21,600のパーティション列からなる事前登録のホールトアウトでは、55/72のレギュレント構成ユニットが基準ゲートを通過し、54/55はランタイムゲートを通過し、安定した偽の受け入れは0/20であり、一方の正確な95%の上界は0.1391である。 確認されたユニット内では、影響のあるクリーントラフィックは、名目上の故障細胞数よりも優れた検出を予測した。 主な教訓は、コンポーネントセレクタを最適化する前に、エビデンスの適格性と非啓発性を検証することである。 そうでなければ、より強い解法は、単により強い検証器のアーティファクトを認定することができる。

関連論文リスト

• Can Terminal Agents Trust Their Own Verification? Diagnosing and Improving Self-Verification [37.46072257265434]
  完全候補が形成された後、自己検証はほぼ普遍的であるが、誤った候補が61.43%しか検出されず、検出されたエラーの49.36%のみが修復に成功している。 本研究の目的は,学生が最初に候補解を生成できるSCVD(Student-Conditioned Verification Distillation)を提案することである。 3つのQwen3.5バックボーンの中で、SCVD は TerminalBench2.1 上の textscPass@1 を 9.74--16.85 のパーセンテージで改善し、標準のフルトラジェクタ上で 4.49--8.61 のパーセンテージで改善した。
  論文  参考訳（メタデータ） (2026-09-30T02:42:23Z)
• Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
  マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。 標準的な最終精度評価は、これらの反対のメカニズムを詳述する。 複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
  論文  参考訳（メタデータ） (2026-09-28T14:31:19Z)
• When Are Aggregate Agent Traces Diagnosable? Traffic-Governed Interpretation and Calibrated Abstention [0.39287497907611874]
  様々な需要体制下での個別価格行動に対して,ホテル価格エージェントの模擬時間,在庫,市場状態について検討した。 政策が感染した細胞をめったに訪れると、断層は集合的な痕跡を残しない可能性がある。 我々は,集計や局所化に先行する診断可能性判定として,集約のみの故障解釈への参入を論じる。
  論文  参考訳（メタデータ） (2026-09-22T07:37:48Z)
• Correct Now, Insufficient Later: Auditing Update Sufficiency in Context Compression [0.0]
  メモリは、後の更新で要求される区別を捨てながら、現在のクエリに正しく答えることができる。 我々はこの失敗を2つの歴史監査で調査する。 パイロットは6つの合成機構の24の履歴ペアを評価する。
  論文  参考訳（メタデータ） (2026-09-17T10:51:37Z)
• Agent Behavioral Contracts II: Certifying Compositional Reliability Without Assuming Independence [0.0]
  1つのモデルの2つの例は、2つのエージェントのハンドオフにおいて、ミッションの90.0%で共失敗する。 異なるモデルの置換は、6つのコントラストのうち6つのコントラストの関連を減少させる。
  論文  参考訳（メタデータ） (2026-08-13T07:25:05Z)
• What Would Fix This RAG Failure? Auditing Counterfactual Response with Paired Evidence Interventions [0.0]
  我々はPair-IDを紹介した。Pair-IDは1つのクエリ、検索状態、読み取り定数を格納し、次に2つの操作を横断する。 19,981のベンチマーククエリで11,105のQwen障害が特定され、SHA-256オーダーが1200を選択して、サンプリングされた応答を生成する。 その結果,ハッシュ選択された有資格障害サンプルにおいて有意な速度でエビデンスが発生し,観察された故障から部分的に予測可能であり,読者に条件付きであることが示唆された。
  論文  参考訳（メタデータ） (2026-08-09T22:43:27Z)
• When Verifiers Vote Backwards under Verdict Substitution: Signed Pivotal Value in Correlated Self-Consistency [9.710464466895521]
  1回の投票で決定されるクエリのみ 多数決を変更できる。 ラベル付き検証スタイルの介入を用いて,その変化の兆候について検討する。
  論文  参考訳（メタデータ） (2026-08-08T05:02:34Z)
• Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
  正しいパッチの発見と保持、検証、提出のギャップについて検討する。 我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
  論文  参考訳（メタデータ） (2026-07-27T16:05:23Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。