論文の概要: Do Verifier Judgments Survive Abstraction? Measuring Verification Transport for LLM Agent Evaluation
- arxiv url: http://arxiv.org/abs/2611.18471v1
- Date: Fri, 13 Nov 2026 17:44:01 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:24:43.492816
- Title: Do Verifier Judgments Survive Abstraction? Measuring Verification Transport for LLM Agent Evaluation
- Title(参考訳): LLMエージェント評価のための検証用トランスポートの測定
- Abstract要約: デプロイされたエージェントシステムでは、同じ実行を構成されたツール、デリゲート境界、あるいはコンパクト化された履歴を通じて公開することができる。
正確な検証器の判断がそのような抽象的境界を越えて継続するかどうかは不明である。
本稿では,抽象的に誘導される実行可観測性の変化の下での判定安定性を測定する信頼性試験である検証トランスポートを紹介する。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: LLM-based verifiers are increasingly used to evaluate agent executions, but their reliability is typically measured under a single representation of the trajectory. In deployed agent systems, the same execution may be exposed through composed tools, delegation boundaries, or compacted histories, changing what execution evidence is directly observable to the verifier. It therefore remains unclear whether correct verifier judgments persist across such abstraction boundaries. We introduce Verification Transport, a reliability test that measures judgment stability under abstraction-induced changes in execution observability. We construct matched native, abstracted, and restored views of the same frozen executions while holding the task, realized trajectory, outcome, ground truth, evaluation criterion, and verifier fixed. Across four agent-evaluation benchmarks, seven verifier backbones, four verification protocols, and three abstraction boundaries, we find substantial transport failure, reaching about 31% under macro abstraction and delegation. Verification protocols exhibit distinct failure modes: direct verification more often produces incorrect verdicts, whereas evidence-grounded and deliberative protocols tend to abstain under limited observability. This suggests that lower transport failure rates do not necessarily imply greater reliability. Restoring the corresponding execution provenance recovers 85.5% of transport failures, while recovery is lower when provenance is lossy or unavailable. These results show that native-view accuracy alone is insufficient to characterize verifier reliability when execution evidence crosses abstraction boundaries.
- Abstract(参考訳): LLMベースの検証器は、エージェントの実行を評価するためにますます使われるが、その信頼性は通常、軌道の1つの表現の下で測定される。
デプロイされたエージェントシステムでは、同じ実行を構成されたツール、デリゲート境界、あるいはコンパクト化された履歴を通じて公開し、検証者に直接観察可能な実行証拠を変更することができる。
したがって、そのような抽象的境界を越えて正しい検証器の判断が持続するかどうかは不明である。
本稿では,抽象的に誘導される実行可観測性の変化の下での判定安定性を測定する信頼性試験である検証トランスポートを紹介する。
我々は、タスクを保持しながら、同じ凍結した実行の一致した、抽象された、復元されたビューを構築し、軌道、結果、真実、評価基準、検証を確定した。
4つのエージェント評価ベンチマーク、7つの検証バックボーン、4つの検証プロトコル、3つの抽象化バウンダリにまたがって、かなりの輸送障害が見つかり、マクロ抽象化とデリゲートの下で約31%に達する。
直接検証は、しばしば誤判定を発生させるが、エビデンスと熟考のプロトコルは、限られた可観測性の下では無視されがちである。
これは、輸送失敗率の低下が必ずしも信頼性を増すとは限らないことを示唆している。
対応する実行前駆体を復元すると、輸送障害の85.5%が回復するが、前駆体が失われたり、利用できない場合には回復率が低下する。
これらの結果は、ネイティブビューの精度だけでは、実行証拠が抽象境界を越えたときに検証者の信頼性を特徴づけるには不十分であることを示している。
関連論文リスト
- Mitigating Agentic Deception via Evaluation-Side Partially Observable Games [48.59057545529439]
評価側部分観察可能な多角形ゲーム(e-PoG)としての偽装緩和の定式化
e-PoGは、エージェントが報酬を最大化し、モニターがエージェントの支払いを最小化し、固定検証器がモニターのクレームを検証し、それらを罰則に変換する最大限のフレームワークである。
Gemma3-4B-ITとQwen3-4B/8Bによるエージェントロールプレイング、サーチQA、WebShopの実験では、e-PoGは複数の創発的偽装モードを持ち、26.2%の偽装緩和、39.8%のタスク成功率で最強のベースラインを上回っている。
論文 参考訳(メタデータ) (2026-11-09T18:33:13Z) - Post-Audit Mirage: Identifiability Limits of Offline Agent Verification [0.0]
我々は, 安全で有害なライフサイクルを用いて, 聴取後のミラージュを運用する。
我々の定理は、この実行可能な監査境界に対して、標準的な観測等価性と識別不可能性の概念を適用している。
IdentifiedRangeMonitorは、新しいグループラベルによる害結果を使用して、デプロイ、保持、決定、またはサポートを返却する。
論文 参考訳(メタデータ) (2026-10-22T11:50:38Z) - SSCBench: Evaluating the Evidential Validity of Fault-Injection Tests for Tool-Using LLM Agents [6.972294818778601]
提案手法は, 注入されたアサーションに対して何の反証ができるかを指定するプロトコルを開発し, 影響を受ける事実が最初に使用される前に可視になるかどうかを判定し, 評価された実行が実際にこの条件を実現するかどうかを記録する。
実験により、承認された障害ケースとエージェントの設定により、実行間で明らかに異なる条件が実現できることが示されている。
我々は,実行によって実現された明らかな条件と,クレーム固有の解釈を支持する人口は,欠陥注入評価そのものの一部であると論じる。
論文 参考訳(メタデータ) (2026-10-08T08:50:31Z) - Verify Claims, Not Scores: Evidence-Based Verification of Modular Agents [0.0]
我々は,モジュールエージェントに対して,計画,行動,検査,精査を行うクレーム固有の検証監査を導入する。
エージェントをスコアする代わりに、監査はエビデンスをスコアする。
論文 参考訳(メタデータ) (2026-10-01T09:17:47Z) - Complex Problem Solving in Large Language Models: A Statistical Control Survey and Diagnostic Framework [52.886947585847594]
大規模言語モデル(LLM)による複雑な問題解決は、しばしばより強い推論やより長い生成の問題としてフレーム化される。
しかし、早期のエラー増幅、迅速な脆さ、誤ったコミットメントを修正する失敗を説明するのは難しい。
本調査はCPSを潜在解状態上の逐次推定・決定問題と解釈する。
論文 参考訳(メタデータ) (2026-09-17T18:28:45Z) - Intrusion Detection for Agentic Processes: Evidence-Based Runtime Monitoring [0.0]
本稿では,実行時侵入検知のためのエージェント・プロセス侵入検知システム(A-IDS)を提案する。
A-IDSは、エビデンスをサポートする観測結果と、ワークフロー状態、認可、通信、強制イベントのための管理およびバージョン管理された予測ベースラインを比較する。
A-IDSは異常な振る舞いから悪意のある意図を推測せず、観測されていない事象を非発生の証明として扱わず、新しい異常検知器、時間論理、前兆モデルも主張しない。
論文 参考訳(メタデータ) (2026-09-10T14:37:12Z) - Detecting Is Not Resolving: The Monitoring Control Gap in Retrieval Augmented LLMs [20.59321114618083]
単一ターン診断はRAGの安全性を体系的に過大評価し、矛盾は安全な解決法とは無関係であり、普遍的な即時修正は存在しないことを示した。
モデルが認識するものと何をするかのギャップは、検索強化されたシステムが高レベルな設定で信頼される前に測定され、クローズされなければならない。
論文 参考訳(メタデータ) (2026-05-26T15:18:43Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳(メタデータ) (2026-05-18T23:55:08Z) - Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。
プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
論文 参考訳(メタデータ) (2026-01-23T17:17:32Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳(メタデータ) (2026-01-21T06:07:43Z) - Towards Real-Time Fake News Detection under Evidence Scarcity [66.58597356379907]
本稿では,リアルタイムフェイクニュース検出のための新しいフレームワークである評価アウェア・セレクション・オブ・エキスパートズ(EASE)を提案する。
EASEは、利用可能な証拠の十分性を評価した意思決定プロセスに適合する。
本稿では,新興ニュースのモデル一般化を限られた証拠で評価するための新しいベンチマークであるRealTimeNews-25を紹介する。
論文 参考訳(メタデータ) (2025-10-13T11:11:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。