論文の概要: Does the Judge See What the Evaluation Requires? Input Assurance for LLM Agent Evaluation

• arxiv url: http://arxiv.org/abs/2611.02676v1
• Date: Mon, 02 Nov 2026 07:31:59 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:07:58.046197
• Title: Does the Judge See What the Evaluation Requires? Input Assurance for LLM Agent Evaluation
• Title（参考訳）: 審査員は評価に何が必要か理解しているか? : LLMエージェント評価の入力保証
• Abstract要約: パケットが要求されるものを示す証拠を問うとともに,入力保証義務を4つ提案する。 30の軌道を持つ1つのパイプラインでは、ハッシュのマッチング、チェッカーのパス、そして成功裏に4つの義務の全てに違反している。 義務を4つのテストに転換し、独立したパイプラインへの移行を評価する予定です。
• 参考スコア（独自算出の注目度）: 26.142340230114044
• License:
• Abstract: An LLM judge assesses agent steps from text packets. A renderer converts recorded runs into these packets, while software checkers test records and packets against requirements. We ask what evidence shows a packet is what the evaluation requires and propose four input-assurance obligations: required content survives rendering, checkers cover their requirements, a failed check stops later use and the judge reads the bytes last checked. In one pipeline with 30 trajectories, matching hashes, passing checkers and successful staging (copying packets for the judge) coexisted with violations of all four obligations, the last two in integration tests. The renderer omitted every structured tool call, leaving 53 of 60 judged steps blank despite matching hashes. For one judge configuration, later context raised error flags by 13 more on error than on correct steps. Restoring every call reduced this contrast to 2, a reduction of 11 (0.37 per trajectory, 95% cluster-bootstrap interval 0.17 to 0.53). In packets ending at the judged step, that configuration abstained at least once on every blank step, while the other four sometimes abstained but also flagged blank error and correct steps. Both separately written checkers accepted an unmatched tool result. In integration tests, a stub replacing the judge read a failed build's packet and a copy changed after staging. Three added controls stopped 18 of 19 constructed fault cases before the stub read any packet. The remaining stale script never ran. We turn the obligations into four tests and plan to evaluate their transfer to independent pipelines.
• Abstract（参考訳）: LLM判事は、テキストパケットからエージェントステップを評価する。 レンダラーは記録された実行をこれらのパケットに変換し、ソフトウェアチェッカーは要求に対してレコードとパケットをテストする。 要求されたコンテンツはレンダリングを継続し、チェッカーは要求をカバーし、チェックは失敗し、裁判官は最後にチェックされたバイトを読み取る。 30のトラジェクトリ、一致したハッシュ、チェッカーのパス、そして成功しているステージング(審査員のためにコピーするパケット)を備えたパイプラインでは、最後の2つは統合テストにおいて4つの義務のすべてに違反している。 レンダラーはすべての構造化ツールコールを省略し、一致したハッシュにもかかわらず60の判定ステップのうち53が空白になった。 あるジャッジの設定では、後のコンテキストは正しいステップよりもエラーで13のエラーフラグを発生させる。 すべての呼び出しを復元することで、このコントラストを2に減らし、11(軌道当たり0.37、95%のクラスタブートストラップ間隔0.17から0.53)に短縮した。 判断されたステップで終わるパケットでは、その構成は少なくとも1回は空白のステップで中断するが、他の4つは時々棄権するが、空白のエラーと正しいステップをフラグ付けする。 どちらも個別に書かれたチェッカーは、一致しないツールの結果を受け入れた。 統合テストでは、審査員を置き換えるスタブが失敗したビルドのパケットを読み、ステージング後にコピーが変更された。 3つの制御がスタブがパケットを読み取る前に19の障害ケースのうち18が停止した。 残りの台本は実行されなかった。 義務を4つのテストに転換し、独立したパイプラインへの移行を評価する予定です。

関連論文リスト

• VeriCUA: Learning Proactive Verification for Reliable GUI Agent Rewards [52.80093616378547]
  単試行で検証戦略を学習する積極的報酬エージェントであるVeriCUAを紹介する。 オンライン強化学習は、判決の正当性と効率の良いプローブの使用の両方を最適化する。 GPT-5.4を5.36ポイント上回り、プロブトークンは47.6%-59.8%減少し、1B VeriCUAも全ての審査員を上回る。
  論文  参考訳（メタデータ） (2026-10-19T14:17:33Z)
• StopLoss: Teaching Agents to Predict Failure and Stop Early [58.46247112300993]
  StopLossは、完成した軌跡とその検証結果から障害認識を学ぶ小さな外部モニタである。 StopLossは、実行が失敗する可能性がある場合に早期に実行を終了し、リソースを節約します。
  論文  参考訳（メタデータ） (2026-10-18T20:39:02Z)
• Cross-Provider Review as a Runtime Contract for Coding Agents: A Controlled Pilot and Fault-Injection Study [17.521700896129115]
  コーディングエージェントは、個別のプロバイダとサブスクリプション料を引き合いにながら、ワークステーションを共有している。 第2のエージェントは、完了した回答を検査できるが、呼び出しは別のプールに費やし、実質的な発見を提供しない可能性がある。 異なるリソースプール、バウンダリ実行、制限されたレビュア機能、完全なインプット配信、使用可能なセマンティックアウトプット、明示的な障害状態、永続的なアタプティブエビデンスといった、アドバイザ間レビュー契約について説明する。
  論文  参考訳（メタデータ） (2026-10-07T22:28:22Z)
• Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
  エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。 コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。 3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
  論文  参考訳（メタデータ） (2026-10-07T17:37:19Z)
• TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
  大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
  論文  参考訳（メタデータ） (2026-10-07T07:58:04Z)
• Frozen Judges, Moving Agents: Version-Dependent LLM-Judge Error and the Limits of Judge-Assisted Agent Evaluation [7.504639516424482]
  言語モデル審査員はエージェントのアップグレードを前任者と比較するが、固定された審査員はバージョンに依存した誤りを犯すことがある。 公開コーディングエージェント35件、カスタマーサービスエージェント2件、専門家ラベル付きエージェントRewardBenchトラジェクトリ1,106件を分析した。
  論文  参考訳（メタデータ） (2026-09-28T03:10:18Z)
• Correct Now, Insufficient Later: Auditing Update Sufficiency in Context Compression [0.0]
  メモリは、後の更新で要求される区別を捨てながら、現在のクエリに正しく答えることができる。 我々はこの失敗を2つの歴史監査で調査する。 パイロットは6つの合成機構の24の履歴ペアを評価する。
  論文  参考訳（メタデータ） (2026-09-17T10:51:37Z)
• Threshold Choice, Not Sample Size, Bounds Trustless Verification of Nondeterministic Compound AI Workflows [0.0]
  複合AIパイプライン LLMコール、レトリバー、ツールは非決定論的である。 各ステージのインプット、アウトプット、コンテキストのダイジェストをコミットします。 合成HotpotQAパイプラインでは、校正された固定しきい値が45個の正直な複製のうち44個を受け入れ、105個の発散ペアのうち104個を拒絶する。
  論文  参考訳（メタデータ） (2026-09-07T22:10:54Z)
• Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints [4.41537705949485]
  言語モデル審査員は、トレーニングデータをゲートし、世代をスコアし、リーダーボードを駆動する。 我々は、事前登録された2つのキャンペーンにおいて、すべてのしきい値が事前に固定された状態で、その仮定を監査した。 52,988件の要求を監査し、スピアマン0.400で0.90と一致した。 証拠を3段階のスナップショット識別はしご、8つの設計ルール、レポートチェックリストに抽出する。
  論文  参考訳（メタデータ） (2026-09-03T17:59:43Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。