論文の概要: Judges Follow the Reference: The Derivation Gap in Verifying Tool-Call Arguments

• arxiv url: http://arxiv.org/abs/2610.18497v1
• Date: Tue, 13 Oct 2026 14:52:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.64582
• Title: Judges Follow the Reference: The Derivation Gap in Verifying Tool-Call Arguments
• Title（参考訳）: 審査員が基準に従う: ツール・コール・引数の検証における導出ギャップ
• Abstract要約: ツールコールジャッジは、LLMエージェントが提案する引数値を評価する。 入力が参照を持たない場合、つまり、値が何であるべきかを記述したテキストが存在しない場合、正しい値を受け入れる頻度が低いことが分かりました。
• 参考スコア（独自算出の注目度）: 6.023620734124496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tool-call judges evaluate argument values proposed by LLM agents. We find that they accept a correct value less often when their input holds no reference for it, that is, no text that says what the value should be. This happens when the value is a default value from the function schema that the user did not mention, when it has to be inferred, or when the text it comes from was cut from the judge input. We call this drop in acceptance the derivation gap. It appears across all seven judges we evaluate, including System One models CLM and Jev. The gap is not only a truncation artifact: correct default values have the largest gap on a benchmark with no truncation. A controlled source-relocation test shows that judges follow the reference in their input: they favor a visible incorrect value over a correct value whose source is hidden. We introduce DeRef (Derived Reference): a separate model reads the full history without seeing the candidate and writes a reference for the judge. Across three benchmarks, DeRef improves overall argument AUROC for all judges tested. On the controlled test, it raises AUROC from chance or below to between 98.40 and 99.59.
• Abstract（参考訳）: ツールコールジャッジは、LLMエージェントが提案する引数値を評価する。 入力が参照を持たない場合、つまり、値が何であるべきかを記述したテキストが存在しない場合、正しい値を受け入れる頻度が低いことが分かりました。 これは、ユーザが言及していない関数スキーマから値がデフォルト値である場合、推論される必要がある場合、または、そのテキストが裁判官の入力からカットされた場合に発生する。 私たちはこの落差を導出ギャップと呼ぶ。 System One モデル CLM や Jev など,評価対象の7つの審査員すべてに共通しています。 正確なデフォルト値は、トランケーションのないベンチマークで最大のギャップを持つ。 制御されたソース再配置テストは、審査員が入力の参照に従うことを示し、ソースが隠されている正しい値よりも、見える不正確な値を好む。 DeRef (Derived Reference): 候補を見ることなく完全な履歴を読み、審査員に参照を書く。 3つのベンチマークで、DeRefはテストされたすべての審査員に対するAUROC全体の議論を改善した。 制御テストでは、AUROCをチャンス以下から98.40から99.59まで上昇させる。

関連論文リスト

• Frozen Judges, Moving Agents: Version-Dependent LLM-Judge Error and the Limits of Judge-Assisted Agent Evaluation [7.504639516424482]
  言語モデル審査員はエージェントのアップグレードを前任者と比較するが、固定された審査員はバージョンに依存した誤りを犯すことがある。 公開コーディングエージェント35件、カスタマーサービスエージェント2件、専門家ラベル付きエージェントRewardBenchトラジェクトリ1,106件を分析した。
  論文  参考訳（メタデータ） (2026-09-28T03:10:18Z)
• Opening LLM Judges: Recovering Preference Signals Beyond the Final Verdict [16.03390601181823]
  判断が間違っている場合、正しく判断するために必要な情報はモデルから外れているか、内部表現に存在しているが出力に反映されていないか? 41名の裁判官に対する因果的介入を含む,64名のオープンウェイト評価者と14名のデータセットを対象に,これについて検討した。
  論文  参考訳（メタデータ） (2026-09-26T09:26:36Z)
• Commit-first LLM judging inherits the judge's own errors [0.0]
  LLMジャッジは、他のシステムの出力をスコアするモデルであり、彼らがスコアするシステムによってゲームをすることができる。 裁判官は最初にタスクを解決し、その答えにコミットし、2つが一致した場合のみ候補者を受け入れる。 これをコミットファースト判断と呼び、出荷されたソフトウェアがそれを実装しているかどうか、そのコストについて尋ねます。
  論文  参考訳（メタデータ） (2026-08-31T12:14:14Z)
• LLM Judges Can Be Too Generous When There Is No Reference Answer [4.33144664431421]
  判断モデルでは, 基準解が存在しない場合には, 誤答を過度に繰り返す傾向がある。 また、このプロンプトに参照回答情報を追加することで、審査モデルの正しい/間違った判断を最大85%下げることを示す。 本研究は, LLM審査員を基準意識で評価し, 基準無条件で確実に使用する前に, 基準無条件で評価する必要性を強調した。
  論文  参考訳（メタデータ） (2026-07-14T15:31:33Z)
• C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning [0.6138671548064355]
  大型言語モデル (LLMs) は、チェーン・オブ・ソート (CoT) 推論の判断としてますます使われている。 C2-Faithは、因果性(各ステップは以前の文脈から論理的に従うのか? 二つの因果検出,因果ステップの定位,カバレッジスコアの3つの課題において,フロンティア判事の評価を行った。
  論文  参考訳（メタデータ） (2026-03-05T13:36:47Z)
• Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators [66.83088028268318]
  本稿では,テスト時間スケーリングベンチマークの判定評価について紹介する。 3つのタスク設定の下で、3つのドメイン(推論、コード生成、命令従)での判定性能を評価する。 我々のベンチマークは、審査員が再評価において結果報酬モデルと競合する一方で、ビームサーチにおけるプロセス報酬モデルよりも一貫して悪いことを示している。
  論文  参考訳（メタデータ） (2025-04-21T17:33:23Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)
• Not All Metrics Are Guilty: Improving NLG Evaluation by Diversifying References [123.39034752499076]
  Div-Refは、参照数を増やして評価ベンチマークを強化する方法である。 本研究では,参照表現の多様化が自動評価と人的評価の相関性を大幅に向上させることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-05-24T11:53:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。