論文の概要: When Is a Multi-Agent Code Judge Actually Grounded? Two Label-Free Measurements, and a Judge That Declines to Guess

• arxiv url: http://arxiv.org/abs/2609.30328v1
• Date: Wed, 23 Sep 2026 23:19:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.068007
• Title: When Is a Multi-Agent Code Judge Actually Grounded? Two Label-Free Measurements, and a Judge That Declines to Guess
• Title（参考訳）: マルチエージェント・コード・ジャッジは実際いつ接地されるのか?
• Abstract要約: ある言語モデルが、ある言語のコードが正しいかどうかを判断するとき、証拠がないことを報告しない。 これらの手法には2つの証拠が必要であると我々は主張する:それはレビュー中の回答とは独立していなければならないし、比較される2つの候補との違いである。 MARCHは80以上の条件・バイ・セル測定を無修正で公開したフレームワークであり,78～95%の比較において,両者の解が等しく良いことを宣言している。
• 参考スコア（独自算出の注目度）: 1.3063136334195182
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When one language model judges whether another's code is correct, it does not report the absence of evidence. It returns a confident verdict with reasoning attached, indistinguishable from a verdict it had grounds for. Multi-agent verification, which decomposes a judgment into checkable claims and verifies each against evidence, is a promising response and works well when the evidence is a set of retrieved documents. We argue such methods require two things of their evidence: it must be independent of the answer under review, and it must differ between the two candidates being compared. The second condition holds automatically with retrieved documents and stops holding in code judging. Running MARCH, a published framework unmodified over 80 condition-by-cell measurements on two code judging benchmarks, we find it declares both solutions equally good on 78 to 95% of comparisons, reaching 4.4% accuracy where the same model asked directly reaches 43.7%. Neither easier problems nor a larger judge changes this. Two measurements taken from the pipeline's own logs explain it without needing labels. Gating on one of them, the pipeline declines the comparisons it cannot make and raises its accuracy from 20.7 to 36.9% while still answering half of all comparisons. The contribution is not a more accurate judge, but a label-free way to tell when a judge has no basis for its answer.
• Abstract（参考訳）: ある言語モデルが、ある言語のコードが正しいかどうかを判断するとき、証拠がないことを報告しない。 根拠のある評決とは区別がつかない、推論を付した自信ある評決を返します。 判定を検証可能なクレームに分解し、証拠に対してそれぞれを検証するマルチエージェント検証は、有望な応答であり、証拠が回収された文書の集合である場合にうまく機能する。 これらの手法には2つの証拠が必要であると我々は主張する:それはレビュー中の回答とは独立していなければならないし、比較される2つの候補との違いである。 第2の条件は、検索されたドキュメントを自動的に保持し、コード判定の保持を停止する。 MARCHは、2つのコード判定ベンチマークで80以上の条件・バイ・セル測定を未修正で公開しているフレームワークで、78から95%の比較で同等に良いと宣言し、同じモデルからの要求が43.7%に達した場合の精度は4.4%に達した。 より簡単な問題も、より大きな判事も、これを変えない。 パイプライン自身のログから取られた2つの測定では、ラベルを必要とせずにそれを説明できる。 そのうちの1つを測ると、パイプラインは生成できない比較を減らし、その精度を20.7から36.9%に引き上げる一方で、全ての比較の半分に答える。 コントリビューションは、より正確な判断ではなく、審査員が答えの根拠を持っていないことを判断するためのラベルなしの方法である。

関連論文リスト

• Commit-first LLM judging inherits the judge's own errors [0.0]
  LLMジャッジは、他のシステムの出力をスコアするモデルであり、彼らがスコアするシステムによってゲームをすることができる。 裁判官は最初にタスクを解決し、その答えにコミットし、2つが一致した場合のみ候補者を受け入れる。 これをコミットファースト判断と呼び、出荷されたソフトウェアがそれを実装しているかどうか、そのコストについて尋ねます。
  論文  参考訳（メタデータ） (2026-08-31T12:14:14Z)
• trajectory-judge: What Outcome-Only LLM Judges Miss on Agent Trajectories [0.0]
  アウトカムのみの評価は、LLMエージェントのプロダクションデフォルトである。 地下の真実が建設によって知られている盲点を測定する。 審査員の評価は、結果の生存によって、リコールを成す必要があると論じる。
  論文  参考訳（メタデータ） (2026-08-29T10:14:05Z)
• Evidence Lock Before Commitment: A Frozen Interface Degrades LLM-as-Judge Evaluation [0.6768558752130311]
  このワークフローは、中間レコードが後続の判断に必要な情報を保存していると仮定する。 推論可能なモデルの場合、可視場秩序は内部決定順序を明らかにしないので、観測可能な代替品を試す。 我々は、標準的なペアワイズ判定、構造化ワンコール判定、ツーコールエビデンスロック、および3コールポイントワイズロックを、Claude Sonnet 4.5 と GPT-5 で比較した。
  論文  参考訳（メタデータ） (2026-08-05T19:23:56Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)
• How Sensitive Are Safety Benchmarks to Judge Configuration Choices? [5.94231111588812]
  HarmBenchのような安全ベンチマークは、モデル応答を有害または安全と分類する判断に頼っている。 判定モデルと判定プロンプトの組み合わせは,一般に一定の実装の詳細として扱われる。 審査員モデルの定式化により, 評価された有害応答率を最大24.2%にシフトした。
  論文  参考訳（メタデータ） (2026-04-27T05:59:59Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• Is the Top Still Spinning? Evaluating Subjectivity in Narrative Understanding [40.78154629252038]
  曖昧なクレームにバイナリラベルを強制すると、評価の信頼性が低下する。 請求項のニュアンス評価を提供する方法として,LCM生成した要約の編集を紹介する。 我々は,ARMが主張の忠実性に関するアノテータ合意において,絶対的な21%の改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-04-01T19:08:24Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)
• Claim Check-Worthiness Detection as Positive Unlabelled Learning [53.24606510691877]
  クレームチェックの信頼性検出はファクトチェックシステムにおいて重要な要素である。 これらの課題の根底にあるクレームチェックの信頼性検出における中心的な課題を照明する。 我々の最良の手法は、正の非競合学習の変種を用いて、これを自動的に修正する統一的なアプローチである。
  論文  参考訳（メタデータ） (2020-03-05T16:06:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。