論文の概要: The Anatomy of a Blind Spot: What an LLM Judge Must Be Shown, and How Much

• arxiv url: http://arxiv.org/abs/2610.15938v1
• Date: Sun, 11 Oct 2026 21:38:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.273531
• Title: The Anatomy of a Blind Spot: What an LLM Judge Must Be Shown, and How Much
• Title（参考訳）: 盲点の解剖:LSMの裁判官が見せるべきもの、そしていくら
• Abstract要約: 大規模言語モデル(LLM)が生成するテキストの評価は、審査員として働くLLMに委譲される傾向にある。 我々は、報告書が規制官として行動する裁判官を扱い、それが何を示す必要があるか、どのくらいの形式で、その報告が正しいものなのかを尋ねる。 価格が10倍から17倍の3人の審査員の中で、審査員がどの審査員よりも重要だったかが示された。
• 参考スコア（独自算出の注目度）: 0.31498833540989407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluation of text generated by large language models (LLMs) is increasingly delegated to LLMs acting as judges, yet what such a judge must be shown remains unresolved. We treat a judge whose reports are acted on as a regulator, in the sense of cybernetics, and ask what it must be shown, how much, in what form, and what its reports must get right. On seven public benchmarks we varied only what the judge was shown. Across three judges whose prices differ 10- to 17-fold, what the judge was shown mattered more than which judge it was. When a system revised its answers on feedback from a judge denied the material they had to respect, it ended below its starting point on instruction following and question answering. On instruction following the loss grew with each round, and it persisted when the judge saw the user's request but not the constraints and with a second judge family. On news summarisation, a correct reference summary beside the source undid most of the source's contribution, whereas on single-answer questions a reference helped. About a tenth of the source did almost all of its work, and a small entailment graph matched an LLM judge at finding errors in grounded text. We committed 83 testable clauses before running; of the 81 that ran, 32 met their bar and 50 went in the predicted direction, and most quantitative predictions from the theory failed. We report every shortfall and derive design rules tied to measured effects.
• Abstract（参考訳）: 大規模言語モデル(LLM)が生成するテキストの評価は、審査員として働くLLMに委譲される傾向にあるが、そのような判断は未解決のままである。 我々は、報告が規制当局として行動する裁判官をサイバーネティックス(サイバーネティックス)の意味で扱い、何が示されるべきか、どの形態で、どんな報告が正しいか、などを問う。 7つの公開ベンチマークでは、審査員が示したものだけを変更しました。 価格が10倍から17倍の3人の審査員の中で、審査員がどの審査員よりも重要だったかが示された。 システムは、裁判官からのフィードバックに基づいて回答を改訂し、彼らが尊重すべき資料を否定すると、それに続く指示と質問応答の開始点以下に終わる。 敗訴後の指示は各ラウンドで増加し、審査員がユーザーの要求を見たとき、制約ではなく第2の審査員家族で継続した。 ニュース要約では、ソースの横にある正しい参照要約がソースのコントリビューションの大部分を無効にし、一方単一回答の質問では、参照が助けになった。 情報源の約10分の1がほぼすべての作業を行い、小さな細かなグラフは、接地されたテキストの誤りを見つけるためのLLM判事と一致した。 実行前に83の検証可能な節を犯し、走った81のうち32はバーに到達し、50は予測方向に進み、理論の最も定量的な予測は失敗した。 全ての欠点を報告し、測定結果に関連付けられた設計規則を導出する。

関連論文リスト

• JudgeProfile: Understanding and Steering Subjectivity in LLM Judges [33.77747232529031]
  審査員は、明瞭さ、正確さ、詳細など、特定の属性にまたがる2つの反応を比較検討する。 裁判官は、全体的な選択がばらばらになっても、しばしば属性判断に同意する。
  論文  参考訳（メタデータ） (2026-09-29T04:43:28Z)
• Opening LLM Judges: Recovering Preference Signals Beyond the Final Verdict [16.03390601181823]
  判断が間違っている場合、正しく判断するために必要な情報はモデルから外れているか、内部表現に存在しているが出力に反映されていないか? 41名の裁判官に対する因果的介入を含む,64名のオープンウェイト評価者と14名のデータセットを対象に,これについて検討した。
  論文  参考訳（メタデータ） (2026-09-26T09:26:36Z)
• Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators [66.83088028268318]
  本稿では,テスト時間スケーリングベンチマークの判定評価について紹介する。 3つのタスク設定の下で、3つのドメイン(推論、コード生成、命令従)での判定性能を評価する。 我々のベンチマークは、審査員が再評価において結果報酬モデルと競合する一方で、ビームサーチにおけるプロセス報酬モデルよりも一貫して悪いことを示している。
  論文  参考訳（メタデータ） (2025-04-21T17:33:23Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。