論文の概要: The Format is the Filter: Scoring Format Fixes What an LLM Judge Can Express

• arxiv url: http://arxiv.org/abs/2610.17158v1
• Date: Mon, 12 Oct 2026 17:36:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.429202
• Title: The Format is the Filter: Scoring Format Fixes What an LLM Judge Can Express
• Title（参考訳）: フォーマットはフィルタ: LLM判事が表現できるものを修正するフォーマット
• Abstract要約: 我々はUltraFeedback候補を5つのフォーマットで15,406点、審査員3名、審査員66名、審査員4名で評価した。 0-100スケールは7-12レベルに過ぎず、20倍から3倍の1-5スケールであり、2進判定は77-78%のプロンプトでトップスコアを付けている。 審査に基づくキュレーションパイプラインを報告すべき4つの量を提案する。
• 参考スコア（独自算出の注目度）: 2.2430621739246166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When an LLM judge filters instruction-tuning data, its scoring format (binary verdict, 1--5 rating, 0--100 score, or comparison) is rarely justified or ablated. Holding the candidate pool, judge prompt, decoding and selection budget fixed, we score 15,406 UltraFeedback candidates under five formats with three judges, curate, fine-tune 66 models, and evaluate them with four judges. A 0--100 scale is worth only 7--12 equally used levels, two to three times a 1--5 scale rather than twenty, and a binary verdict leaves the top score tied in 77--78\% of prompts, so most selections are made at random. These properties are set by the format almost independently of the judge. Kendall's $τ_b$ hides them: it ranks binary best while $τ_a$ and top-1 agreement rank it last, because it discounts the ties a selector must break at random. Both comparative formats inherit a slot bias whose sign differs across judges. Downstream, curated data beat random selection under every evaluation judge, robust to length and markdown adjustment, but no ordering among formats is detectable. We propose four quantities that judge-based curation pipelines should report.
• Abstract（参考訳）: LLM判事が命令調整データをフィルタリングすると、そのスコア形式(2値判定、1−5レーティング、0−100スコア、または比較)が正当化または短縮されることは滅多にない。 候補プール、判定プロンプト、復号化、選択予算を固定し、UltraFeedback候補を5つのフォーマットで15,406点、審査員3名、審査員66名、審査員4名で評価する。 0-100スケールは、20ではなく1-5スケールの2倍から3倍の7-12レベルにしか値がなく、二進判定では、トップスコアが77--78\%のプロンプトで結びついているので、ほとんどの選択はランダムに行われる。 これらの性質は、裁判官とほぼ独立にフォーマットによって設定される。 Kendall の $τ_b$ はそれらを隠蔽する:$τ_a$ と $τ_a$ と top-1 の合意は、セレクタがランダムに壊さなければならない結合を割引するため、最後にランク付けする。 どちらのフォーマットも、審査員によって異なる記号を持つスロットバイアスを継承する。 下流のキュレートされたデータは、各評価判断の下でランダムな選択を破り、長さとマークダウンの調整が堅牢であるが、フォーマット間の順序付けは検出できない。 審査に基づくキュレーションパイプラインを報告すべき4つの量を提案する。

関連論文リスト

• JudgeMoE: Distributional Aggregation for LLM-as-a-Judge [23.77717327807449]
  我々は,キャッシュされた判定値の分布にサンプル固有の重みを割り当て,最終スコアを計算する前にそれらを融合する軽量アグリゲータであるJiceMoEを紹介する。 プロトコルスタディでは、判定-データセット設定間でスコアレンジの選択が不安定であり、ソフトスコアは通常ハードデコーディングを上回っている。
  論文  参考訳（メタデータ） (2026-10-05T15:41:46Z)
• When the Judge Acts: Auditing VLM-Guided Image Selection on Culturally Situated Prompts [0.0]
  視覚言語モデル(VLM)は、複数の生成された画像の中から最高のものを選ぶ審査員としての役割を担っている。 我々は、返却された画像と、判事が見たことのない人間の評価と、同じ候補からランダムに選択した画像を比較し、すべての決定を、再注文された候補と繰り返す。
  論文  参考訳（メタデータ） (2026-10-01T07:40:33Z)
• The First Token Is Not the Verdict: Hidden Costs of Reading LLM Judges Without Generating [0.0]
  LLMの審査員の判断を最初のトークンのロジットから読み取ることは安価であり、生成を必要としない。 この読み出しは位置バイアスを1方向に歪め、テストするすべての条件でオーバーステートするので、この方法で得られた数値は上限として振る舞う。
  論文  参考訳（メタデータ） (2026-09-04T00:45:28Z)
• Commit-first LLM judging inherits the judge's own errors [0.0]
  LLMジャッジは、他のシステムの出力をスコアするモデルであり、彼らがスコアするシステムによってゲームをすることができる。 裁判官は最初にタスクを解決し、その答えにコミットし、2つが一致した場合のみ候補者を受け入れる。 これをコミットファースト判断と呼び、出荷されたソフトウェアがそれを実装しているかどうか、そのコストについて尋ねます。
  論文  参考訳（メタデータ） (2026-08-31T12:14:14Z)
• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• When LLM Judge Scores Look Good but Best-of-N Decisions Fail [0.29465623430708904]
  大規模言語モデルは、しばしば審査員が候補の応答を採点し、単一のグローバルメトリックで検証するために使用される。 プロンプト内で実際のデプロイメントタスクが最良選択である場合、これは誤解を招く可能性がある。 審査に基づく選択においては、関連する監査は、グローバルな合意だけでは無く、インイン・プロンプト信号、タイレート、リカバリ/トップ-1の精度を報告すべきである。
  論文  参考訳（メタデータ） (2026-03-12T23:40:03Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。