論文の概要: Behind Aggregate Scores: What Systematically Varying Arena-Hard's LLM Judge Reveals

• arxiv url: http://arxiv.org/abs/2610.30512v1
• Date: Wed, 21 Oct 2026 22:46:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.170903
• Title: Behind Aggregate Scores: What Systematically Varying Arena-Hard's LLM Judge Reveals
• Title（参考訳）: アリーナ・ハードのLSM判決を体系的に下すもの
• Abstract要約: 類似の集計スコアは、個々の評定の実質的な変化を隠蔽できることを示す。 ある設定では、判断を推論せずに要求し、他のいくつかの指示を下すと、結果が28.2ポイント以上のプロンプトで変化する。 安定した集計スコアは、個々の評定が繰り返し可能であることを証明しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM judges are used to determine which of two answers is better. Trusting these verdicts requires knowing how repeatable they are and how much they depend on the judge's instructions. We show that similar aggregate scores can conceal substantial changes in individual verdicts, both when the same setup is repeated and when the instructions change. Using 500 Arena-Hard v2.0 prompts with two models' answers held fixed, we run GPT-4.1 as the judge under all eight combinations of criteria, output format and task framing, and repeat every setup unchanged at temperature zero on a pinned model version. Rerunning the default setup moves the aggregate score by about one point but changes the win/tie/loss outcome on 21.2% of prompts. Instruction changes introduce further sensitivity: in one setup, which asks for the verdict without reasoning and also drops several other instructions, outcomes change on 28.2 percentage points more prompts than the two setups' unchanged reruns do on average, and the aggregate score falls by 4.09 points. In another, where the criteria prioritise accuracy, outcomes change on 6.7 percentage points more prompts by the same comparison, while the aggregate score barely moves. A stable aggregate score therefore does not establish that individual verdicts are repeatable. This distinction matters when those verdicts are used as preference labels or to assess individual responses. Evaluations that rely on individual verdicts should repeat each setup they use and report both aggregate scores and prompt-level agreement.
• Abstract（参考訳）: LLM審査員は、2つの答えのどちらが良いかを判断するために使用される。 これらの評決を信用するには、彼らがどの程度繰り返し可能か、また裁判官の指示にどの程度依存しているかを知る必要がある。 類似の集計スコアは、同じ設定を繰り返した場合と、命令が変更された場合の両方において、個々の評価の実質的な変化を隠蔽することができることを示す。 500 Arena-Hard v2.0 のプロンプトで 2 つのモデルの解答が固定され、GPT-4.1 を基準、出力フォーマット、タスクフレーミングの8つの組み合わせの審査員として実行し、ピン付きモデルバージョンで温度ゼロで変化しない全ての設定を繰り返す。 デフォルト設定の再実行は、アグリゲーションスコアを約1ポイント移動させるが、21.2%のプロンプトで勝敗/損失結果を変更する。 命令の変更により、さらなる感度がもたらされる: あるセットアップでは、判断を推論せずに要求し、他のいくつかの命令を下す、28.2パーセントの結果が2つのセットアップが変更していない再実行よりも多くのプロンプトで変更され、集計スコアは4.09ポイント低下する。 別の例では、基準が精度を優先する場合には、結果が6.7のポイントで同じ比較によってより早く変化し、アグリゲーションスコアはほとんど動きません。 したがって、安定した集計スコアは、個々の評定が繰り返し可能であることを証明しない。 この区別は、これらの評定が選好ラベルとして使われるか、あるいは個々の反応を評価するときに重要である。 個々の評定に依存する評価は、使用する各設定を繰り返し、集計スコアと即時合意の両方を報告すべきである。

関連論文リスト

• What Pairwise Evaluation Misses: Reward Scores across Prompts [0.12277343096128711]
  モデルスコアの差分変動と、同じ反応の人間の評価値の差を比較した。 スコアのクラスタは、評価よりも早くなります。
  論文  参考訳（メタデータ） (2026-10-22T11:00:10Z)
• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• Meta-Video: Efficient Standardized Evaluation for Video Understanding [44.839785842760335]
  さまざまなタスクと時間にまたがる791本の動画に対して、バランスのとれた1000のクエストのベンチマークを作成しました。 我々は,結果に影響を及ぼす選択を分離するために,構成空間を網羅して標準化された評価プロトコルを確立する。
  論文  参考訳（メタデータ） (2026-10-13T15:18:12Z)
• When Inputs Receive No Score: Evaluating Open-Web Event Admission on the Complete Stream [5.189969734952478]
  項目レベルの受入がランキング比較と運用上の決定の制約をどう変えるかを検討する。 6つのインストラクションモデルバックボーン、3つの戦略、602人のアノテート評価項目にまたがって、システムは異なるクラス構成で異なる集団をスコア付けする。 キャリブレーションの実現可能性を確認し,上流でのスコア損失と意思決定損失を分離する完全ストリーム評価プロトコルを用いて,これらの観測を接続する。
  論文  参考訳（メタデータ） (2026-10-13T06:39:50Z)
• Frozen Judges, Moving Agents: Version-Dependent LLM-Judge Error and the Limits of Judge-Assisted Agent Evaluation [7.504639516424482]
  言語モデル審査員はエージェントのアップグレードを前任者と比較するが、固定された審査員はバージョンに依存した誤りを犯すことがある。 公開コーディングエージェント35件、カスタマーサービスエージェント2件、専門家ラベル付きエージェントRewardBenchトラジェクトリ1,106件を分析した。
  論文  参考訳（メタデータ） (2026-09-28T03:10:18Z)
• Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding [65.85599131866623]
  私たちはJevとContractNLIの9つの言語モデルを比較します。 制御された比較は、仮説の可視性、要求された出力、および出力順序によって異なる。 Jevは、評価された構成の中で、最低コストと中央値のレスポンス時間を持っています。
  論文  参考訳（メタデータ） (2026-09-23T10:53:01Z)
• Ask Which, Not How Good: Sizing Benchmarks Scored by an LLM [0.47745223151611654]
  LLM判事によるベンチマークは、通常1点の10分の1の違いを判断するが、これらのベンチマークの解像度は測定されていない。 測定対象としてシステムを扱い,373,019の判断をシステム,項目,判断,相互作用成分に分解する。
  論文  参考訳（メタデータ） (2026-08-17T09:08:49Z)
• CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
  アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。 モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:41:43Z)
• FineVerify: Scaling Test-Time Compute with Fine-Grained Self-Verification for Agentic Search [88.16262636915975]
  FineVerifyはエージェント検索のためのきめ細かい自己検証フレームワークである。 各質問をチェック可能なサブクエストに分解し、サンプル候補を検証し、最も高い集計スコアの候補を選択する。 FineVerifyは、標準のスケーリングベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-30T10:21:20Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。