論文の概要: There Is No Neutral Harness: Modern LLM Leaderboards Are Manufactured by Config-Fragile Items

• arxiv url: http://arxiv.org/abs/2608.21382v1
• Date: Fri, 17 Jul 2026 00:28:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.321135
• Title: There Is No Neutral Harness: Modern LLM Leaderboards Are Manufactured by Config-Fragile Items
• Title（参考訳）: ニュートラルなハーネスはない。現代のLLMのリーダーボードは、構成が壊れやすいアイテムで作られている
• Abstract要約: 複数選択ベンチマークは、質問と正しい答えを修正しますが、ハーネスではありません。 スコアのばらつきを報告し、そのばらつきがどの項目に該当するかを未検討のままにし、それらが次のモデルから切り離した項目であるかどうかを報告する。 12のオープンウェイト命令チューニングLDMが4つのベンチマークから同じ3,679の項目に回答する。
• 参考スコア（独自算出の注目度）: 1.14219428942199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multiple-choice benchmarks fix the questions and the correct answers, but not the harness: the order of the options, the wording of the prompt, and whether a language model's answer is read from generated text or from per-option likelihoods. Work on this harness sensitivity reports it as aggregate score variance, leaving unexamined which items the variance falls on and whether they are the items that separate one model from the next. We treat the evaluation harness of large language models (LLMs) as an independent variable and resolve its effect to single items. We introduce the \textit{fragility grid}: 12 open-weight instruction-tuned LLMs from 4 families answer the same 3{,}679 items from 4 benchmarks (ARC, HellaSwag, MMLU, TruthfulQA) under 26 equally defensible harness configurations, recording one correctness bit for every model, item, and configuration. The comparison is matched, since the items, the weights, and the greedy decoding stay fixed while only the harness varies. Under the grid a model's score is a band rather than a point: gemma4-31b scores between 31 and 89 percent depending only on the harness. Three results follow. On the items that two adjacent models both answer stably the pair is tied, and config-fragile items carry 95.7 percent of a pair's gap on average. Four of the 12 models reach rank one under some configuration, so the harness selects the winner. Item discrimination, the property that benchmark-compression methods maximize, correlates with fragility at 0.28 (95 percent CI 0.25 to 0.30), so compression keeps the fragile items rather than removing them. The scoring choice, not the option order that protocols usually fix, is the load-bearing axis. We release the per-item records and the analysis script, from which every number regenerates on a CPU in seconds, and we position the fragility grid as a check a leaderboard can run before it reports an order.
• Abstract（参考訳）: 複数選択ベンチマークは、オプションの順序、プロンプトのワード化、および言語モデルの回答が生成されたテキストから読み込まれるか、オプションごとの確率で読み込まれるか、といった問題と正しい答えを修正します。 このハーネス感度の研究は、それを集合的なスコアのばらつきとして報告し、そのばらつきがどの項目に該当するか、そしてそれらが次のモデルから分離する項目であるかどうかを未検討のまま残します。 本研究では,大規模言語モデル(LLM)の評価手法を独立変数として扱い,その効果を単一項目に適用する。 モデル,項目,構成毎に1つの正当性ビットを記録することにより,26個のベンチマーク (ARC, HellaSwag, MMLU, TruthfulQA) から同じ 3{,}679 項目に回答する。 比較は、アイテム、重量、グリーディ復号が固定されているが、ハーネスのみが異なるため、一致している。 gemma4-31bはハーネスのみに依存して31～89パーセントのスコアである。 3つの結果が続く。 2つの隣接するモデルが安定して解答するアイテムについて、ペアは結びついており、構成フレジブルアイテムはペアのギャップの95.7%を平均で担っている。 12モデルのうち4モデルが一定の構成でランク1に達するため、ハーネスが勝者を選択する。 ベンチマーク圧縮メソッドが最大化する特性であるアイテムの識別は、脆弱さと相関する0.28(95% CI 0.25 から 0.30 まで)である。 プロトコルが通常固定するオプション順序ではなく、スコアリングの選択は、ロードベアリング軸である。 我々は、各項目のレコードと分析スクリプトをリリースし、そこから各数値がCPU上で数秒で再生され、不安定性グリッドを、リーダーボードが注文を報告する前に実行できるチェックとして配置する。

関連論文リスト

• Style, Not Self: Surface Cues Explain Zero-Shot Code Attribution by Large Language Models [4.36766480644779]
  5つのLCMはMBPP、HumanEval、DS-1000のソリューションを生成し、さらに7つのMBPP、モデルが4つのタスクで評価器として機能する。 単一解法タスクでは、バランスの取れた精度は15のモデルとベンチマークの組み合わせで49-58%である。 名前付きモデルへの帰属はいくつかのペアで成功し、常に他のペアで逆転する。
  論文  参考訳（メタデータ） (2026-09-24T16:11:21Z)
• Coding Agents Have Converged: Why the SWE-bench Leaderboard Can No Longer Order Its Top Entries, and What to Measure Instead [9.25138311822007]
  コーディングエージェントのリーダーボードにおける小さな違いは、しばしばシステムの順序付けとして読まれる。 モデルを実行せずに4分割で254件のSWE-benchを提出し,この読解をサポートするかどうかを検証した。 パーティションと5段階の監査プロトコルをリリースし、共有結果のプロファイリング、ペアの違いのテスト、感度の報告、解決に必要なインスタンス予算の見積を行います。
  論文  参考訳（メタデータ） (2026-09-15T16:29:12Z)
• Target-Checked Reliability Score Refinement for Video Question Answering [3.8271803328378677]
  モデルの再トレーニングや回答の変更を伴わずに、目標シフトの下で回答レベルの信頼性スコアを改善できるかどうかを検討する。 3つの固定されたビデオ言語モデルから、4つの決定論的ビデオサンプリングに基づいてオプション確率リストを収集する。 選択した回答に割り当てられた確率として定義される原点スコアと,開発データセットに基づいて学習したヒストグラムに基づく勾配ボスティング(HGB)スコアを比較した。 候補は、ビデオレベルの繰り返しチェックがポジティブで安定した改善を示す場合にのみ、元のスコアを置き換える。
  論文  参考訳（メタデータ） (2026-09-09T08:29:00Z)
• WHALE: A Simple Recipe for Joint Harness-Weight Optimization [48.550149284101536]
  WHALE(Weight-Harness Alternating LEarning)は、2つのフェーズを切り替えるレシピである。 3つの領域にわたるQwen3.5-2B/4Bエージェント(質問応答、数学的推論、チェスパズル)を使用して、WHALEは重量のみ、ハーネスのみ、Fast-Slow Trainingの4.15-24.38ポイントを最高の平均@8の精度で上回る。
  論文  参考訳（メタデータ） (2026-08-31T18:12:55Z)
• Check The Scoreboard: An Analysis of Scoring Schemes on Multiple-Choice Evaluation [52.58737865652009]
  NLPにおけるMultiple-choice Question answering (MCQA)ベンチマークは、数右スコアリング(精度)を用いる。 教育試験において、スコアリング方式は、応答モードモデルが従うこと、および応答のグレーディングルールの組み合わせであり、どの能力に報酬を与えるかを規定する重要な設計選択である。 我々は、MCQAが6つの教育にインスパイアされた6つのスキームで、正確性を超えた能力を評価することで、数字右の代替手段がどのように変化するかを検討する。
  論文  参考訳（メタデータ） (2026-08-30T16:35:22Z)
• IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
  我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。 セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-17T09:50:52Z)
• Gated Against One Model, Open to the Next: Option-Only Solvability in Legal Multiple-Choice Benchmarks [0.0]
  複数選択のベンチマークは、モデルが正しい選択肢を選ぶかどうか、質問が必要なかどうかで評価される。 UA-JudgeExam: 11,990件の4つのオプション項目を公式キーで測定し、ウクライナの高等審査委員会(Higher Qualification Commission of Judges)が公表した。 11.8%のアイテムは、偶然に予想される0.2項目に対して、8つのオプションのすべてで盲目で答えられる。
  論文  参考訳（メタデータ） (2026-08-15T22:11:00Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)
• Where Does the Noise Come From? A Variance-Components Decomposition of Non-Determinism in LLM Brand Answers [0.0]
  大きな言語モデルがブランドを推奨するかどうかを測定するチームは、問題に直面します。 評価されたブランドスコアは、少なくとも4つの分離可能な理由(即時再サンプリング、フレーズのプロンプト、モデルアイデンティティ、クエリ言語)で動きます。
  論文  参考訳（メタデータ） (2026-07-14T22:12:52Z)
• CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
  アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。 モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:41:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。