論文の概要: Same Outputs, Different Scores: Auditing the Unchecked Graders of Multimodal LLM Benchmarks
- arxiv url: http://arxiv.org/abs/2611.03377v1
- Date: Mon, 02 Nov 2026 16:20:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.620294
- Title: Same Outputs, Different Scores: Auditing the Unchecked Graders of Multimodal LLM Benchmarks
- Title（参考訳）: 異なるスコアの出力:マルチモーダルLLMベンチマークの未検証グレーダの検討
- Abstract要約: 5つのオープンビジョン言語モデル上で8つのベンチマークの公式スコアを再現する。
我々は盲目の人間+LLM-judgeの判断を導入した。
ベンチマークでは、非準拠率と少なくとも2つのルールを報告すべきだ、と我々は主張する。
- 参考スコア（独自算出の注目度）: 0.8594140167290097
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Every multimodal-LLM multiple-choice benchmark ends with a scoring rule that converts a model's response, often free-form text rather than a clean option letter, into a right/wrong verdict, buried in its code. Unlike the dataset, this rule is chosen without justification and left unexamined, yet it sets the published number. We reproduce the official scorers of eight peer-reviewed benchmarks on five open vision-language models (VLMs) that fit a single 16 GB GPU, and introduce a blinded human-plus-LLM-judge adjudication (Cohen's kappa=0.956) that recovers what the model actually answered. The scoring rule alone moves accuracy by up to 22 points on identical outputs, yet exactly 0 wherever a model emits clean option letters, so it hides on strong-model leaderboards. It is the fallback and not the rambling that does the damage: the benchmark with the highest non-compliance we measure has an artifact of exactly zero, because its scorer abstains instead of guessing; a reasoning model with non-compliance 0.000 still swings 9.5 points with which regex match of its trace the parser keeps. No standard rule is reliable: snapping a non-answer to its closest option credits answers never given yet buries correct ones, abstention discards answers stated in words, and likelihood scoring follows answer-token priors, so a single grade conflates capability with luck rather than measuring either. We release all code, labels, and the protocol, and argue benchmarks should report a non-compliance rate and at least two rules, not one unexamined grade.
- Abstract（参考訳）: すべてのマルチモーダル-LLM多重選択ベンチマークは、クリーンなオプションレターではなく、しばしば自由形式のテキストであるモデルの応答を、コードに埋め込まれた右/右の判定に変換するスコアリングルールで終わる。
データセットとは異なり、このルールは正当化せずに選択され、未検討のまま残されるが、公表された数を設定する。
我々は、単一の16GB GPUに適合する5つのオープンビジョン言語モデル(VLM)上の8つのピアレビューベンチマークの公式スコアを再現し、モデルが実際に答えたことを回復する盲人+LLM-judgeの偏見(Cohen's kappa=0.956)を導入する。
スコアリングルールだけで、同じ出力で最大22ポイントの精度を移動するが、モデルがクリーンなオプション文字を出力する場合には、正確に0になるので、強力なモデルリーダーボードに隠される。
私たちが測定した最も高い非準拠のベンチマークは、推測ではなく、スコアが保たれるため、正確にゼロのアーティファクトを持っている;非準拠の0.000の推論モデルは、パーサーの痕跡のレジェックスマッチが保持する9.5ポイントをまだ揺らいでいる。
非回答を最寄りのオプションにスナップすると、正解は得られず、棄権は言葉で述べた答えを捨てる。
我々は、すべてのコード、ラベル、プロトコルをリリースし、ベンチマークは、非準拠率と少なくとも2つのルールを報告すべきであり、1つの未試験のグレードではないと主張している。
関連論文リスト
- Auditing VLM Benchmarks from Existing Evaluation Runs [0.0]
視覚検出器モデル(VLM)のすべての評価実行によって生成される1回の探究アーチファクト
追加の監査層 VLMEvalKit: 6つの検出器が保存出力上の後処理検出器として動作する。
追加のテキストのみのテキストのみの再実行で、クエスト毎のレポートを出力する視覚的な入力が削除された。
論文 参考訳（メタデータ） (2026-10-09T13:05:22Z) - JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。
ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。
Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
論文 参考訳（メタデータ） (2026-09-25T11:32:19Z) - Style, Not Self: Surface Cues Explain Zero-Shot Code Attribution by Large Language Models [4.36766480644779]
5つのLCMはMBPP、HumanEval、DS-1000のソリューションを生成し、さらに7つのMBPP、モデルが4つのタスクで評価器として機能する。
単一解法タスクでは、バランスの取れた精度は15のモデルとベンチマークの組み合わせで49-58%である。
名前付きモデルへの帰属はいくつかのペアで成功し、常に他のペアで逆転する。
論文 参考訳（メタデータ） (2026-09-24T16:11:21Z) - Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures [33.047894767530174]
Jevは、校正された決定のために強化学習で訓練されたモデルである。
1回の呼び出しでキャリブレーションされた確率を持つ入力について、多くの型付き質問に答える。
薬局、脱獄、偽装、迅速な注射、幻覚、プライバシー侵害、社会的偏見、報酬のハッキング、不確実性の隠蔽、電力探究という10のアライメント障害について、Jevをベンチマークしている。
論文 参考訳（メタデータ） (2026-09-24T11:49:30Z) - Check The Scoreboard: An Analysis of Scoring Schemes on Multiple-Choice Evaluation [52.58737865652009]
NLPにおけるMultiple-choice Question answering (MCQA)ベンチマークは、数右スコアリング(精度)を用いる。
教育試験において、スコアリング方式は、応答モードモデルが従うこと、および応答のグレーディングルールの組み合わせであり、どの能力に報酬を与えるかを規定する重要な設計選択である。
我々は、MCQAが6つの教育にインスパイアされた6つのスキームで、正確性を超えた能力を評価することで、数字右の代替手段がどのように変化するかを検討する。
論文 参考訳（メタデータ） (2026-08-30T16:35:22Z) - When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。
CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
論文 参考訳（メタデータ） (2026-08-04T11:45:46Z) - CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。
モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
論文 参考訳（メタデータ） (2026-06-02T13:41:43Z) - Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。
本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。
Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
論文 参考訳（メタデータ） (2026-06-01T04:43:36Z) - Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
モデル信頼性の定量化について検討する。
信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。
我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
論文 参考訳（メタデータ） (2025-02-05T18:58:19Z) - Language Generation with Strictly Proper Scoring Rules [70.340673452404]
本稿では,非局所的なスコアリングルールを用いた言語モデリングが可能な,スコアリングルールを言語生成に適用するための戦略を提案する。
対数スコアの代替として、ブライアスコアと球面スコアの2つの古典的厳密なスコアルールを用いて言語生成モデルを訓練する。
論文 参考訳（メタデータ） (2024-05-29T09:09:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。