論文の概要: Auditing VLM Benchmarks from Existing Evaluation Runs

• arxiv url: http://arxiv.org/abs/2610.13548v1
• Date: Fri, 09 Oct 2026 13:05:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.58646
• Title: Auditing VLM Benchmarks from Existing Evaluation Runs
• Title（参考訳）: 既存の評価実行からVLMベンチマークを評価する
• Abstract要約: 視覚検出器モデル(VLM)のすべての評価実行によって生成される1回の探究アーチファクト 追加の監査層 VLMEvalKit: 6つの検出器が保存出力上の後処理検出器として動作する。 追加のテキストのみのテキストのみの再実行で、クエスト毎のレポートを出力する視覚的な入力が削除された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Every evaluation run of a vision-language model (VLM) already produces per-question artifacts (predictions, judged correctness, metadata) that leaderboards reduce to a single score and then discard. We reuse those artifacts to audit the benchmark itself, and add an audit layer to VLMEvalKit: six detectors that run as post-processing over saved outputs, plus one additional text-only rerun with visual inputs removed, emitting a per-question report. The layer reports per-question findings together with aggregate audit statistics; for the headline quantities, it attaches permutation-null excess where applicable, interval estimates for proportions, and sensitivity to the model pool. Auditing MMStar, a benchmark curated specifically so that the image is indispensable, with three models, we find zero aggregate accuracy gain from the image on 20.2% of its questions. An item-matched permutation null accounts for 17.0%, leaving a +3.2 pp excess (corrected permutation p = 0.001). This excess is concentrated in the mathematics and science categories and is absent from coarse perception, a localization consistent with knowledge substituting for visual evidence; confirming that mechanism would require item-level review. A second detector flags 134 questions on which every model that answered in parseable form picked the same non-gold option, and these candidates peak in the perception categories, whereas the zero-gain excess is largest in mathematics and science & technology. Replacing the LLM judge with exact string matching changes no conclusion, and every scoring discrepancy between the two traces to one model whose free-form answers a parser cannot read. On a binary yes/no benchmark the detectors measurably fall out of calibration, a scope boundary that we measure and report. The audit layer, the prediction artifacts and the generated reports accompany this submission.
• Abstract（参考訳）: 視覚言語モデル(VLM)のすべての評価実行は、すでに要求ごとのアーティファクト(予測、判断された正確性、メタデータ)を生成しており、リーダボードは単一のスコアに減少し、それを破棄する。 それらのアーティファクトを再利用してベンチマーク自体を監査し、VLMEvalKitに監査層を追加します。 レイヤは、集計監査統計とともに、照会毎の調査結果を報告し、ヘッドライン量には、適用可能な場合の置換-無効過剰量、比率の間隔推定、モデルプールへの感度を付加する。 MMStarは、画像が必須であるように特別にキュレートされたベンチマークであり、3つのモデルで、20.2%の質問で画像から集計精度がゼロになる。 アイテム整合置換は17.0%で、+3.2 pp が過剰である(補正置換 p = 0.001)。 この超過は数学と科学のカテゴリーに集中しており、視覚的証拠に代わる知識と整合した局所化である粗い知覚を欠いている。 第2の検出器フラグ134は、解析可能な形式で答えた全てのモデルが同じ非ゴールドオプションを選択し、これらの候補が知覚カテゴリーでピークに達し、ゼロゲイン過剰は数学と科学技術で最大である。 LLMジャッジを正確な文字列マッチングで置き換えても結論は変更されず、2つのトレース間のスコアの差はすべて、パーサーが読めないフリーフォームの1つのモデルに反映される。 2値のye/noベンチマークでは、測定と報告を行うスコープ境界であるキャリブレーションから測定値が外れます。 監査層、予測アーティファクト、および生成されたレポートがこの提出に付随する。

関連論文リスト

• MARS: Malware Analysis with Rule-Based Scoring of LLM Claims [0.08460698440162889]
  大規模な言語モデルでは、外部ポリシーによる直接的な判断や行動的クレームを通じてマルウェアをトリアージすることができる。 マルウェアトリアージフレームワークであるMARSについて,直接分類とシングルパスクレームスコアを比較した。 我々は、アーカイブされた評定を正確に再現し、修正されたポリシーを同じレコードに適用し、提供者によって取り下げられた2つの追加モデルの出力を含む。
  論文  参考訳（メタデータ） (2026-10-07T06:55:35Z)
• From Routing Signals to Selective Review: Visual regrounding in MoE VLMs [48.07726955428853]
  視覚言語モデル(VLM)は偽の視覚的前提を受け入れ、対象の物体の色、数、位置、状態について疑問に答える。 本稿では,Mixture-of-Experts (MoE)VLMにおける内部ルーティング決定を活用するための最初のフレームワークを提案する。 提案手法は,MoE VLMによってすでに作成されており,低コストな検出と選択的な視覚的リグラウンドを支援することができる。
  論文  参考訳（メタデータ） (2026-09-29T17:49:07Z)
• The Undetected Damage of Quantization on Retrieval and How to Fix It [51.02977749156532]
  分類精度を保った量子モデルでは,トップ1検索結果の14ドルから46%の値がまだ変化していることを示す。 この失敗を2つの上位モデルスコア間のギャップに結び付け、そのギャップを使用して、定量化された回答をいつ信頼するかを決めます。 この差が最大の丸め誤差の2倍を超える場合にのみ、トップ1結果が量子化を継続することが保証されていることを示す。
  論文  参考訳（メタデータ） (2026-09-21T09:26:35Z)
• When Residualization Helps an Audit: Format Effects, Slice Gains, and Their Limits [0.7734726150561088]
  LLMシステムで使用される評価スコアは、測定する品質ではなく、表面形状を追跡することができる。 観測的NLIおよびQA設定では、不随伴アノテータのラベルを用いて評価する前に、保持された複製を凍結し、再評価する。 完全な人口合意は、報告された正のスライスゲインを持つすべての観測条件に該当し、要求内ランキングはそのようなQA設定すべてに該当する。
  論文  参考訳（メタデータ） (2026-09-21T07:06:37Z)
• Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence [0.7340017786387767]
  先行スコアは,文脈メタデータにのみ含まれていても,判断をアンカーし,評価を評価値に体系的にシフトすることを示す。 人間のラベル付き地上真実によるカテゴリー産業データでは、アンカーされたメタデータは誤り訂正の48%をブロックし、割り当てられた間違ったラベルに対して正しい判断の10.18%をフリップする。
  論文  参考訳（メタデータ） (2026-08-26T14:41:24Z)
• DualEval: Joint Model-Item Calibration for Unified LLM Evaluation [67.99119926012686]
  DualEvalは、モデルと評価項目を共有空間で表現する潜在モデルイテムキャリブレーションフレームワークである。 我々はDualEvalを、コーディング、数学、雑多なドメイン知識タスク、汎用的な日常的なユーザクエリの4つの領域にまたがって適用する。
  論文  参考訳（メタデータ） (2026-06-24T22:40:46Z)
• RANSAC Scoring Done Right [0.6678130184505635]
  最も広く使われているRANSAC変種は、インレーヤを数えたり、残差閾値を超えて飽和するポイント当たりのスコアを和らげることで、候補モデルを評価する。 通常の推論順序を逆転することで、この依存を排除します。 単一の閉形式表現は、非形式的ジェフリーズ極限と情報的経験的ベイズ先行にまたがる。 提案されたRANSACスコアは、不整合スケールが式から真に欠落している最初のスコアである。
  論文  参考訳（メタデータ） (2026-06-12T15:03:30Z)
• HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
  HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。 我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
  論文  参考訳（メタデータ） (2026-02-15T02:50:15Z)
• SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
  SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。 ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。 安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
  論文  参考訳（メタデータ） (2026-01-19T23:37:10Z)
• BUMP: A Benchmark of Unfaithful Minimal Pairs for Meta-Evaluation of Faithfulness Metrics [70.52570641514146]
  不誠実な最小対 (BUMP) のベンチマークを示す。 BUMPは、889人の人間が書いた最小限のサマリーペアのデータセットである。 非ペアベースのデータセットとは異なり、BUMPはメトリクスの一貫性を測定するために使用することができる。
  論文  参考訳（メタデータ） (2022-12-20T02:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。