論文の概要: Are Multimodal Benchmarks Really Useful? Item-Level Multimodal Benchmark Diagnosis via Structure-Response Co-Calibration

• arxiv url: http://arxiv.org/abs/2610.14542v1
• Date: Sat, 10 Oct 2026 03:57:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.064219
• Title: Are Multimodal Benchmarks Really Useful? Item-Level Multimodal Benchmark Diagnosis via Structure-Response Co-Calibration
• Title（参考訳）: マルチモーダルベンチマークは本当に有用か? 構造応答共校によるアイテムレベルマルチモーダルベンチマーク診断
• Abstract要約: マルチモーダルベンチマークにおけるモダリティ依存の項目レベル診断のための構造応答型共校正診断フレームワークSRCoDを提案する。 SRCoDは、ベンチマーク内容と対象回答からサンプルワイドなマルチモーダル情報構造を推定し、この信号を、モダリティ条件の項目応答モデリングのためのソフトな構造的アンカーとして利用する。
• 参考スコア（独自算出の注目度）: 21.183387438060098
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal benchmarks are central to evaluating whether models can reason over information from multiple modalities. However, existing literature has revealed that some benchmarks may contain shortcut items that can be answered from a single modality or from answer-option regularities alone, thus failing to reflect models' true cross-modal inference ability. Existing methods for assessing benchmarks typically rely either on intrinsic item structure or extrinsic model response behavior, which are not adequate for a comprehensive diagnosis. To fill in this gap, we propose SRCoD, a structure-response co-calibrated diagnosis framework for item-level diagnosis of modality dependence in multimodal benchmarks. SRCoD estimates sample-wise multimodal information structure from benchmark content and target answers, and uses this signal as a soft structural anchor for modality-conditioned item response modeling. The learned model produces a calibrated item-level diagnostic profile that reflects how strongly an item depends on different forms of modality evidence, enabling fine-grained benchmark analysis beyond aggregate accuracy. SRCoD also provides interpretable attribution of the diagnosis results. Extensive experiments under two complementary protocols, i.e., benchmark-refinement oriented validation and human-labeled item validation, demonstrate that SRCoD outperforms state-of-the-art benchmark diagnosis methods.
• Abstract（参考訳）: マルチモーダルベンチマークは、モデルが複数のモーダルからの情報を引き継ぐことができるかどうかを評価する上で重要である。 しかし、既存の文献では、いくつかのベンチマークには単一のモダリティや解答オプションの正規性のみから答えられるショートカット項目が含まれており、結果としてモデルの真のクロスモーダル推論能力の反映に失敗する可能性があることが判明している。 既存のベンチマーク評価手法は、一般的に本質的な項目構造や外生的なモデル応答に頼っているが、包括的な診断には不十分である。 このギャップを埋めるために、マルチモーダルベンチマークにおけるモダリティ依存の項目レベル診断のための構造応答コキャリブレーション診断フレームワークSRCoDを提案する。 SRCoDは、ベンチマーク内容と対象回答からサンプルワイドなマルチモーダル情報構造を推定し、この信号を、モダリティ条件の項目応答モデリングのためのソフトな構造的アンカーとして利用する。 学習したモデルは、アイテムが様々な形のモダリティエビデンスにどれだけ強く依存しているかを反映した、校正されたアイテムレベルの診断プロファイルを生成し、集計精度を超えた詳細なベンチマーク分析を可能にする。 SRCoDはまた、診断結果の解釈可能な属性も提供する。 ベンチマークリファインメント指向の検証と人間ラベルの項目検証という2つの補完的プロトコルによる大規模な実験は、SRCoDが最先端のベンチマーク診断方法より優れていることを実証している。

関連論文リスト

• MultAttnAttrib: Training-Free Multimodal Attribution in Long Document Question Answering [73.47440561592556]
  トレーニング不要な属性生成手法であるMultAttnAttribを紹介する。 MultAttnAttribは、様々な属性生成方法よりも一貫して優れていることを示す。 提案手法は直接推論遅延の最大7分の1の属性を生成する。
  論文  参考訳（メタデータ） (2026-07-01T19:29:19Z)
• MMEB-V3: Measuring the Performance Gaps of Omni-Modality Embedding Models [70.34265674686516]
  マルチモーダル埋め込みモデルは、テキスト、画像、ビデオ、オーディオなどの異種入力を共有意味空間にマッピングすることを目的としている。 本稿では,テキスト,画像,ビデオ,オーディオ,エージェント中心のシナリオにまたがる埋め込みを評価するベンチマークであるMMEB-V3を紹介する。 本研究は, 完全モダリティ埋め込みの系統的解析を行い, 3つの重要な知見を同定する。
  論文  参考訳（メタデータ） (2026-04-25T14:15:05Z)
• IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
  命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。 各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。 IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
  論文  参考訳（メタデータ） (2026-03-05T02:21:17Z)
• Learning More from Less: Unlocking Internal Representations for Benchmark Compression [37.69575776639016]
  異種隠蔽状態を統一潜在空間に整列させて代表コアセットを構成するREPCOREを導入する。 5つのベンチマークと200以上のモデルの実験は、ランキングの相関と推定精度において、出力ベースラインよりも一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-01-31T13:11:39Z)
• Deconstructing Instruction-Following: A New Benchmark for Granular Evaluation of Large Language Model Instruction Compliance Abilities [2.9203730377983654]
  既存のベンチマークでは、実際の使用を反映したり、コンプライアンスをタスクの成功から分離することができない。 アプリケーション指向の生成制約を最大20個まで含む動的に生成されたデータセットを使用するモジュール型フレームワークであるMOSAICを紹介した。 コンプライアンスはモノリシックな機能ではなく、制約タイプ、量、位置によって大きく異なります。
  論文  参考訳（メタデータ） (2026-01-26T15:02:15Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。