論文の概要: Rethinking Ground Truth: A Case Study on Human Label Variation in MLLM Benchmarking

• arxiv url: http://arxiv.org/abs/2603.19744v1
• Date: Fri, 20 Mar 2026 08:29:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.055057
• Title: Rethinking Ground Truth: A Case Study on Human Label Variation in MLLM Benchmarking
• Title（参考訳）: 地中真実の再考:MLLMベンチマークにおける人間ラベル変動の事例研究
• Authors: Tomas Ruiz, Tanalp Agustoslu, Carsten Schwemmer,
• Abstract要約: ヒトラベル変量(HLV)は、大規模な言語モデルの開発が急速に進んでいるにもかかわらず、ベンチマークでは未熟である。 本研究では,(1) ラベルの一致と(2) 意見の不一致の2つの条件を明示的に考慮したマルチモーダルな大規模言語モデルベンチマークの評価プロトコルを提案する。
• 参考スコア（独自算出の注目度）: 0.03219669032304847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human Label Variation (HLV), i.e. systematic differences among annotators' judgments, remains underexplored in benchmarks despite rapid progress in large language model (LLM) development. We address this gap by introducing an evaluation protocol for multimodal large language model (MLLM) benchmarking that explicitly accounts for two conditions: (1) human label agreement and (2) disagreement. We apply this protocol to two state-of-the-art MLLM families (Gemma 3, Qwen 2.5 VL) using non-aggregated human annotations from a social media content classification dataset. Across tasks, we find that larger models tend to perform best on high-agreement subsets, yet often underperform medium-sized models when human disagreement is high, indicating that parameter count alone does not determine sensitivity to ambiguity and subjectivity. These results show that benchmarks based solely on consensus labels can overstate model capabilities in such domains and that incorporating human label variation yields more realistic and robust assessments of MLLMs in content moderation pipelines.
• Abstract（参考訳）: ヒトラベル変動(Human Label Variation, HLV)とは、大規模な言語モデル(LLM)の開発が急速に進んでいるにもかかわらず、アノテータの判断の体系的な違いである。 マルチモーダル大規模言語モデル(MLLM)ベンチマークの評価プロトコルを導入することで,このギャップに対処する。 本稿では,ソーシャルメディアコンテンツ分類データセットからの非集約的アノテーションを用いて,最先端MLLMファミリー(Gemma 3, Qwen 2.5 VL)にこのプロトコルを適用した。 タスク全体にわたって、大きなモデルでは高収差のサブセットで最適に機能する傾向にあるが、人間の不一致が高い場合には中規模のモデルでは性能が劣る傾向にあり、パラメータ数だけでは曖昧さや主観性に敏感さを判断できないことが示される。 これらの結果から,コンセンサスラベルのみに基づくベンチマークは,そのような領域におけるモデル機能のオーバーステート化を実現し,コンテンツモデレーションパイプラインにおけるMLLMのより現実的でロバストな評価を実現することが示唆された。

関連論文リスト

• UniME-V2: MLLM-as-a-Judge for Universal Multimodal Embedding Learning [101.62386137855704]
  本稿では,Universal Multimodal Embedding (UniME-V2)モデルを提案する。 提案手法はまず,グローバル検索による潜在的な負のセットを構築する。 次に、MLLMを用いてクエリ候補対のセマンティックアライメントを評価するMLLM-as-a-Judge機構を提案する。 これらのスコアは、ハード・ネガティブ・マイニングの基礎となり、偽陰性の影響を緩和し、多様な高品質なハード・ネガティブの識別を可能にする。
  論文  参考訳（メタデータ） (2025-10-15T13:07:00Z)
• Uncovering the Computational Ingredients of Human-Like Representations in LLMs [8.00888290370075]
  人のような表現を発達させるモデルを構築する上で、これらの材料のうちどれが最も重要なのかは、いまだに不明である。 現在のベンチマークのほとんどは、人間とモデルの間の表現的アライメントの測定には適していない。
  論文  参考訳（メタデータ） (2025-10-01T15:37:19Z)
• Mapping Overlaps in Benchmarks through Perplexity in the Wild [8.321258152814986]
  我々は,大規模言語モデル(LLM)ベンチマークとその意味的な重複を特徴付けるために,キャパシティ親しみやすさのシグネチャを開発する。 本分析は,ベンチマーク質問の意味的類似性とモデル性能の相関性の両方に関して,シグネチャを定式化したものである。 最終的には、論理、数学、言語、命令追従、世界モデリングにまたがるクロスファンクショナルオーバーラップを識別し、コーディングが最重複の少ないドメインとして現れます。
  論文  参考訳（メタデータ） (2025-09-27T20:23:13Z)
• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Open-Domain Text Evaluation via Contrastive Distribution Methods [75.59039812868681]
  本稿では,Contrastive Distribution Methodsと呼ばれるオープンドメインテキスト生成手法を提案する。 マルチターン対話におけるコヒーレンス評価と制御可能な生成におけるコヒーレンス評価の実験により,CDMの優位性は人間の判断と相関していることが示された。
  論文  参考訳（メタデータ） (2023-06-20T20:37:54Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。