論文の概要: Prototypicality Bias Reveals Blindspots in Multimodal Evaluation Metrics

• arxiv url: http://arxiv.org/abs/2601.04946v2
• Date: Sat, 10 Jan 2026 09:28:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 15:02:56.561711
• Title: Prototypicality Bias Reveals Blindspots in Multimodal Evaluation Metrics
• Title（参考訳）: マルチモーダル評価指標におけるBlindspotsの原型的バイアス
• Authors: Subhadeep Roy, Gagan Bhatia, Steffen Eger,
• Abstract要約: マルチモーダル評価において,システム障害モードとしての原形質バイアスについて検討する。 我々は、動物、オブジェクト、デモグラフィー画像にまたがる対照ベンチマークProtoBiasを導入する。 以上の結果から,CLIPScore,PickScore,VQAベースのスコアなど,広く使用されているメトリクスが,これらのペアを誤用していることが判明した。 本稿では, 故障率を大幅に低減し, 誤判定を抑える, 頑健な7BパラメータであるProtoScoreを提案する。
• 参考スコア（独自算出の注目度）: 25.374192139098284
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Automatic metrics are now central to evaluating text-to-image models, often substituting for human judgment in benchmarking and large-scale filtering. However, it remains unclear whether these metrics truly prioritize semantic correctness or instead favor visually and socially prototypical images learned from biased data distributions. We identify and study prototypicality bias as a systematic failure mode in multimodal evaluation. We introduce a controlled contrastive benchmark ProtoBias (Prototypical Bias), spanning Animals, Objects, and Demography images, where semantically correct but non-prototypical images are paired with subtly incorrect yet prototypical adversarial counterparts. This setup enables a directional evaluation of whether metrics follow textual semantics or default to prototypes. Our results show that widely used metrics, including CLIPScore, PickScore, and VQA-based scores, frequently misrank these pairs, while even LLM-as-Judge systems exhibit uneven robustness in socially grounded cases. Human evaluations consistently favour semantic correctness with larger decision margins. Motivated by these findings, we propose ProtoScore, a robust 7B-parameter metric that substantially reduces failure rates and suppresses misranking, while running at orders of magnitude faster than the inference time of GPT-5, approaching the robustness of much larger closed-source judges.
• Abstract（参考訳）: 自動メトリクスはテキスト・ツー・イメージ・モデルの評価の中心となり、しばしばベンチマークや大規模なフィルタリングにおいて人間の判断に取って代わる。 しかし、これらの指標が真に意味的正しさを優先するか、あるいは偏りのあるデータ分布から学習した視覚的および社会的に原始的なイメージを優先するかは定かではない。 我々は,マルチモーダル評価において,原形質バイアスを系統的障害モードとして同定し,研究する。 本稿では, 動物, オブジェクト, デモグラフィを対象とする対照ベンチマークProtoBias(Prototypeal Bias)を提案する。 この設定により、メトリクスがテキストセマンティクスに従うか、あるいはプロトタイプをデフォルトにするかの方向評価が可能になる。 以上の結果から,CLIPScore,PickScore,VQAベースのスコアなど,広く使用されている指標は,これらのペアを誤用することが多かったが,LLM-as-Judgeシステムでさえ,社会的根拠のあるケースでは不均一な堅牢性を示した。 人間の評価は、より大きな意思決定マージンを持つ意味的正しさを一貫して好んでいる。 これらの結果から, GPT-5の推測時間よりも桁違いに高速に動作しながら, より大規模なクローズドソース判断器の堅牢性にアプローチしながら, 故障率を大幅に低減し, 誤判定を抑える頑健な7BパラメトリックであるProtoScoreを提案する。

関連論文リスト

• How Many Human Judgments Are Enough? Feasibility Limits of Human Preference Evaluation [0.38991526486631006]
  優先信号がプロンプト間で拡散している場合、比例アロケーションは最小値最適であることを示す。 以上の結果から,非決定的あるいは否定的な評価結果が,モデル等価性よりも低パワー評価を反映していることが示唆された。
  論文  参考訳（メタデータ） (2026-01-14T02:34:58Z)
• Defect-aware Hybrid Prompt Optimization via Progressive Tuning for Zero-Shot Multi-type Anomaly Detection and Segmentation [12.030059666003972]
  分散シフト下でのゼロショット多重型およびバイナリ異常検出とセグメンテーションのプログレッシブチューニングに基づく,Defect-aware Prompt Optimizationのための新しいアプローチであるDAPOを紹介する。 本手法は,固定されたテキストアンカーと学習可能なトークン埋め込みの両方で,ハイブリッドな欠陥認識プロンプトを学習することにより,異常関連画像特徴と対応するテキストセマンティクスを一致させる。
  論文  参考訳（メタデータ） (2025-12-10T09:19:17Z)
• Evaluating the Evaluators: Metrics for Compositional Text-to-Image Generation [13.460909458745379]
  本稿では,コンポジションテキスト画像評価に広く用いられている指標について検討する。 我々の分析は単純な相関を超越し、様々な構成課題にまたがってそれらの振る舞いを調べる。 結果は、1つのメトリクスがタスク間で一貫した実行をしないことを示している。
  論文  参考訳（メタデータ） (2025-09-25T14:31:09Z)
• Bias in Gender Bias Benchmarks: How Spurious Features Distort Evaluation [116.86965910589775]
  対象物の10%だけをマスクしたり、背景が弱くぼやけたりといった、最小限の摂動でさえ、バイアススコアを劇的に変える可能性がある。 これは、現在のバイアス評価がモデル応答を、性別バイアスよりも刺激的な特徴に反映していることを示唆している。
  論文  参考訳（メタデータ） (2025-09-09T11:14:11Z)
• A Meaningful Perturbation Metric for Evaluating Explainability Methods [55.09730499143998]
  本稿では,画像生成モデルを用いて標的摂動を行う新しい手法を提案する。 具体的には,画像の忠実さを保ちながら,入力画像の高関連画素のみを塗布し,モデルの予測を変更することに焦点を当てる。 これは、しばしばアウト・オブ・ディストリビューションの修正を生み出し、信頼できない結果をもたらす既存のアプローチとは対照的である。
  論文  参考訳（メタデータ） (2025-04-09T11:46:41Z)
• Where is this coming from? Making groundedness count in the evaluation of Document VQA models [12.951716701565019]
  一般的な評価指標は、モデルの出力のセマンティックおよびマルチモーダルな基礎性を考慮しない。 本稿では,予測の基盤性を考慮した新しい評価手法を提案する。 提案手法は,ユーザが好みに応じてスコアを設定できるようにパラメータ化されている。
  論文  参考訳（メタデータ） (2025-03-24T20:14:46Z)
• Who Evaluates the Evaluations? Objectively Scoring Text-to-Image Prompt Coherence Metrics with T2IScoreScore (TS2) [62.44395685571094]
  T2IScoreScoreはプロンプトを含むセマンティックエラーグラフのキュレートされたセットであり,誤画像の集合である。 これにより、与えられた迅速な忠実度測定値が、客観的な誤差数に対して正しく画像を順序付けできるかどうかを厳格に判断することができる。 最先端のVLMベースのメトリクスは、CLIPScoreのような単純な(そしておそらく悪い)機能ベースのメトリクスを著しく上回りません。
  論文  参考訳（メタデータ） (2024-04-05T17:57:16Z)
• Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
  視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。 本稿では,基準自由度に欠陥があるかどうかを考察する。 GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-18T12:36:23Z)
• Rethinking FID: Towards a Better Evaluation Metric for Image Generation [43.66036053597747]
  Inception Distanceは、実画像のInception-v3特徴分布とアルゴリズムによって生成された画像の距離を推定する。 インセプションの貧弱な表現は、現代のテキスト・画像モデルによって生成されるリッチで多様なコンテンツ、不正確な正規性仮定、そしてサンプルの複雑さによって引き起こされる。 よりリッチなCLIP埋め込みとガウスRBFカーネルとの最大平均差距離に基づく代替のCMMDを提案する。
  論文  参考訳（メタデータ） (2023-11-30T19:11:01Z)
• Improving Adversarial Robustness of Masked Autoencoders via Test-time Frequency-domain Prompting [133.55037976429088]
  BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。 意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。 我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-08-20T16:27:17Z)
• Balancing the Picture: Debiasing Vision-Language Datasets with Synthetic Contrast Sets [52.77024349608834]
  視覚言語モデルは、インターネットから未計算の画像テキストペアの事前トレーニング中に学んだ社会的バイアスを永続し、増幅することができる。 COCO Captionsは、背景コンテキストとその場にいる人々の性別間のバイアスを評価するために最も一般的に使用されるデータセットである。 本研究では,COCOデータセットを男女バランスの取れたコントラストセットで拡張する新しいデータセットデバイアスパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-24T17:59:18Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Evaluating and Mitigating Bias in Image Classifiers: A Causal Perspective Using Counterfactuals [27.539001365348906]
  本稿では、逆学習推論(ALI)の改良版に構造因果モデル(SCM)を組み込むことにより、逆ファクトアルを生成する方法を提案する。 本稿では,事前学習された機械学習分類器の説明方法を示し,そのバイアスを評価し,そのバイアスを正則化器を用いて緩和する方法について述べる。
  論文  参考訳（メタデータ） (2020-09-17T13:19:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。