論文の概要: What makes a good metric? Evaluating automatic metrics for text-to-image consistency

• arxiv url: http://arxiv.org/abs/2412.13989v1
• Date: Wed, 18 Dec 2024 16:09:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 13:24:42.825200
• Title: What makes a good metric? Evaluating automatic metrics for text-to-image consistency
• Title（参考訳）: 良いメトリックとは何か? テキストと画像の整合性のための自動メトリクスの評価
• Authors: Candace Ross, Melissa Hall, Adriana Romero Soriano, Adina Williams,
• Abstract要約: テキストと画像の整合性を測定するために,最近よく使われている4つの手法の構成妥当性について検討する。 メトリクスには言語や視覚的特性に対する十分な感度が欠けていることが分かりました。 3つのVQAベースのメトリクスはすべて、よく知られたテキストショートカットに依存している可能性が高い。
• 参考スコア（独自算出の注目度）: 22.54863925107684
• License:
• Abstract: Language models are increasingly being incorporated as components in larger AI systems for various purposes, from prompt optimization to automatic evaluation. In this work, we analyze the construct validity of four recent, commonly used methods for measuring text-to-image consistency - CLIPScore, TIFA, VPEval, and DSG - which rely on language models and/or VQA models as components. We define construct validity for text-image consistency metrics as a set of desiderata that text-image consistency metrics should have, and find that no tested metric satisfies all of them. We find that metrics lack sufficient sensitivity to language and visual properties. Next, we find that TIFA, VPEval and DSG contribute novel information above and beyond CLIPScore, but also that they correlate highly with each other. We also ablate different aspects of the text-image consistency metrics and find that not all model components are strictly necessary, also a symptom of insufficient sensitivity to visual information. Finally, we show that all three VQA-based metrics likely rely on familiar text shortcuts (such as yes-bias in QA) that call their aptitude as quantitative evaluations of model performance into question.
• Abstract（参考訳）: 言語モデルは、迅速な最適化から自動評価に至るまで、さまざまな目的で、より大きなAIシステムにコンポーネントとして組み込まれている。 本稿では,CLIPScore,TIFA,VPEval,DSGという,言語モデルおよび/またはVQAモデルをコンポーネントとして使用する,テキスト間の一貫性を測定するための,最近一般的に使用されている4つの手法の構成妥当性について検討する。 我々は,テキストイメージ整合性メトリクスの構成妥当性を,テキストイメージ整合性メトリクスが持つべきデシラタの集合として定義し,テスト済みのメトリクスがそれらすべてを満たすものがないことを発見した。 メトリクスには言語や視覚的特性に対する十分な感度が欠けていることが分かりました。 次に, TIFA, VPEval, DSGがCLIPScore以上の新規情報を提供し, 相互に高い相関関係があることを見出した。 また、テキスト画像の整合性指標の異なる側面をアブレーションし、すべてのモデルコンポーネントが厳密に必要ではないこと、また視覚情報に対する感度が不十分である徴候を見出した。 最後に、VQAをベースとした3つの指標のすべては、よく知られたテキストショートカット(QAのye-biasなど)に依存している可能性を示し、モデルパフォーマンスの定量的評価を疑問視している。

関連論文リスト

• FINEMATCH: Aspect-based Fine-grained Image and Text Mismatch Detection and Correction [66.98008357232428]
  我々は新しいアスペクトベースのきめ細かいテキストと画像マッチングベンチマークであるFineMatchを提案する。 FineMatchはテキストと画像のミスマッチの検出と修正に焦点を当てている。 FineMatchで訓練されたモデルは、きめ細かいテキストや画像のミスマッチを検出する能力の向上を示す。
  論文  参考訳（メタデータ） (2024-04-23T03:42:14Z)
• Evaluation Metrics of Language Generation Models for Synthetic Traffic Generation Tasks [22.629816738693254]
  BLEUのような一般的なNLGメトリクスは、合成トラフィック生成(STG)の評価には適していないことを示す。 生成したトラフィックと実際のユーザテキストの分布を比較するために設計されたいくつかの指標を提案し,評価する。
  論文  参考訳（メタデータ） (2023-11-21T11:26:26Z)
• Looking at words and points with attention: a benchmark for text-to-shape coherence [17.340484439401894]
  生成した3次元形状と入力テキスト記述とのコヒーレンスの評価には明確なベンチマークが欠如している。 我々は、形状に関連する記述を自動的に洗練するために、大きな言語モデルを使用します。 アプローチを検証するために,ユーザスタディを実施し,既存のメトリクスと定量的に比較する。 改良されたデータセット、新しいメトリック、およびユーザスタディによって検証されたテキスト-形状のペアは、新しくてきめ細かいベンチマークを構成する。
  論文  参考訳（メタデータ） (2023-09-14T17:59:48Z)
• TIFA: Accurate and Interpretable Text-to-Image Faithfulness Evaluation with Question Answering [86.38098280689027]
  視覚的質問応答(VQA)を用いたテキスト入力に生成した画像の忠実度を測定する自動評価指標を導入する。 そこで本研究では,12カテゴリにわたる4Kの多様なテキスト入力と25Kの質問(オブジェクト,カウントなど)からなるベンチマークを用いて,既存のテキスト・ツー・イメージ・モデルの包括的評価を行う。
  論文  参考訳（メタデータ） (2023-03-21T14:41:02Z)
• SMART: Sentences as Basic Units for Text Evaluation [48.5999587529085]
  本稿では,このような制約を緩和するSMARTと呼ばれる新しい指標を提案する。 文をトークンの代わりにマッチングの基本単位として扱い,ソフトマッチ候補と参照文に文マッチング関数を用いる。 この結果から,提案手法とモデルベースマッチング関数とのシステムレベルの相関は,全ての競合する指標よりも優れていた。
  論文  参考訳（メタデータ） (2022-08-01T17:58:05Z)
• Transparent Human Evaluation for Image Captioning [70.03979566548823]
  画像キャプションモデルのためのルーリックに基づく人間評価プロトコルを開発した。 人為的キャプションは機械的キャプションよりも著しく高品質であることを示す。 この研究は、画像キャプションのためのより透明な評価プロトコルを促進することを願っている。
  論文  参考訳（メタデータ） (2021-11-17T07:09:59Z)
• COSMic: A Coherence-Aware Generation Metric for Image Descriptions [27.41088864449921]
  画像メトリクスは、テキスト評価モデルのセマンティックおよび実用的成功の正確な学習された推定を与えるのに苦労してきた。 出力の出力を評価するための最初の学習的生成指標を示す。 提案手法では,BLEURTやBERTなどの他の指標と比較して,複数の最先端キャプションモデルの結果に対する人的判断の精度が高いことを示す。
  論文  参考訳（メタデータ） (2021-09-11T13:43:36Z)
• Intrinsic Image Captioning Evaluation [53.51379676690971]
  I2CE(Intrinsic Image Captioning Evaluation)と呼ばれる画像キャプションのための学習ベースメトリクスを提案する。 実験の結果,提案手法は頑健な性能を維持し,意味的類似表現やアライメントの少ない意味論に遭遇した場合,候補キャプションに対してより柔軟なスコアを与えることができた。
  論文  参考訳（メタデータ） (2020-12-14T08:36:05Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。