Fugu-MT 論文翻訳(概要): Revisiting Text-to-Image Evaluation with Gecko: On Metrics, Prompts, and Human Ratings

論文の概要: Revisiting Text-to-Image Evaluation with Gecko: On Metrics, Prompts, and Human Ratings

arxiv url: http://arxiv.org/abs/2404.16820v1
Date: Thu, 25 Apr 2024 17:58:43 GMT
ステータス: 処理完了
システム内更新日: 2024-04-26 12:51:20.192502
Title: Revisiting Text-to-Image Evaluation with Gecko: On Metrics, Prompts, and Human Ratings
Title（参考訳）: Geckoによるテキスト・トゥ・イメージ・アセスメントの再考:メトリクス、プロンプット、人間のレーティングについて
Authors: Olivia Wiles, Chuhan Zhang, Isabela Albuquerque, Ivana Kajić, Su Wang, Emanuele Bugliarello, Yasumasa Onoe, Chris Knutsen, Cyrus Rashtchian, Jordi Pont-Tuset, Aida Nematzadeh,
Abstract要約: 我々は、異なる人間のテンプレート間でモデルを識別できるスキルベースのベンチマークを導入する。 4つのテンプレートと4つのT2Iモデルにまたがって人間の評価を収集し、合計100Kのアノテーションを作成します。既存の指標よりも人間の評価と相関した新しいQAベースの自動評価指標を導入する。
参考スコア（独自算出の注目度）: 31.34775554251813
License: http://creativecommons.org/licenses/by/4.0/
Abstract: While text-to-image (T2I) generative models have become ubiquitous, they do not necessarily generate images that align with a given prompt. While previous work has evaluated T2I alignment by proposing metrics, benchmarks, and templates for collecting human judgements, the quality of these components is not systematically measured. Human-rated prompt sets are generally small and the reliability of the ratings -- and thereby the prompt set used to compare models -- is not evaluated. We address this gap by performing an extensive study evaluating auto-eval metrics and human templates. We provide three main contributions: (1) We introduce a comprehensive skills-based benchmark that can discriminate models across different human templates. This skills-based benchmark categorises prompts into sub-skills, allowing a practitioner to pinpoint not only which skills are challenging, but at what level of complexity a skill becomes challenging. (2) We gather human ratings across four templates and four T2I models for a total of >100K annotations. This allows us to understand where differences arise due to inherent ambiguity in the prompt and where they arise due to differences in metric and model quality. (3) Finally, we introduce a new QA-based auto-eval metric that is better correlated with human ratings than existing metrics for our new dataset, across different human templates, and on TIFA160.
Abstract（参考訳）: テキスト・トゥ・イメージ(T2I)生成モデルはユビキタスになりつつあるが、必ずしも与えられたプロンプトに一致した画像を生成するとは限らない。これまでの研究では、人間の判断を収集するためのメトリクスやベンチマーク、テンプレートを提案してT2Iアライメントを評価してきたが、これらのコンポーネントの品質は体系的に測定されていない。人間の評価プロンプトセットは一般的に小さく、評価の信頼性は -- モデルを比較するために使用されるプロンプトセット -- 評価されない。このギャップに対処するために、オートエバルなメトリクスと人間のテンプレートを評価する広範囲な研究を行った。 1)異なる人間のテンプレートでモデルを識別できる総合的なスキルベースのベンチマークを導入する。このスキルベースのベンチマークは、サブスキルへのプロンプトであり、実践者はどのスキルが難しいかだけでなく、どのレベルの複雑さが難しいかを見極めることができる。 2)4つのテンプレートと4つのT2Iモデルにまたがって,100K以上のアノテーションに対する人間の評価を収集する。これにより、プロンプトの固有のあいまいさと、メートル法とモデルの品質の違いによって生じる違いを理解できます。 (3) 最後に、新しいデータセット、異なるヒューマンテンプレート、TIFA160における既存のデータセットのメトリクスよりも、人間のレーティングと相関した新しいQAベースの自動評価指標を導入する。

関連論文リスト

Unearthing Skill-Level Insights for Understanding Trade-Offs of Foundation Models [61.467781476005435]
集約精度を検査する際には、スキルワイドのパフォーマンスが不明確になる。モデル生成論理を検査することで,任意の評価事例に関連する基礎的スキルを復元する自動手法を提案する。私たちのスキルスライスとフレームワークは、モデル評価の新しい道を開き、スキル固有の分析を活用して、よりきめ細やかで実用的なモデル機能の理解を解き放ちます。
論文参考訳（メタデータ） (2024-10-17T17:51:40Z)
Who Evaluates the Evaluations? Objectively Scoring Text-to-Image Prompt Coherence Metrics with T2IScoreScore (TS2) [62.44395685571094]
T2IScoreScoreはプロンプトを含むセマンティックエラーグラフのキュレートされたセットであり,誤画像の集合である。これにより、与えられた迅速な忠実度測定値が、客観的な誤差数に対して正しく画像を順序付けできるかどうかを厳格に判断することができる。最先端のVLMベースのメトリクスは、CLIPScoreのような単純な(そしておそらく悪い)機能ベースのメトリクスを著しく上回りません。
論文参考訳（メタデータ） (2024-04-05T17:57:16Z)
A Contrastive Compositional Benchmark for Text-to-Image Synthesis: A Study with Unified Text-to-Image Fidelity Metrics [58.83242220266935]
我々は,T2Iモデルの構成性を評価するためのベンチマークであるWinoground-T2Iを紹介する。このベンチマークには、20のカテゴリにまたがる11Kの複雑で高品質なコントラスト文ペアが含まれている。我々は、Winoground-T2Iモデルの性能評価と、その評価に使用される指標の2つの目的を兼ね備えたWinoground-T2Iを用いている。
論文参考訳（メタデータ） (2023-12-04T20:47:48Z)
Evaluation Metrics of Language Generation Models for Synthetic Traffic Generation Tasks [22.629816738693254]
BLEUのような一般的なNLGメトリクスは、合成トラフィック生成(STG)の評価には適していないことを示す。生成したトラフィックと実際のユーザテキストの分布を比較するために設計されたいくつかの指標を提案し,評価する。
論文参考訳（メタデータ） (2023-11-21T11:26:26Z)
Evaluating Correctness and Faithfulness of Instruction-Following Models for Question Answering [26.34649731975005]
Retriever-augmented instruction-following modelは、質問応答のための微調整アプローチ(QA)の魅力的な代替品であるモデル応答は自然で流動的である傾向にあるが、追加の冗長性により、モデルパフォーマンスを正確に定量化するために従来のQA評価指標は信頼できない。 1) ユーザの情報要求(正確性)をどの程度満足させるか,2) 提供された知識(忠実性)に基づいて応答を生成するか,という2つの次元に沿って,これらのモデルを評価するために,自動評価と人的評価の両方を用いる。
論文参考訳（メタデータ） (2023-07-31T17:41:00Z)
Task Ambiguity in Humans and Language Models [7.033374427612259]
本稿では,あいまいな分類タスクのベンチマークであるAmbiBenchを提案する。 AmbiBench上での人間とモデルの評価は、意図したタスクがどの程度うまく認識されているかを確認することで行う。本研究では,大規模なフィードバックトレーニングを伴わずに学習した言語モデルの精度を劇的に向上させる方法について述べる。
論文参考訳（メタデータ） (2022-12-20T18:35:33Z)
Enabling Classifiers to Make Judgements Explicitly Aligned with Human Values [73.82043713141142]
性差別/人種差別の検出や毒性検出などの多くのNLP分類タスクは、人間の値に基づいている。本稿では,コマンド内で明示的に記述された人間の値に基づいて予測を行う,値整合型分類のためのフレームワークを提案する。
論文参考訳（メタデータ） (2022-10-14T09:10:49Z)
Bidimensional Leaderboards: Generate and Evaluate Language Hand in Hand [117.62186420147563]
リーダーボード, 二次元リーダーボード(ビルボード)の一般化を提案する。従来の一次元のリーダーボードがシステムに所定の基準でソートするのとは異なり、ビルボードはジェネレータと評価指標の両方を競合するエントリとして受け入れる。いくつかの異なるメトリクスの線形アンサンブルが、場合によっては既存のメトリクスを独立して大幅に上回っていることを実証する。
論文参考訳（メタデータ） (2021-12-08T06:34:58Z)
Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
論文参考訳（メタデータ） (2020-07-14T03:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。