論文の概要: Commonsense-T2I Challenge: Can Text-to-Image Generation Models Understand Commonsense?

• arxiv url: http://arxiv.org/abs/2406.07546v1
• Date: Tue, 11 Jun 2024 17:59:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 14:26:16.189425
• Title: Commonsense-T2I Challenge: Can Text-to-Image Generation Models Understand Commonsense?
• Title（参考訳）: Commonsense-T2Iチャレンジ:テキスト・画像生成モデルはCommonsenseを理解することができるか?
• Authors: Xingyu Fu, Muyu He, Yujie Lu, William Yang Wang, Dan Roth,
• Abstract要約: 本稿では,実生活における常識に適合した画像を生成するためのテキスト・画像生成モデルの能力を評価するための新しいタスクとベンチマークを提案する。 我々は、T2Iモデルが、例えば「電球は無光である」と「電球は無光である」というようなイメージを生成できるかどうかを評価する。 さまざまな最先端(ソータ)のT2Iモデルをベンチマークした結果、画像合成と実写写真の間にはまだ大きなギャップがあることがわかった。
• 参考スコア（独自算出の注目度）: 97.0899853256201
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present a novel task and benchmark for evaluating the ability of text-to-image(T2I) generation models to produce images that fit commonsense in real life, which we call Commonsense-T2I. Given two adversarial text prompts containing an identical set of action words with minor differences, such as "a lightbulb without electricity" v.s. "a lightbulb with electricity", we evaluate whether T2I models can conduct visual-commonsense reasoning, e.g. produce images that fit "the lightbulb is unlit" vs. "the lightbulb is lit" correspondingly. Commonsense-T2I presents an adversarial challenge, providing pairwise text prompts along with expected outputs. The dataset is carefully hand-curated by experts and annotated with fine-grained labels, such as commonsense type and likelihood of the expected outputs, to assist analyzing model behavior. We benchmark a variety of state-of-the-art (sota) T2I models and surprisingly find that, there is still a large gap between image synthesis and real life photos--even the DALL-E 3 model could only achieve 48.92% on Commonsense-T2I, and the stable diffusion XL model only achieves 24.92% accuracy. Our experiments show that GPT-enriched prompts cannot solve this challenge, and we include a detailed analysis about possible reasons for such deficiency. We aim for Commonsense-T2I to serve as a high-quality evaluation benchmark for T2I commonsense checking, fostering advancements in real life image generation.
• Abstract（参考訳）: 本稿では,テキスト・トゥ・イメージ(T2I)生成モデルを用いた実生活におけるコモンセンスに適合した画像の生成能力を評価するための新しいタスクとベンチマークを提案する。 例えば「電気のない電球」対「電気のない電球」等、同一の動作語を含む2つの対角的テキストプロンプトが与えられた場合、T2Iモデルは「電球はアンライト」と「電球はライト」とに適合する画像を生成する。 Commonsense-T2Iは、予測出力とともにペアワイズテキストプロンプトを提供する。 データセットは、専門家によって慎重に手作業で作成され、モデル動作の分析を支援するために、コモンセンスタイプや期待される出力の可能性といった、きめ細かいラベルで注釈付けされる。 DALL-E 3モデルでさえCommonsense-T2Iでは48.92%しか達成できず、安定した拡散XLモデルは24.92%の精度しか達成できない。 実験の結果,GPTに富んだプロンプトではこの問題は解決できないことが確認された。 我々は,コモンセンス-T2Iが,実生活画像生成の進歩を育み,T2Iコモンセンスチェックの高品質評価ベンチマークとして機能することを目指している。

関連論文リスト

• Text-to-Image Synthesis: A Decade Survey [7.250878248686215]
  テキスト・ツー・イメージ合成(T2I)は、テキスト記述から高品質な画像を生成することに焦点を当てている。 本調査では,T2Iに関する最近の研究440件について概説する。
  論文  参考訳（メタデータ） (2024-11-25T07:40:32Z)
• Evaluating the Generation of Spatial Relations in Text and Image Generative Models [4.281091463408283]
  空間関係は自然に空間的に理解される。 我々は、LLM出力を画像に変換するアプローチを開発し、T2IモデルとLLMの両方を評価する。 驚くべきことに、T2Iモデルは印象的な画像生成能力にもかかわらず、サブパー性能しか達成できないことがわかった。
  論文  参考訳（メタデータ） (2024-11-12T09:30:02Z)
• VLEU: a Method for Automatic Evaluation for Generalizability of Text-to-Image Models [18.259733507395634]
  VLEU(Visual Language Evaluation Understudy)と呼ばれる新しい指標を導入する。 VLEUは、視覚テキストの限界分布とモデルが生成した画像の条件分布との間のクルバック・リーバーの偏差を計算することにより、モデルの一般化可能性を定量化する。 本実験は,様々なT2Iモデルの一般化能力を評価する上で,VLEUの有効性を示す。
  論文  参考訳（メタデータ） (2024-09-23T04:50:36Z)
• Who Evaluates the Evaluations? Objectively Scoring Text-to-Image Prompt Coherence Metrics with T2IScoreScore (TS2) [62.44395685571094]
  T2IScoreScoreはプロンプトを含むセマンティックエラーグラフのキュレートされたセットであり,誤画像の集合である。 これにより、与えられた迅速な忠実度測定値が、客観的な誤差数に対して正しく画像を順序付けできるかどうかを厳格に判断することができる。 最先端のVLMベースのメトリクスは、CLIPScoreのような単純な(そしておそらく悪い)機能ベースのメトリクスを著しく上回りません。
  論文  参考訳（メタデータ） (2024-04-05T17:57:16Z)
• SELMA: Learning and Merging Skill-Specific Text-to-Image Experts with Auto-Generated Data [73.23388142296535]
  SELMAは、自動生成されたマルチスキル画像テキストデータセット上での微調整モデルにより、T2Iモデルの忠実度を向上させる。 SELMAは、複数のベンチマーク上での最先端T2I拡散モデルのセマンティックアライメントとテキスト忠実性を大幅に改善することを示す。 また、SELMAを介して自動コンパイルされた画像テキストペアによる微調整は、地上の真理データによる微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-03-11T17:35:33Z)
• A Contrastive Compositional Benchmark for Text-to-Image Synthesis: A Study with Unified Text-to-Image Fidelity Metrics [58.83242220266935]
  我々は,T2Iモデルの構成性を評価するためのベンチマークであるWinoground-T2Iを紹介する。 このベンチマークには、20のカテゴリにまたがる11Kの複雑で高品質なコントラスト文ペアが含まれている。 我々は、Winoground-T2Iモデルの性能評価と、その評価に使用される指標の2つの目的を兼ね備えたWinoground-T2Iを用いている。
  論文  参考訳（メタデータ） (2023-12-04T20:47:48Z)
• Mini-DALLE3: Interactive Text to Image by Prompting Large Language Models [71.49054220807983]
  一般的な制限は、自然言語記述を用いた安定拡散のようなT2Iモデルとの効果的な通信に持続する。 最近リリースされたDALLE3に触発されて、人間の意図を一致させ、新しいタスク、インタラクティブテキスト・トゥ・イメージ(iT2I)を導入すべく、既存のT2Iシステムを再考した。 我々は,iT2I の LLM を補助的手法と既製の T2I モデルで拡張する簡単な手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T16:53:40Z)
• If at First You Don't Succeed, Try, Try Again: Faithful Diffusion-based Text-to-Image Generation by Selection [53.320946030761796]
  拡散ベースのテキスト・トゥ・イメージ(T2I)モデルは、テキスト・プロンプトへの忠実さを欠く可能性がある。 大規模なT2I拡散モデルは通常想定されるよりも忠実であり、複雑なプロンプトに忠実な画像を生成することができることを示す。 本稿では,テキストプロンプトの候補画像を生成するパイプラインを導入し,自動スコアリングシステムにより最適な画像を選択する。
  論文  参考訳（メタデータ） (2023-05-22T17:59:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。