論文の概要: KITTEN: A Knowledge-Intensive Evaluation of Image Generation on Visual Entities

• arxiv url: http://arxiv.org/abs/2410.11824v2
• Date: Mon, 28 Jul 2025 09:36:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 14:15:44.848454
• Title: KITTEN: A Knowledge-Intensive Evaluation of Image Generation on Visual Entities
• Title（参考訳）: KITTEN:ビジュアルエンターテイメントにおける画像生成の知識集約的評価
• Authors: Hsin-Ping Huang, Xinyi Wang, Yonatan Bitton, Hagai Taitelbaum, Gaurav Singh Tomar, Ming-Wei Chang, Xuhui Jia, Kelvin C. K. Chan, Hexiang Hu, Yu-Chuan Su, Ming-Hsuan Yang,
• Abstract要約: KITTENはKnowledge-InTensiveイメージジェネラティオンのベンチマークである。 我々は最新のテキスト・画像モデルと検索強化モデルについて体系的な研究を行う。 分析によると、高度なテキスト・ツー・イメージモデルでさえ、エンティティの正確な視覚的詳細を生成できない。
• 参考スコア（独自算出の注目度）: 93.74881034001312
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in text-to-image generation have improved the quality of synthesized images, but evaluations mainly focus on aesthetics or alignment with text prompts. Thus, it remains unclear whether these models can accurately represent a wide variety of realistic visual entities. To bridge this gap, we propose KITTEN, a benchmark for Knowledge-InTensive image generaTion on real-world ENtities. Using KITTEN, we conduct a systematic study of the latest text-to-image models and retrieval-augmented models, focusing on their ability to generate real-world visual entities, such as landmarks and animals. Analysis using carefully designed human evaluations, automatic metrics, and MLLM evaluations show that even advanced text-to-image models fail to generate accurate visual details of entities. While retrieval-augmented models improve entity fidelity by incorporating reference images, they tend to over-rely on them and struggle to create novel configurations of the entity in creative text prompts.
• Abstract（参考訳）: 近年のテキスト・ツー・イメージ生成の進歩により、合成画像の品質が向上したが、その評価は主に美学やテキスト・プロンプトとの整合性に焦点が当てられている。 したがって、これらのモデルが様々な現実的な視覚的実体を正確に表現できるかどうかは不明である。 このギャップを埋めるために,KITTENを提案する。 KITTENを用いて最新のテキスト・ツー・イメージモデルと検索・拡張モデルの体系的研究を行い,ランドマークや動物などの現実世界の視覚的実体を生成する能力に着目した。 慎重に設計された人間の評価、自動メトリクス、MLLM評価を用いて分析すると、高度なテキスト・画像モデルでさえ、エンティティの正確な視覚的詳細を生成できないことが示される。 検索強化されたモデルでは、参照イメージを組み込むことでエンティティの忠実度が向上するが、それらに過剰に依存し、創造的なテキストプロンプトでエンティティの新たな構成を作成するのに苦労する傾向がある。

関連論文リスト

• Image Regeneration: Evaluating Text-to-Image Model via Generating Identical Image with Multimodal Large Language Models [54.052963634384945]
  画像再生タスクを導入し,テキスト・ツー・イメージ・モデルの評価を行う。 我々はGPT4Vを用いて参照画像とT2Iモデルのテキスト入力のギャップを埋める。 また、生成した画像の品質を高めるために、ImageRepainterフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-14T13:52:43Z)
• TypeScore: A Text Fidelity Metric for Text-to-Image Generative Models [39.06617653124486]
  我々はTypeScoreと呼ばれる新しい評価フレームワークを導入し、モデルが高忠実な埋め込みテキストで画像を生成する能力を評価する。 提案手法は、CLIPScoreよりも高解像度で、一般的な画像生成モデルを区別する。
  論文  参考訳（メタデータ） (2024-11-02T07:56:54Z)
• Prompt-Consistency Image Generation (PCIG): A Unified Framework Integrating LLMs, Knowledge Graphs, and Controllable Diffusion Models [20.19571676239579]
  生成した画像と対応する記述とのアライメントを強化するための,拡散に基づく新しいフレームワークを提案する。 この枠組みは不整合現象の包括的解析に基づいて構築され,画像の表示に基づいて分類する。 次に、最先端の制御可能な画像生成モデルとビジュアルテキスト生成モジュールを統合し、元のプロンプトと整合した画像を生成する。
  論文  参考訳（メタデータ） (2024-06-24T06:12:16Z)
• ASAP: Interpretable Analysis and Summarization of AI-generated Image Patterns at Scale [20.12991230544801]
  生成画像モデルは、現実的な画像を生成するための有望な技術として登場してきた。 ユーザーがAI生成画像のパターンを効果的に識別し理解できるようにするための需要が高まっている。 我々はAI生成画像の異なるパターンを自動的に抽出する対話型可視化システムASAPを開発した。
  論文  参考訳（メタデータ） (2024-04-03T18:20:41Z)
• Harnessing the Power of Large Vision Language Models for Synthetic Image Detection [14.448350657613364]
  本研究では,合成画像識別における高度な視覚言語モデル(VLM)の有効性について検討した。 大規模VLMの頑健な理解能力を活用することにより,拡散モデルによる合成画像と真正画像の識別が目的である。
  論文  参考訳（メタデータ） (2024-04-03T13:27:54Z)
• A Survey on Quality Metrics for Text-to-Image Models [9.753473063305503]
  本稿では,そのニュアンスに対処する既存のテキスト・ツー・イメージの品質指標の概要と,人間の嗜好に合わせた調整の必要性について述べる。 本稿では,これらの指標を分類するための新しい分類法を提案する。 我々は,テキスト・ツー・イメージ評価を行う実践者のためのガイドラインを導出し,評価メカニズムのオープンな課題と,現在の指標の限界について論じる。
  論文  参考訳（メタデータ） (2024-03-18T14:24:20Z)
• RenAIssance: A Survey into AI Text-to-Image Generation in the Era of Large Model [93.8067369210696]
  テキスト・ツー・イメージ生成(テキスト・トゥ・イメージ・ジェネレーション、英: Text-to-image Generation、TTI)とは、テキスト入力を処理し、テキスト記述に基づいて高忠実度画像を生成するモデルである。 拡散モデル (diffusion model) は、繰り返しステップによるノイズの体系的導入を通じて画像の生成に使用される顕著な生成モデルである。 大規模モデルの時代、モデルサイズを拡大し、大規模言語モデルとの統合により、TTIモデルの性能がさらに向上した。
  論文  参考訳（メタデータ） (2023-09-02T03:27:20Z)
• Language Does More Than Describe: On The Lack Of Figurative Speech in Text-To-Image Models [63.545146807810305]
  テキスト・ツー・イメージ拡散モデルでは、テキスト入力プロンプトから高品質な画像を生成することができる。 これらのモデルは、コンテンツベースのラベル付けプロトコルから収集されたテキストデータを用いて訓練されている。 本研究では,現在使用されているテキスト・画像拡散モデルのトレーニングに使用されている公開テキストデータの感情性,目的性,抽象化の程度を特徴付ける。
  論文  参考訳（メタデータ） (2022-10-19T14:20:05Z)
• Re-Imagen: Retrieval-Augmented Text-to-Image Generator [58.60472701831404]
  検索用テキスト・ツー・イメージ・ジェネレータ(再画像) 検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
  論文  参考訳（メタデータ） (2022-09-29T00:57:28Z)
• Improving Generation and Evaluation of Visual Stories via Semantic Consistency [72.00815192668193]
  一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。 それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。 従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
  論文  参考訳（メタデータ） (2021-05-20T20:42:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。