論文の概要: TIIF-Bench: How Does Your T2I Model Follow Your Instructions?

• arxiv url: http://arxiv.org/abs/2506.02161v1
• Date: Mon, 02 Jun 2025 18:44:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.97733
• Title: TIIF-Bench: How Does Your T2I Model Follow Your Instructions?
• Title（参考訳）: TIIF-Bench:T2Iモデルはどうやって命令をフォローするのか?
• Authors: Xinyu Wei, Jinrui Zhang, Zeqing Wang, Hongyang Wei, Zhen Guo, Lei Zhang,
• Abstract要約: 本稿では, TIIF-Bench (Text-to-Image Instruction following Benchmark) を提案する。 TIIF-Benchは、複数の次元に沿って組織された5000のプロンプトから構成されており、難易度と複雑さの3つのレベルに分類される。 T2Iモデルのテキスト合成精度と美的コヒーレンスを評価するために,テキストレンダリングとスタイル制御という2つの重要な属性が導入された。
• 参考スコア（独自算出の注目度）: 7.13169573900556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancements of Text-to-Image (T2I) models have ushered in a new phase of AI-generated content, marked by their growing ability to interpret and follow user instructions. However, existing T2I model evaluation benchmarks fall short in limited prompt diversity and complexity, as well as coarse evaluation metrics, making it difficult to evaluate the fine-grained alignment performance between textual instructions and generated images. In this paper, we present TIIF-Bench (Text-to-Image Instruction Following Benchmark), aiming to systematically assess T2I models' ability in interpreting and following intricate textual instructions. TIIF-Bench comprises a set of 5000 prompts organized along multiple dimensions, which are categorized into three levels of difficulties and complexities. To rigorously evaluate model robustness to varying prompt lengths, we provide a short and a long version for each prompt with identical core semantics. Two critical attributes, i.e., text rendering and style control, are introduced to evaluate the precision of text synthesis and the aesthetic coherence of T2I models. In addition, we collect 100 high-quality designer level prompts that encompass various scenarios to comprehensively assess model performance. Leveraging the world knowledge encoded in large vision language models, we propose a novel computable framework to discern subtle variations in T2I model outputs. Through meticulous benchmarking of mainstream T2I models on TIIF-Bench, we analyze the pros and cons of current T2I models and reveal the limitations of current T2I benchmarks. Project Page: https://a113n-w3i.github.io/TIIF_Bench/.
• Abstract（参考訳）: テキスト・トゥ・イメージ(T2I)モデルの急速な進歩により、AI生成コンテンツの新しいフェーズが生まれている。 しかし、既存のT2Iモデル評価ベンチマークでは、限られた急激な多様性と複雑さ、および粗い評価指標が不足しており、テキスト命令と生成された画像との微粒なアライメント性能の評価が困難である。 本稿では, TIIF-Bench (Text-to-Image Instruction following Benchmark) を提案する。 TIIF-Benchは、複数の次元に沿って組織された5000のプロンプトから構成されており、難易度と複雑さの3つのレベルに分類される。 モデルロバスト性を様々なプロンプト長に対して厳密に評価するために,同じコアセマンティクスを持つ各プロンプトに対して,短くて長いバージョンを提供する。 T2Iモデルのテキスト合成精度と美的コヒーレンスを評価するために、テキストレンダリングとスタイル制御という2つの重要な属性が導入された。 さらに、モデル性能を総合的に評価するために、さまざまなシナリオを含む高品質なデザイナーレベルのプロンプトを100個収集する。 大規模視覚言語モデルに符号化された世界知識を活用することで,T2Iモデル出力の微妙な変化を識別する新しい計算可能なフレームワークを提案する。 TIIF-Bench上でのT2Iモデルの厳密なベンチマークを通じて、現在のT2Iモデルの長所と短所を分析し、現在のT2Iベンチマークの限界を明らかにする。 プロジェクトページ:https://a113n-w3i.github.io/TIIF_Bench/。

関連論文リスト

• Draw ALL Your Imagine: A Holistic Benchmark and Agent Framework for Complex Instruction-based Image Generation [9.978181430065987]
  LongBench-T2Iは、複雑な命令の下でテキスト・トゥ・イメージ(T2I)モデルを評価するためのベンチマークである。 LongBench-T2Iは9つの視覚的評価次元にまたがる500の複雑なプロンプトで構成されている。 Plan2Genは複雑な命令駆動の画像生成を容易にするフレームワークで、追加のモデルトレーニングを必要としない。
  論文  参考訳（メタデータ） (2025-05-30T16:48:14Z)
• Multi-Modal Language Models as Text-to-Image Model Evaluators [16.675735328424786]
  MT2IE(Multimodal Text-to-Image Eval)は、評価のためのプロンプトを反復的に生成する評価フレームワークである。 MT2IEの即時一貫性スコアは,従来文献に紹介されていたスコアよりも高い相関性を示した。
  論文  参考訳（メタデータ） (2025-05-01T17:47:55Z)
• PhyBench: A Physical Commonsense Benchmark for Evaluating Text-to-Image Models [50.33699462106502]
  テキスト・トゥ・イメージ(T2I)モデルは、物理コモンセンスと整合した画像を生成するのにしばしば失敗する。 現在のT2I評価ベンチマークは、精度、バイアス、安全性などの指標に焦点を当て、モデルの内部知識の評価を無視している。 メカニクス,光学,熱力学,材料特性の4つのカテゴリに700のプロンプトを含む総合的なT2I評価データセットであるPhyBenchを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T17:49:01Z)
• SELMA: Learning and Merging Skill-Specific Text-to-Image Experts with Auto-Generated Data [73.23388142296535]
  SELMAは、自動生成されたマルチスキル画像テキストデータセット上での微調整モデルにより、T2Iモデルの忠実度を向上させる。 SELMAは、複数のベンチマーク上での最先端T2I拡散モデルのセマンティックアライメントとテキスト忠実性を大幅に改善することを示す。 また、SELMAを介して自動コンパイルされた画像テキストペアによる微調整は、地上の真理データによる微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-03-11T17:35:33Z)
• A Contrastive Compositional Benchmark for Text-to-Image Synthesis: A Study with Unified Text-to-Image Fidelity Metrics [58.83242220266935]
  我々は,T2Iモデルの構成性を評価するためのベンチマークであるWinoground-T2Iを紹介する。 このベンチマークには、20のカテゴリにまたがる11Kの複雑で高品質なコントラスト文ペアが含まれている。 我々は、Winoground-T2Iモデルの性能評価と、その評価に使用される指標の2つの目的を兼ね備えたWinoground-T2Iを用いている。
  論文  参考訳（メタデータ） (2023-12-04T20:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。