論文の概要: AcT2I: Evaluating and Improving Action Depiction in Text-to-Image Models

• arxiv url: http://arxiv.org/abs/2509.16141v1
• Date: Fri, 19 Sep 2025 16:41:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:11.247982
• Title: AcT2I: Evaluating and Improving Action Depiction in Text-to-Image Models
• Title（参考訳）: AcT2I:テキスト・ツー・イメージ・モデルにおけるアクション・デピクションの評価と改善
• Authors: Vatsal Malaviya, Agneet Chatterjee, Maitreya Patel, Yezhou Yang, Chitta Baral,
• Abstract要約: 本稿では、アクション中心のプロンプトから画像を生成する際のT2Iモデルの性能を評価するためのベンチマークであるAcT2Iを紹介する。 我々は、先行するT2IモデルがAcT2Iにうまく対応していないことを実験的に検証した。 我々は,この制限に対処するために,大規模言語モデルを用いた訓練不要の知識蒸留技術を開発した。
• 参考スコア（独自算出の注目度）: 58.85362281293525
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Text-to-Image (T2I) models have recently achieved remarkable success in generating images from textual descriptions. However, challenges still persist in accurately rendering complex scenes where actions and interactions form the primary semantic focus. Our key observation in this work is that T2I models frequently struggle to capture nuanced and often implicit attributes inherent in action depiction, leading to generating images that lack key contextual details. To enable systematic evaluation, we introduce AcT2I, a benchmark designed to evaluate the performance of T2I models in generating images from action-centric prompts. We experimentally validate that leading T2I models do not fare well on AcT2I. We further hypothesize that this shortcoming arises from the incomplete representation of the inherent attributes and contextual dependencies in the training corpora of existing T2I models. We build upon this by developing a training-free, knowledge distillation technique utilizing Large Language Models to address this limitation. Specifically, we enhance prompts by incorporating dense information across three dimensions, observing that injecting prompts with temporal details significantly improves image generation accuracy, with our best model achieving an increase of 72%. Our findings highlight the limitations of current T2I methods in generating images that require complex reasoning and demonstrate that integrating linguistic knowledge in a systematic way can notably advance the generation of nuanced and contextually accurate images.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)モデルは近年,テキスト記述から画像を生成することに成功している。 しかしながら、アクションとインタラクションが主要なセマンティックフォーカスを形成する複雑なシーンを正確にレンダリングする上で、課題はまだ続いている。 我々の研究における重要な観察は、T2Iモデルは、アクションの描写に固有のニュアンスや暗黙の属性を捉えるのにしばしば苦労し、重要な文脈の詳細を欠いた画像を生成することである。 本稿では,行動中心のプロンプトから画像を生成する際のT2Iモデルの性能を評価するベンチマークであるAcT2Iを紹介する。 我々は、先行するT2IモデルがAcT2Iにうまく対応していないことを実験的に検証した。 さらに、既存のT2Iモデルのトレーニングコーパスにおける固有の属性と文脈依存性の不完全表現から、この欠点が生じるという仮説を立てる。 我々は,この制限に対処するために,大規模言語モデルを用いた訓練不要の知識蒸留技術を開発した。 具体的には,3次元にわたる濃密な情報を組み込んでプロンプトを強化し,時間的詳細でプロンプトを注入することで画像生成精度が有意に向上し,最良のモデルでは72%の増加を実現している。 本研究は, 複雑な推論を必要とする画像の生成における現在のT2I手法の限界を強調し, 言語知識を体系的に統合することで, ニュアンスや文脈的に正確な画像の生成を促進できることを示した。

関連論文リスト

• TIIF-Bench: How Does Your T2I Model Follow Your Instructions? [7.13169573900556]
  本稿では, TIIF-Bench (Text-to-Image Instruction following Benchmark) を提案する。 TIIF-Benchは、複数の次元に沿って組織された5000のプロンプトから構成されており、難易度と複雑さの3つのレベルに分類される。 T2Iモデルのテキスト合成精度と美的コヒーレンスを評価するために,テキストレンダリングとスタイル制御という2つの重要な属性が導入された。
  論文  参考訳（メタデータ） (2025-06-02T18:44:07Z)
• Image Regeneration: Evaluating Text-to-Image Model via Generating Identical Image with Multimodal Large Language Models [54.052963634384945]
  画像再生タスクを導入し,テキスト・ツー・イメージ・モデルの評価を行う。 我々はGPT4Vを用いて参照画像とT2Iモデルのテキスト入力のギャップを埋める。 また、生成した画像の品質を高めるために、ImageRepainterフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-14T13:52:43Z)
• PhyBench: A Physical Commonsense Benchmark for Evaluating Text-to-Image Models [50.33699462106502]
  テキスト・トゥ・イメージ(T2I)モデルは、物理コモンセンスと整合した画像を生成するのにしばしば失敗する。 現在のT2I評価ベンチマークは、精度、バイアス、安全性などの指標に焦点を当て、モデルの内部知識の評価を無視している。 メカニクス,光学,熱力学,材料特性の4つのカテゴリに700のプロンプトを含む総合的なT2I評価データセットであるPhyBenchを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T17:49:01Z)
• Improving Text-to-Image Consistency via Automatic Prompt Optimization [26.2587505265501]
  我々は,T2Iモデルの迅速な画像整合性を改善するため,T2I最適化・プロンプトフレームワークであるOPT2Iを導入する。 当社のフレームワークは,ユーザのプロンプトから始まり,一貫性スコアの最大化を目標として,更新プロンプトを反復的に生成する。
  論文  参考訳（メタデータ） (2024-03-26T15:42:01Z)
• SELMA: Learning and Merging Skill-Specific Text-to-Image Experts with Auto-Generated Data [73.23388142296535]
  SELMAは、自動生成されたマルチスキル画像テキストデータセット上での微調整モデルにより、T2Iモデルの忠実度を向上させる。 SELMAは、複数のベンチマーク上での最先端T2I拡散モデルのセマンティックアライメントとテキスト忠実性を大幅に改善することを示す。 また、SELMAを介して自動コンパイルされた画像テキストペアによる微調整は、地上の真理データによる微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-03-11T17:35:33Z)
• LeftRefill: Filling Right Canvas based on Left Reference through Generalized Text-to-Image Diffusion Model [55.20469538848806]
  leftRefillは、参照誘導画像合成のための大規模なテキスト・ツー・イメージ(T2I)拡散モデルを利用する革新的なアプローチである。 本稿では、参照誘導画像合成に大規模なテキスト・ツー・イメージ拡散モデル(T2I)を効果的に活用するための革新的なアプローチであるLeftRefillを紹介する。
  論文  参考訳（メタデータ） (2023-05-19T10:29:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。