論文の概要: TextTIGER: Text-based Intelligent Generation with Entity Prompt Refinement for Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2504.18269v1
• Date: Fri, 25 Apr 2025 11:27:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.75389
• Title: TextTIGER: Text-based Intelligent Generation with Entity Prompt Refinement for Text-to-Image Generation
• Title（参考訳）: TextTIGER: テキスト・ツー・イメージ生成のためのエンティティ・プロンプト・リファインメントによるテキストベースのインテリジェント・ジェネレーション
• Authors: Shintaro Ozaki, Kazuki Hayashi, Yusuke Sakai, Jingun Kwon, Hidetaka Kamigaito, Katsuhiko Hayashi, Manabu Okumura, Taro Watanabe,
• Abstract要約: 我々は,エンティティ・プロンプト・リファインメント(TextTIGER)を用いたテキストベースのインテリジェント・ジェネレーションを提案する。 TextTIGERは、プロンプトに含まれるエンティティに関する知識を増強し、Large Language Models (LLMs)を使用して拡張記述を要約する。 実験によると、TextTIGERはキャプションのみのプロンプトと比較して、標準メトリクス(IS、FID、CLIPScore)における画像生成性能を改善する。
• 参考スコア（独自算出の注目度）: 37.212823625296885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating images from prompts containing specific entities requires models to retain as much entity-specific knowledge as possible. However, fully memorizing such knowledge is impractical due to the vast number of entities and their continuous emergence. To address this, we propose Text-based Intelligent Generation with Entity prompt Refinement (TextTIGER), which augments knowledge on entities included in the prompts and then summarizes the augmented descriptions using Large Language Models (LLMs) to mitigate performance degradation from longer inputs. To evaluate our method, we introduce WiT-Cub (WiT with Captions and Uncomplicated Background-explanations), a dataset comprising captions, images, and an entity list. Experiments on four image generation models and five LLMs show that TextTIGER improves image generation performance in standard metrics (IS, FID, and CLIPScore) compared to caption-only prompts. Additionally, multiple annotators' evaluation confirms that the summarized descriptions are more informative, validating LLMs' ability to generate concise yet rich descriptions. These findings demonstrate that refining prompts with augmented and summarized entity-related descriptions enhances image generation capabilities. The code and dataset will be available upon acceptance.
• Abstract（参考訳）: 特定のエンティティを含むプロンプトから画像を生成するには、できるだけ多くのエンティティ固有の知識を保持する必要がある。 しかし、そのような知識を完全に記憶することは、膨大な数の実体とその連続的な出現のために現実的ではない。 これを解決するために,テキストベース・インテリジェント・ジェネレーション・ウィズ・エンティティ・プロンプト・リファインメント(TextTIGER)を提案する。 提案手法を評価するため,WiT-Cub(WiT with Captions and Uncomplicated background-Explanations)を導入し,キャプション,画像,エンティティリストを含むデータセットを提案する。 4つの画像生成モデルと5つのLCM実験により、TextTIGERはキャプションのみのプロンプトと比較して、標準メトリクス(IS、FID、CLIPScore)における画像生成性能を改善することが示された。 さらに、複数のアノテータの評価により、要約された記述がより情報的であることを確認し、簡潔でリッチな記述を生成するLLMの能力を検証する。 これらの結果から,拡張および要約されたエンティティ関連記述による精錬プロンプトにより画像生成能力が向上することが示唆された。 コードとデータセットは受理時に利用可能になる。

関連論文リスト

• LATex: Leveraging Attribute-based Text Knowledge for Aerial-Ground Person Re-Identification [63.07563443280147]
  本稿では,AG-ReID のための新しいフレームワーク LATex を提案する。 属性ベースのテキスト知識を活用するために、プロンプトチューニング戦略を採用する。 我々のフレームワークは、AG-ReIDを改善するために属性ベースのテキスト知識を完全に活用できる。
  論文  参考訳（メタデータ） (2025-03-31T04:47:05Z)
• CLIP-SCGI: Synthesized Caption-Guided Inversion for Person Re-Identification [9.996589403019675]
  person re-identification (ReID) は Contrastive Language-Image Pre-Training (CLIP) のような大規模な事前訓練された視覚言語モデルの恩恵を受けている。 本稿では、既存の画像キャプションモデルを利用して人物画像の擬似キャプションを生成する方法を提案する。 CLIP-SCGI(CLIP-SCGI)は、合成キャプションを利用して、差別的・堅牢な表現の学習をガイドするフレームワークである。
  論文  参考訳（メタデータ） (2024-10-12T06:24:33Z)
• ARMADA: Attribute-Based Multimodal Data Augmentation [93.05614922383822]
  Attribute-based Multimodal Data Augmentation (ARMADA) は、知識誘導による視覚属性の操作による新しいマルチモーダルデータ拡張手法である。 ARMADAは、新しいマルチモーダルデータ生成フレームワークである。 (i) 意味的に一貫性があるがユニークな画像-テキストペア生成のために、シンボリックKBから知識基底属性を抽出する。 これはまた、解釈可能性の向上と現実世界の接地のために外部の知識プロキシを活用する必要性を強調している。
  論文  参考訳（メタデータ） (2024-08-19T15:27:25Z)
• LLM4GEN: Leveraging Semantic Representation of LLMs for Text-to-Image Generation [30.897935761304034]
  我々はtextbfLLM4GEN という新しいフレームワークを提案する。 特別に設計されたクロスアダプタモジュール(CAM)は、テキスト・ツー・イメージ・モデルのオリジナルのテキスト機能とLLM機能を統合する。 7000ドルの高密度プロンプトを含むDensePromptsは、テキスト・画像生成タスクの包括的な評価を提供する。
  論文  参考訳（メタデータ） (2024-06-30T15:50:32Z)
• Prompt-Consistency Image Generation (PCIG): A Unified Framework Integrating LLMs, Knowledge Graphs, and Controllable Diffusion Models [20.19571676239579]
  生成した画像と対応する記述とのアライメントを強化するための,拡散に基づく新しいフレームワークを提案する。 この枠組みは不整合現象の包括的解析に基づいて構築され,画像の表示に基づいて分類する。 次に、最先端の制御可能な画像生成モデルとビジュアルテキスト生成モジュールを統合し、元のプロンプトと整合した画像を生成する。
  論文  参考訳（メタデータ） (2024-06-24T06:12:16Z)
• TIGeR: Unifying Text-to-Image Generation and Retrieval with Large Multimodal Models [96.72318842152148]
  1つのLMM(Large Multimodal Model)を用いたテキスト・画像生成と検索のための統合フレームワークを提案する。 具体的には,LMMの本質的な識別能力について検討し,テキスト・画像検索のための効率的な生成的検索手法を提案する。 次に、テキストプロンプトに対する応答として、生成画像と検索画像の間で最適なマッチング画像を選択するための自律決定機構を提案する。
  論文  参考訳（メタデータ） (2024-06-09T15:00:28Z)
• Multi-Prompts Learning with Cross-Modal Alignment for Attribute-based Person Re-Identification [18.01407937934588]
  本稿では,素早い学習と言語モデルに基づくMP-ReID(Multi-Prompts ReID)という新しいフレームワークを提案する。 MP-ReIDは、クエリイメージを記述するために、多様で情報的、即応的な文を幻覚させることを学ぶ。 明示的なプロンプトは、ChatGPTやVQAモデルといった世代モデルをアンサンブルすることで得られる。
  論文  参考訳（メタデータ） (2023-12-28T03:00:19Z)
• LLM Blueprint: Enabling Text-to-Image Generation with Complex and Detailed Prompts [60.54912319612113]
  拡散に基づく生成モデルは、テキストと画像の生成が著しく進歩するが、長く複雑なテキストプロンプトを処理する際には困難に直面する。 本稿では,Large Language Models (LLM) を利用してテキストプロンプトから重要なコンポーネントを抽出する手法を提案する。 複数のオブジェクトを特徴とする複雑なプロンプトの評価は,ベースライン拡散モデルと比較して,リコールの大幅な改善を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:57:37Z)
• Few-shot Action Recognition with Captioning Foundation Models [61.40271046233581]
  CapFSARは、テキストを手動でアノテートすることなく、マルチモーダルモデルの知識を利用するフレームワークである。 Transformerをベースとしたビジュアルテキストアグリゲーションモジュールはさらに、モーダル時間間の補完情報を組み込むように設計されている。 複数の標準的な数ショットベンチマークの実験では、提案したCapFSARが既存の手法に対して好適に動作することを示した。
  論文  参考訳（メタデータ） (2023-10-16T07:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。