論文の概要: PointT2I: LLM-based text-to-image generation via keypoints

• arxiv url: http://arxiv.org/abs/2506.01370v1
• Date: Mon, 02 Jun 2025 06:55:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.078538
• Title: PointT2I: LLM-based text-to-image generation via keypoints
• Title（参考訳）: PointT2I:キーポイントによるLLMベースのテキスト画像生成
• Authors: Taekyung Lee, Donggyu Lee, Myungjoo Kang,
• Abstract要約: PointT2Iは、プロンプトに記述された人間のポーズと正確に一致するイメージを効果的に生成するフレームワークである。 我々のフレームワークは、微調整なしでキーポイント誘導画像生成にLLMを活用するための最初のアプローチである。
• 参考スコア（独自算出の注目度）: 7.071259713010086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-image (T2I) generation model has made significant advancements, resulting in high-quality images aligned with an input prompt. However, despite T2I generation's ability to generate fine-grained images, it still faces challenges in accurately generating images when the input prompt contains complex concepts, especially human pose. In this paper, we propose PointT2I, a framework that effectively generates images that accurately correspond to the human pose described in the prompt by using a large language model (LLM). PointT2I consists of three components: Keypoint generation, Image generation, and Feedback system. The keypoint generation uses an LLM to directly generate keypoints corresponding to a human pose, solely based on the input prompt, without external references. Subsequently, the image generation produces images based on both the text prompt and the generated keypoints to accurately reflect the target pose. To refine the outputs of the preceding stages, we incorporate an LLM-based feedback system that assesses the semantic consistency between the generated contents and the given prompts. Our framework is the first approach to leveraging LLM for keypoints-guided image generation without any fine-tuning, producing accurate pose-aligned images based solely on textual prompts.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)生成モデルは,入力プロンプトに整合した高品質な画像を実現するために,大幅な進歩を遂げている。 しかし、T2I世代は細粒度の画像を生成する能力があるにもかかわらず、入力プロンプトが複雑な概念、特に人間のポーズを含む場合、正確に画像を生成するという課題に直面している。 本稿では,大規模言語モデル(LLM)を用いて,プロンプトに記述された人間のポーズに正確に対応した画像を効果的に生成するフレームワークであるPointT2Iを提案する。 PointT2Iはキーポイント生成、画像生成、フィードバックシステムという3つのコンポーネントで構成されている。 キーポイント生成は、外部参照なしで入力プロンプトのみに基づいて、人間のポーズに対応するキーポイントを直接生成するためにLLMを使用する。 その後、画像生成は、テキストプロンプトと生成されたキーポイントの両方に基づいて画像を生成し、ターゲットポーズを正確に反映する。 先行段階の出力を改良するために、生成した内容と与えられたプロンプトとのセマンティック一貫性を評価するLLMベースのフィードバックシステムを導入する。 我々のフレームワークは、キーポイント誘導画像生成にLLMを活用するための最初のアプローチであり、微調整は行わず、テキストプロンプトのみに基づく正確なポーズ整列画像を生成する。

関連論文リスト

• ComposeAnything: Composite Object Priors for Text-to-Image Generation [72.98469853839246]
  ComposeAnythingは、既存のT2Iモデルを再トレーニングすることなく、合成画像生成を改善するための新しいフレームワークである。 提案手法はまずLLMの連鎖推論能力を活用し,テキストから2.5Dのセマンティックレイアウトを生成する。 本モデルでは,テキストを忠実に反映した合成による高品質な画像を生成する。
  論文  参考訳（メタデータ） (2025-05-30T00:13:36Z)
• TF-TI2I: Training-Free Text-and-Image-to-Image Generation via Multi-Modal Implicit-Context Learning in Text-to-Image Models [19.1659725630146]
  トレーニングフリーのテキスト・イメージ・トゥ・イメージ(TF-TI2I)は、追加のトレーニングを必要とせずに最先端のT2Iモデルに適応する。 提案手法は,様々なベンチマークにおいて堅牢な性能を示し,複雑な画像生成タスクの処理の有効性を確認した。
  論文  参考訳（メタデータ） (2025-03-19T15:03:19Z)
• GraPE: A Generate-Plan-Edit Framework for Compositional T2I Synthesis [10.47359822447001]
  本稿では,複雑な多段階生成のタスクを3段階に分解する,T2I合成の代替パラダイムを提案する。 提案手法は,モジュール性が高く,トレーニングが自由であり,画像生成モデルと編集モデルの組み合わせに対して適用可能であるという事実から,その強みを導出する。
  論文  参考訳（メタデータ） (2024-12-08T22:29:56Z)
• Image Regeneration: Evaluating Text-to-Image Model via Generating Identical Image with Multimodal Large Language Models [54.052963634384945]
  画像再生タスクを導入し,テキスト・ツー・イメージ・モデルの評価を行う。 我々はGPT4Vを用いて参照画像とT2Iモデルのテキスト入力のギャップを埋める。 また、生成した画像の品質を高めるために、ImageRepainterフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-14T13:52:43Z)
• Prompt-Consistency Image Generation (PCIG): A Unified Framework Integrating LLMs, Knowledge Graphs, and Controllable Diffusion Models [20.19571676239579]
  生成した画像と対応する記述とのアライメントを強化するための,拡散に基づく新しいフレームワークを提案する。 この枠組みは不整合現象の包括的解析に基づいて構築され,画像の表示に基づいて分類する。 次に、最先端の制御可能な画像生成モデルとビジュアルテキスト生成モジュールを統合し、元のプロンプトと整合した画像を生成する。
  論文  参考訳（メタデータ） (2024-06-24T06:12:16Z)
• OpenLEAF: Open-Domain Interleaved Image-Text Generation and Evaluation [151.57313182844936]
  本稿では,大規模言語モデル(LLM)と事前学習されたテキスト・ツー・イメージ(T2I)モデル,すなわちOpenLEAFに基づく新たなインターリーブ生成フレームワークを提案する。 まず,大規模マルチモーダルモデル(LMM)を用いて,オープンドメインのインターリーブ画像-テキストシーケンスのエンティティとスタイルのコンピテンシーを評価することを提案する。
  論文  参考訳（メタデータ） (2023-10-11T17:58:33Z)
• TextCLIP: Text-Guided Face Image Generation And Manipulation Without Adversarial Training [5.239585892767183]
  本研究では,テキスト誘導画像生成と操作のための統合フレームワークであるTextCLIPを提案する。 提案手法は,テキスト誘導型生成タスクと操作タスクの両方において,既存の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-09-21T09:34:20Z)
• Text-based Person Search without Parallel Image-Text Data [52.63433741872629]
  テキストベースの人物探索(TBPS)は,対象者の画像を与えられた自然言語記述に基づいて大きな画像ギャラリーから検索することを目的としている。 既存の手法は、並列画像テキストペアによるトレーニングモデルによって支配されており、収集には非常にコストがかかる。 本稿では,並列画像テキストデータなしでTBPSを探索する試みについて述べる。
  論文  参考訳（メタデータ） (2023-05-22T12:13:08Z)
• Language Models Can See: Plugging Visual Controls in Text Generation [48.05127160095048]
  本稿では,生成プロセスにおいて視覚制御をプラグインする,MAGICと呼ばれる学習不要のフレームワークを提案する。 MAGICは、既製のLM(GPT-2)と画像グラウンドドテキスト生成のための画像テキストマッチングモデル(CLIP)を直接組み合わせた、プラグアンドプレイのフレームワークである。 ゼロショット画像キャプションの課題に対して、MAGICは最先端の手法を顕著なマージンで上回り、27倍のデコードスピードアップを達成している。
  論文  参考訳（メタデータ） (2022-05-05T13:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。