論文の概要: One-Prompt-One-Story: Free-Lunch Consistent Text-to-Image Generation Using a Single Prompt

• arxiv url: http://arxiv.org/abs/2501.13554v1
• Date: Thu, 23 Jan 2025 10:57:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:59:43.836666
• Title: One-Prompt-One-Story: Free-Lunch Consistent Text-to-Image Generation Using a Single Prompt
• Title（参考訳）: ワンプロンプトワンステップ:単一プロンプトを用いたフリーランチ一貫性テキスト画像生成
• Authors: Tao Liu, Kai Wang, Senmao Li, Joost van de Weijer, Fahad Shahbaz Khan, Shiqi Yang, Yaxing Wang, Jian Yang, Ming-Ming Cheng,
• Abstract要約: テキスト画像生成モデルは、入力プロンプトから高品質な画像を生成することができる。 彼らはストーリーテリングのアイデンティティ保存要件の一貫性のある生成をサポートするのに苦労している。 本稿では,一貫したテキスト・画像生成のための新しいトレーニングフリー手法を提案する。
• 参考スコア（独自算出の注目度）: 101.17660804110409
• License:
• Abstract: Text-to-image generation models can create high-quality images from input prompts. However, they struggle to support the consistent generation of identity-preserving requirements for storytelling. Existing approaches to this problem typically require extensive training in large datasets or additional modifications to the original model architectures. This limits their applicability across different domains and diverse diffusion model configurations. In this paper, we first observe the inherent capability of language models, coined context consistency, to comprehend identity through context with a single prompt. Drawing inspiration from the inherent context consistency, we propose a novel training-free method for consistent text-to-image (T2I) generation, termed "One-Prompt-One-Story" (1Prompt1Story). Our approach 1Prompt1Story concatenates all prompts into a single input for T2I diffusion models, initially preserving character identities. We then refine the generation process using two novel techniques: Singular-Value Reweighting and Identity-Preserving Cross-Attention, ensuring better alignment with the input description for each frame. In our experiments, we compare our method against various existing consistent T2I generation approaches to demonstrate its effectiveness through quantitative metrics and qualitative assessments. Code is available at https://github.com/byliutao/1Prompt1Story.
• Abstract（参考訳）: テキスト画像生成モデルは、入力プロンプトから高品質な画像を生成することができる。 しかし、彼らはストーリーテリングのアイデンティティ保存要求の一貫性のある生成をサポートするのに苦労している。 この問題に対する既存のアプローチは、通常、大規模なデータセットでの広範なトレーニングや、オリジナルのモデルアーキテクチャへの追加的な変更を必要とします。 これにより、異なるドメインにまたがる適用性と多様な拡散モデル構成が制限される。 本稿では、まず、文脈整合性という言語モデルの本質的能力を観察し、一つのプロンプトでコンテキストを通して同一性を理解する。 文脈整合性から着想を得た「ワンプロンプト・ワン・ストリー」(1Prompt1Story)と呼ばれる、一貫したテキスト・ツー・イメージ(T2I)生成のための新しいトレーニングフリー手法を提案する。 我々のアプローチ1Prompt1Storyは、すべてのプロンプトをT2I拡散モデルのための単一入力に結合し、最初は文字のアイデンティティを保存する。 次に、Singular-Value ReweightingとIdentity-Preserving Cross-Attentionという2つの新しい手法を用いて生成プロセスを洗練し、各フレームの入力記述との整合性を確保する。 実験では,既存のT2I生成手法と比較し,定量測定と定性評価を用いてその有効性を実証した。 コードはhttps://github.com/byliutao/1Prompt1Storyで入手できる。

関連論文リスト

• Fusion is all you need: Face Fusion for Customized Identity-Preserving Image Synthesis [7.099258248662009]
  テキスト・ツー・イメージ(T2I)モデルは人工知能の開発を著しく進歩させてきた。 しかし、既存のT2Iベースの手法は、参照画像から個人を正確に再現するのに苦労することが多い。 我々は、安定拡散から得られた事前学習されたUNetを利用して、対象の顔画像を直接生成プロセスに組み込む。
  論文  参考訳（メタデータ） (2024-09-27T19:31:04Z)
• Training-Free Consistent Text-to-Image Generation [80.4814768762066]
  テキスト・ツー・イメージ・モデルは様々なプロンプトで同じ主題を表現できる。 既存のアプローチは、特定のユーザが提供する主題を記述する新しい単語を教えるためにモデルを微調整する。 本研究では、事前学習モデルの内部アクティベーションを共有することによって、一貫した主題生成を可能にする、トレーニング不要なアプローチであるConsiStoryを提案する。
  論文  参考訳（メタデータ） (2024-02-05T18:42:34Z)
• DreamDistribution: Prompt Distribution Learning for Text-to-Image Diffusion Models [53.17454737232668]
  本稿では,事前学習したT2I拡散モデルを用いて,ソフトプロンプトの集合を学習する解を提案する。 これらのプロンプトは、テキストガイドによる編集機能と、複数のディストリビューション間の変動と混合を制御する柔軟性を提供する。 また,テキスト・トゥ・3Dなどの他のタスクに対して,学習したプロンプト分布の適応性を示す。
  論文  参考訳（メタデータ） (2023-12-21T12:11:00Z)
• If at First You Don't Succeed, Try, Try Again: Faithful Diffusion-based Text-to-Image Generation by Selection [53.320946030761796]
  拡散ベースのテキスト・トゥ・イメージ(T2I)モデルは、テキスト・プロンプトへの忠実さを欠く可能性がある。 大規模なT2I拡散モデルは通常想定されるよりも忠実であり、複雑なプロンプトに忠実な画像を生成することができることを示す。 本稿では,テキストプロンプトの候補画像を生成するパイプラインを導入し,自動スコアリングシステムにより最適な画像を選択する。
  論文  参考訳（メタデータ） (2023-05-22T17:59:41Z)
• SUR-adapter: Enhancing Text-to-Image Pre-trained Diffusion Models with Large Language Models [56.88192537044364]
  本研究では,事前学習拡散モデルに対するセマンティック・アダプタ (SUR-adapter) と呼ばれる簡易なパラメータ効率の良い微調整手法を提案する。 ユーザエクスペリエンスの向上により,テキストから画像への拡散モデルの使いやすさが向上する。
  論文  参考訳（メタデータ） (2023-05-09T05:48:38Z)
• eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [87.52504764677226]
  大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。 eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
  論文  参考訳（メタデータ） (2022-11-02T17:43:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。