論文の概要: Beyond Flat Text: Dual Self-inherited Guidance for Visual Text Generation
- arxiv url: http://arxiv.org/abs/2501.05892v1
- Date: Fri, 10 Jan 2025 11:44:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-13 15:27:25.077384
- Title: Beyond Flat Text: Dual Self-inherited Guidance for Visual Text Generation
- Title（参考訳）: フラットテキストを超えて:ビジュアルテキスト生成のためのデュアル自己継承ガイダンス
- Authors: Minxing Luo, Zixun Xia, Liaojun Chen, Zhenhang Li, Weichao Zeng, Jianye Wang, Wentao Cheng, Yaxing Wang, Yu Zhou, Jian Yang,
- Abstract要約: 現実のイメージでは、斜めまたは湾曲したテキスト、特に缶、バナー、バッジは、芸術的なデザインやレイアウトの制約により、平らなテキストのように頻繁に現れる。
難易度の高いシナリオで視覚テキストを正確に生成する新しいトレーニングフリーフレームワークSTGenを導入する。
- 参考スコア（独自算出の注目度）: 17.552733309504486
- License:
- Abstract: In real-world images, slanted or curved texts, especially those on cans, banners, or badges, appear as frequently, if not more so, than flat texts due to artistic design or layout constraints. While high-quality visual text generation has become available with the advanced generative capabilities of diffusion models, these models often produce distorted text and inharmonious text background when given slanted or curved text layouts due to training data limitation. In this paper, we introduce a new training-free framework, STGen, which accurately generates visual texts in challenging scenarios (\eg, slanted or curved text layouts) while harmonizing them with the text background. Our framework decomposes the visual text generation process into two branches: (i) \textbf{Semantic Rectification Branch}, which leverages the ability in generating flat but accurate visual texts of the model to guide the generation of challenging scenarios. The generated latent of flat text is abundant in accurate semantic information related both to the text itself and its background. By incorporating this, we rectify the semantic information of the texts and harmonize the integration of the text with its background in complex layouts. (ii) \textbf{Structure Injection Branch}, which reinforces the visual text structure during inference. We incorporate the latent information of the glyph image, rich in glyph structure, as a new condition to further strengthen the text structure. To enhance image harmony, we also apply an effective combination method to merge the priors, providing a solid foundation for generation. Extensive experiments across a variety of visual text layouts demonstrate that our framework achieves superior accuracy and outstanding quality.
- Abstract（参考訳）: 現実のイメージでは、斜めまたは湾曲したテキスト、特に缶、バナー、バッジのテキストは、芸術的なデザインやレイアウトの制約により平らなテキストよりも頻繁に現れる。
拡散モデルの高度な生成機能を備えた高品質なビジュアルテキスト生成が利用可能になっているが、これらのモデルは、訓練データ制限による歪んだテキストレイアウトや湾曲したテキストレイアウトを与えられたときに、歪んだテキストと不調和なテキスト背景を生成することが多い。
本稿では,テキストの背景を調和させながら,難易度の高いシナリオにおいて視覚テキストを正確に生成する新たな学習自由フレームワークSTGenを提案する。
私たちのフレームワークは、ビジュアルテキスト生成プロセスを2つのブランチに分解します。
i) \textbf{Semantic Rectification Branch} モデルの平らだが正確なビジュアルテキストを生成する能力を活用して、困難なシナリオの生成をガイドする。
フラットテキストの生成した潜伏語は、テキスト自体とその背景に関する正確な意味情報に富んでいる。
これを組み込むことで、テキストの意味情報を修正し、複雑なレイアウトでテキストと背景の統合を調和させる。
(ii) \textbf{Structure Injection Branch} 推論中に視覚的テキスト構造を補強する。
我々は、グリフ構造に富んだグリフ画像の潜伏情報を新たな条件として組み込んで、テキスト構造をさらに強化する。
また,画像の調和性を高めるために,事前の融合に効果的な組み合わせ法を適用し,生成のための確かな基盤を提供する。
様々な視覚的テキストレイアウトに対する大規模な実験により、我々のフレームワークは優れた精度と優れた品質を達成できることを示した。
関連論文リスト
- First Creating Backgrounds Then Rendering Texts: A New Paradigm for Visual Text Blending [5.3798706094384725]
背景作成とテキストのレンダリングの両方を含む新しいビジュアルテキストブレンディングパラダイムを提案する。
具体的には、背景生成装置を開発し、高忠実でテキストフリーな自然画像を生成する。
また,シーンテキスト検出のためのシーンテキストデータセット合成など,本手法に基づくダウンストリームアプリケーションについても検討する。
論文 参考訳（メタデータ） (2024-10-14T05:23:43Z) - Visual Text Generation in the Wild [67.37458807253064]
野生で高品質なテキスト画像を生成する視覚テキスト生成装置(SceneVTG)を提案する。
提案したSceneVTGは、従来のレンダリングに基づく手法と最近の拡散に基づく手法を、忠実さと理性の観点から大きく上回っている。
生成された画像は、テキスト検出とテキスト認識を含むタスクに優れたユーティリティを提供する。
論文 参考訳（メタデータ） (2024-07-19T09:08:20Z) - ARTIST: Improving the Generation of Text-rich Images with Disentangled Diffusion Models and Large Language Models [52.23899502520261]
本稿では,テキスト構造の学習に特化するために,専用のテキスト拡散モデルを組み込んだARTISTという新しいフレームワークを紹介する。
我々は、事前訓練されたテキスト構造モデルからテキスト構造情報を同化できるように、視覚拡散モデルを微調整する。
この歪んだアーキテクチャ設計とトレーニング戦略は、テキストリッチな画像生成のための拡散モデルのテキストレンダリング能力を著しく向上させる。
論文 参考訳（メタデータ） (2024-06-17T19:31:24Z) - TextCenGen: Attention-Guided Text-Centric Background Adaptation for Text-to-Image Generation [21.501953406405583]
Text-to-image (T2I) 世代は、テキストの適応から固定背景へのシフトを目撃している。
提案手法であるTextCenGenでは,テキストフレンドリーな画像生成のための空白領域の動的適応を導入している。
提案手法では,T2Iモデルにおいて,予め定義されたテキスト領域のホワイトスペースを戦略的に保留する画像を生成するために,力による注意誘導を用いる。
論文 参考訳（メタデータ） (2024-04-18T01:10:24Z) - Typographic Text Generation with Off-the-Shelf Diffusion Model [7.542892664684078]
本稿では,タイポグラフィのテキストを付加・修正するタイポグラフィテキスト生成システムを提案する。
提案システムは,拡散モデルのための2つのオフ・ザ・シェルフ法,ControlNetとBlended Latent Diffusionを組み合わせた新しいシステムである。
論文 参考訳（メタデータ） (2024-02-22T06:15:51Z) - Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using
Diffusion Models [63.99110667987318]
DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。
テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
論文 参考訳（メタデータ） (2023-11-28T06:51:28Z) - LayoutLLM-T2I: Eliciting Layout Guidance from LLM for Text-to-Image
Generation [121.45667242282721]
レイアウト計画と画像生成を実現するための粗大なパラダイムを提案する。
提案手法は,フォトリアリスティックなレイアウトと画像生成の観点から,最先端のモデルよりも優れている。
論文 参考訳（メタデータ） (2023-08-09T17:45:04Z) - TextDiffuser: Diffusion Models as Text Painters [118.30923824681642]
我々は、背景に忠実な視覚的に魅力的なテキストで画像を生成することに焦点を当てたTextDiffuserを紹介した。
我々は,OCRアノテーションを用いた最初の大規模テキスト画像データセットであるMARIO-10Mに,1000万の画像テキストペアをコントリビュートする。
テキストプロンプトのみまたはテキストテンプレート画像と併用して高品質なテキスト画像を作成し,テキストによる不完全な画像の再構成を行う,テキストディフューザは柔軟かつ制御可能であることを示す。
論文 参考訳（メタデータ） (2023-05-18T10:16:19Z) - GlyphDiffusion: Text Generation as Image Generation [100.98428068214736]
テキスト誘導画像生成によるテキスト生成のための新しい拡散手法であるGlyphDiffusionを提案する。
私たちのキーとなるアイデアは、ターゲットのテキストを視覚言語コンテンツを含むグリフイメージとしてレンダリングすることです。
また,本モデルでは,近年の拡散モデルよりも大幅に改善されている。
論文 参考訳（メタデータ） (2023-04-25T02:14:44Z) - GlyphDraw: Seamlessly Rendering Text with Intricate Spatial Structures
in Text-to-Image Generation [18.396131717250793]
GlyphDrawは、画像生成モデルに特定の言語に対して、テキストにコヒーレントに埋め込まれた画像を生成する能力を持たせることを目的とした、一般的な学習フレームワークである。
提案手法は,プロンプトのように正確な言語文字を生成するだけでなく,生成したテキストを背景にシームレスにブレンドする。
論文 参考訳（メタデータ） (2023-03-31T08:06:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。