論文の概要: FLUX-Text: A Simple and Advanced Diffusion Transformer Baseline for Scene Text Editing

• arxiv url: http://arxiv.org/abs/2505.03329v1
• Date: Tue, 06 May 2025 08:56:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.29158
• Title: FLUX-Text: A Simple and Advanced Diffusion Transformer Baseline for Scene Text Editing
• Title（参考訳）: FLUX-Text: シーンテキスト編集のためのシンプルで高度な拡散変換器ベースライン
• Authors: Rui Lan, Yancheng Bai, Xu Duan, Mingxing Li, Lei Sun, Xiangxiang Chu,
• Abstract要約: FLUX-Fillをベースとしたシンプルで高度な多言語シーンテキスト編集フレームワークFLUX-Textを提案する。 本手法は,テキスト編集作業における最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 16.291792203115616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The task of scene text editing is to modify or add texts on images while maintaining the fidelity of newly generated text and visual coherence with the background. Recent works based on latent diffusion models (LDM) show improved text editing results, yet still face challenges and often generate inaccurate or unrecognizable characters, especially for non-Latin ones (\eg, Chinese), which have complex glyph structures. To address these issues, we present FLUX-Text, a simple and advanced multilingual scene text editing framework based on FLUX-Fill. Specifically, we carefully investigate glyph conditioning, considering both visual and textual modalities. To retain the original generative capabilities of FLUX-Fill while enhancing its understanding and generation of glyphs, we propose lightweight glyph and text embedding modules. Owning to the lightweight design, FLUX-Text is trained only with $100K$ training examples compared to current popular methods trained with 2.9M ones. With no bells and whistles, our method achieves state-of-the-art performance on text editing tasks. Qualitative and quantitative experiments on the public datasets demonstrate that our method surpasses previous works in text fidelity.
• Abstract（参考訳）: シーンテキスト編集のタスクは、新たに生成されたテキストの忠実さと背景との視覚的コヒーレンスを維持しながら、画像上のテキストを修正または追加することである。 遅延拡散モデル(LDM)に基づく最近の研究は、テキスト編集結果が改善されたが、まだ課題に直面しており、特に複雑なグリフ構造を持つ非ラテン文字(中国語、中国語)に対して、不正確な文字を生成することが多い。 これらの問題に対処するために,FLUX-Fillをベースとした簡易かつ高度な多言語シーンテキスト編集フレームワークFLUX-Textを提案する。 具体的には,視覚とテキストの両モードを考慮し,グリフ条件を慎重に検討する。 FLUX-Fillの本来の生成能力を保ちつつ,グリフの理解と生成を向上させるために,軽量なグリフおよびテキスト埋め込みモジュールを提案する。 FLUX-Textは軽量なデザインを所有しており、2.9Mで訓練された現在の一般的な方法と比較して1Kドルのトレーニング例でしか訓練されていない。 ベルやホイッスルを使わずに,テキスト編集作業における最先端のパフォーマンスを実現する。 公開データセットにおける定性的かつ定量的な実験により,本手法がテキストの忠実性において過去の研究を上回ることを示した。

関連論文リスト

• RepText: Rendering Visual Text via Replicating [15.476598851383919]
  本稿では,ユーザが指定したフォントの視覚的テキストを正確にレンダリングする機能を備えた,事前学習されたモノリンガルテキスト・画像生成モデルの強化を目的としたRepTextを提案する。 具体的には、ControlNetの設定を採用し、さらに言語に依存しないグリフとレンダリングされたテキストの位置を統合して、調和したビジュアルテキストを生成する。 提案手法は,既存のオープンソース手法より優れており,ネイティブな多言語クローズドソースモデルに匹敵する結果が得られる。
  論文  参考訳（メタデータ） (2025-04-28T12:19:53Z)
• Beyond Flat Text: Dual Self-inherited Guidance for Visual Text Generation [17.552733309504486]
  現実のイメージでは、斜めまたは湾曲したテキスト、特に缶、バナー、バッジは、芸術的なデザインやレイアウトの制約により、平らなテキストのように頻繁に現れる。 難易度の高いシナリオで視覚テキストを正確に生成する新しいトレーニングフリーフレームワークSTGenを導入する。
  論文  参考訳（メタデータ） (2025-01-10T11:44:59Z)
• First Creating Backgrounds Then Rendering Texts: A New Paradigm for Visual Text Blending [5.3798706094384725]
  背景作成とテキストのレンダリングの両方を含む新しいビジュアルテキストブレンディングパラダイムを提案する。 具体的には、背景生成装置を開発し、高忠実でテキストフリーな自然画像を生成する。 また,シーンテキスト検出のためのシーンテキストデータセット合成など,本手法に基づくダウンストリームアプリケーションについても検討する。
  論文  参考訳（メタデータ） (2024-10-14T05:23:43Z)
• TextMastero: Mastering High-Quality Scene Text Editing in Diverse Languages and Styles [12.182588762414058]
  シーンテキスト編集は、オリジナルのように新たに生成されたテキストのスタイルを維持しながら、画像上のテキストを変更することを目的としている。 最近の研究は拡散モデルを活用し、改善された結果を示しているが、依然として課題に直面している。 emphTextMastero - 潜時拡散モデル(LDM)に基づく多言語シーンテキスト編集アーキテクチャを慎重に設計した。
  論文  参考訳（メタデータ） (2024-08-20T08:06:09Z)
• Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models [63.99110667987318]
  DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。 テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-11-28T06:51:28Z)
• TextDiffuser: Diffusion Models as Text Painters [118.30923824681642]
  我々は、背景に忠実な視覚的に魅力的なテキストで画像を生成することに焦点を当てたTextDiffuserを紹介した。 我々は,OCRアノテーションを用いた最初の大規模テキスト画像データセットであるMARIO-10Mに,1000万の画像テキストペアをコントリビュートする。 テキストプロンプトのみまたはテキストテンプレート画像と併用して高品質なテキスト画像を作成し,テキストによる不完全な画像の再構成を行う,テキストディフューザは柔軟かつ制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-18T10:16:19Z)
• GlyphDiffusion: Text Generation as Image Generation [100.98428068214736]
  テキスト誘導画像生成によるテキスト生成のための新しい拡散手法であるGlyphDiffusionを提案する。 私たちのキーとなるアイデアは、ターゲットのテキストを視覚言語コンテンツを含むグリフイメージとしてレンダリングすることです。 また,本モデルでは,近年の拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-04-25T02:14:44Z)
• Improving Diffusion Models for Scene Text Editing with Dual Encoders [44.12999932588205]
  シーンテキスト編集(Scene text editing)は、特定のテキストを画像に修正または挿入する作業である。 拡散モデルの最近の進歩は、これらの制限をテキスト条件による画像編集で克服することを約束している。 デュアルエンコーダ設計による事前学習拡散モデルを改善するためにDIFFSTEを提案する。
  論文  参考訳（メタデータ） (2023-04-12T02:08:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。