論文の概要: Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models

• arxiv url: http://arxiv.org/abs/2311.16555v1
• Date: Tue, 28 Nov 2023 06:51:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 19:36:06.973222
• Title: Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models
• Title（参考訳）: 拡散モデルを用いたリアルテキスト画像合成によるシーンテキスト検出装置の強化
• Authors: Ling Fu, Zijie Wu, Yingying Zhu, Yuliang Liu, Xiang Bai
• Abstract要約: DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。 テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
• 参考スコア（独自算出の注目度）: 63.99110667987318
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Scene text detection techniques have garnered significant attention due to their wide-ranging applications. However, existing methods have a high demand for training data, and obtaining accurate human annotations is labor-intensive and time-consuming. As a solution, researchers have widely adopted synthetic text images as a complementary resource to real text images during pre-training. Yet there is still room for synthetic datasets to enhance the performance of scene text detectors. We contend that one main limitation of existing generation methods is the insufficient integration of foreground text with the background. To alleviate this problem, we present the Diffusion Model based Text Generator (DiffText), a pipeline that utilizes the diffusion model to seamlessly blend foreground text regions with the background's intrinsic features. Additionally, we propose two strategies to generate visually coherent text with fewer spelling errors. With fewer text instances, our produced text images consistently surpass other synthetic data in aiding text detectors. Extensive experiments on detecting horizontal, rotated, curved, and line-level texts demonstrate the effectiveness of DiffText in producing realistic text images.
• Abstract（参考訳）: シーンテキスト検出技術は広範に応用されているため注目されている。 しかし、既存の手法はトレーニングデータに対する高い需要があり、正確な人間のアノテーションを得ることは労働集約的で時間がかかります。 解決策として、研究者は事前学習中に合成テキスト画像が実際のテキスト画像の補完的リソースとして広く採用されている。 しかし、シーンテキスト検出器の性能を高めるための合成データセットは依然として存在する。 既存の生成方法の1つの主な制限は、前景テキストの背景への統合が不十分であることである。 そこで本研究では,この拡散モデルを用いてテキスト領域と背景の特徴をシームレスに融合する,拡散モデルに基づくテキスト生成器(difftext)を提案する。 さらに,スペルエラーが少ない視覚的コヒーレントテキストを生成するための2つの手法を提案する。 テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。 水平, 回転, 湾曲, 線状テキストの検出実験により, リアルテキスト画像の生成におけるDiffTextの有効性が示された。

関連論文リスト

• Efficiently Leveraging Linguistic Priors for Scene Text Spotting [63.22351047545888]
  本稿では,大規模テキストコーパスから言語知識を活用する手法を提案する。 シーンテキストデータセットとよく一致したテキスト分布を生成し、ドメイン内の微調整の必要性を取り除く。 実験結果から,本手法は認識精度を向上するだけでなく,単語のより正確な局所化を可能にすることが示された。
  論文  参考訳（メタデータ） (2024-02-27T01:57:09Z)
• Seek for Incantations: Towards Accurate Text-to-Image Diffusion Synthesis through Prompt Engineering [118.53208190209517]
  本稿では,拡散モデルの適切なテキスト記述を即時学習により学習するフレームワークを提案する。 提案手法は,入力されたテキストと生成された画像とのマッチングを改善するためのプロンプトを効果的に学習することができる。
  論文  参考訳（メタデータ） (2024-01-12T03:46:29Z)
• Brush Your Text: Synthesize Any Scene Text on Images via Diffusion Model [31.819060415422353]
  Diff-Textは、任意の言語のためのトレーニング不要のシーンテキスト生成フレームワークである。 本手法は, テキスト認識の精度と, 前景と後景のブレンディングの自然性の両方において, 既存の手法よりも優れる。
  論文  参考訳（メタデータ） (2023-12-19T15:18:40Z)
• UDiffText: A Unified Framework for High-quality Text Synthesis in Arbitrary Images via Character-aware Diffusion Models [25.219960711604728]
  本稿では,事前学習した拡散モデルを用いたテキスト画像生成手法を提案する。 我々のアプローチは、オリジナルのCLIPエンコーダを置き換える軽量文字レベルテキストエンコーダの設計と訓練である。 推論段階の精細化プロセスを用いることで、任意に与えられた画像のテキストを合成する際に、顕著に高いシーケンス精度を実現する。
  論文  参考訳（メタデータ） (2023-12-08T07:47:46Z)
• TextDiffuser: Diffusion Models as Text Painters [118.30923824681642]
  我々は、背景に忠実な視覚的に魅力的なテキストで画像を生成することに焦点を当てたTextDiffuserを紹介した。 我々は,OCRアノテーションを用いた最初の大規模テキスト画像データセットであるMARIO-10Mに,1000万の画像テキストペアをコントリビュートする。 テキストプロンプトのみまたはテキストテンプレート画像と併用して高品質なテキスト画像を作成し,テキストによる不完全な画像の再構成を行う,テキストディフューザは柔軟かつ制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-18T10:16:19Z)
• Exploring Stroke-Level Modifications for Scene Text Editing [86.33216648792964]
  シーンテキスト編集(STE)は、元のテキストの背景とスタイルを保存しながら、テキストを所望のテキストに置き換えることを目的としている。 画像全体を編集するには、背景領域とテキスト領域の異なる翻訳規則を同時に学習する必要がある。 Scene Text Image at strokE Level (MOSTEL) を用いた新しいネットワークを提案する。
  論文  参考訳（メタデータ） (2022-12-05T02:10:59Z)
• SpaText: Spatio-Textual Representation for Controllable Image Generation [61.89548017729586]
  SpaTextはオープン語彙シーン制御を用いたテキスト・ツー・イメージ生成の新しい手法である。 シーン全体を記述したグローバルテキストプロンプトに加えて、ユーザはセグメンテーションマップを提供する。 現状拡散モデルである画素ベースと潜在条件ベースでの有効性を示す。
  論文  参考訳（メタデータ） (2022-11-25T18:59:10Z)
• DUET: Detection Utilizing Enhancement for Text in Scanned or Captured Documents [1.4866448722906016]
  提案手法は,テキスト検出だけでなく,ノイズ低減やテキスト領域の強調を行うように設計されている。 テキスト検出と強調のためにラベル付けされた文書画像の合成により,モデルのトレーニングデータを充実させる。 提案手法は,他のテキスト検出手法を上回る性能を有する実文書データセットで実証される。
  論文  参考訳（メタデータ） (2021-06-10T07:08:31Z)
• Stroke-Based Scene Text Erasing Using Synthetic Data [0.0]
  シーンテキスト消去は、自然画像の適切なコンテンツでテキスト領域を置き換えることができる。 大規模な実世界のシーンテキスト削除データセットがないため、既存のメソッドが十分に機能しない。 我々は、合成テキストの完全活用を強化し、改良された合成テキストエンジンによって生成されたデータセットにのみモデルをトレーニングする。 このモデルは、境界ボックスが設けられたシーン画像中のテキストインスタンスを部分的に消去したり、既存のシーンテキスト検出器で自動シーンテキスト消去を行うことができる。
  論文  参考訳（メタデータ） (2021-04-23T09:29:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。