論文の概要: Leveraging Text Localization for Scene Text Removal via Text-aware Masked Image Modeling

• arxiv url: http://arxiv.org/abs/2409.13431v1
• Date: Fri, 20 Sep 2024 11:52:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 07:17:49.023124
• Title: Leveraging Text Localization for Scene Text Removal via Text-aware Masked Image Modeling
• Title（参考訳）: テキスト対応マスド画像モデリングによるシーンテキスト除去のためのテキストローカライゼーションの活用
• Authors: Zixiao Wang, Hongtao Xie, YuXin Wang, Yadong Qu, Fengjun Guo, Pengwei Liu,
• Abstract要約: 既存のシーンテキスト削除(STR)タスクは、高価なピクセルレベルのラベリングのため、トレーニングデータ不足に悩まされる。 我々は,低コストなテキスト検出ラベルを用いたSTRモデルの事前学習が可能なテキスト対応マスク付き画像モデリングアルゴリズム(TMIM)を提案する。 我々の方法は、他のプリトレイン法より優れ、最先端のパフォーマンス(SCUT-EnsTextの37.35 PSNR)を達成する。
• 参考スコア（独自算出の注目度）: 44.70973195966149
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing scene text removal (STR) task suffers from insufficient training data due to the expensive pixel-level labeling. In this paper, we aim to address this issue by introducing a Text-aware Masked Image Modeling algorithm (TMIM), which can pretrain STR models with low-cost text detection labels (e.g., text bounding box). Different from previous pretraining methods that use indirect auxiliary tasks only to enhance the implicit feature extraction ability, our TMIM first enables the STR task to be directly trained in a weakly supervised manner, which explores the STR knowledge explicitly and efficiently. In TMIM, first, a Background Modeling stream is built to learn background generation rules by recovering the masked non-text region. Meanwhile, it provides pseudo STR labels on the masked text region. Second, a Text Erasing stream is proposed to learn from the pseudo labels and equip the model with end-to-end STR ability. Benefiting from the two collaborative streams, our STR model can achieve impressive performance only with the public text detection datasets, which greatly alleviates the limitation of the high-cost STR labels. Experiments demonstrate that our method outperforms other pretrain methods and achieves state-of-the-art performance (37.35 PSNR on SCUT-EnsText). Code will be available at https://github.com/wzx99/TMIM.
• Abstract（参考訳）: 既存のシーンテキスト削除(STR)タスクは、高価なピクセルレベルのラベリングのため、トレーニングデータ不足に悩まされる。 本稿では,低コストなテキスト検出ラベル付きSTRモデル(テキスト境界ボックスなど)を事前学習可能なテキスト対応マスク付き画像モデリングアルゴリズム(TMIM)を導入することで,この問題に対処することを目的とする。 間接的補助的タスクのみを用いて暗黙的特徴抽出能力を高める従来の事前訓練方法とは異なり、TMIMではまずSTRタスクを弱教師付きで直接訓練し、STRの知識を明確かつ効率的に探索する。 TMIMでは、まず背景モデリングストリームを構築し、マスクされた非テキスト領域を復元することで背景生成規則を学習する。 一方、マスクされたテキスト領域に擬似STRラベルを提供する。 次に、擬似ラベルから学習し、そのモデルにエンドツーエンドのSTR能力を持たせるために、テキスト消去ストリームを提案する。 2つのコラボレーティブストリームから恩恵を受けながら、私たちのSTRモデルは、高コストSTRラベルの制限を大幅に軽減する、公開テキスト検出データセットでのみ、素晴らしいパフォーマンスを達成できます。 実験により,本手法は他のプレトレイン法よりも優れ,最先端性能(SCUT-EnsTextの37.35 PSNR)が得られた。 コードはhttps://github.com/wzx99/TMIMで入手できる。

関連論文リスト

• Decoder Pre-Training with only Text for Scene Text Recognition [54.93037783663204]
  シーンテキスト認識(STR)事前学習法は,主に合成データセットに依存し,顕著な進歩を遂げている。 STR(DPTR)用テキストのみを用いたDecoder Pre-trainingという新しい手法を提案する。 DPTRはCLIPテキストエンコーダが生成したテキスト埋め込みを擬似視覚埋め込みとして扱い、デコーダの事前訓練に使用する。
  論文  参考訳（メタデータ） (2024-08-11T06:36:42Z)
• ODM: A Text-Image Further Alignment Pre-training Approach for Scene Text Detection and Spotting [8.397246652127793]
  我々は OCR-Text Destylization Modeling (ODM) と呼ばれる新しい事前学習手法を提案する。 ODMは、画像中の様々なスタイルのテキストを、テキストプロンプトに基づいて一様に転送する。 本手法は,シーンテキストの検出やスポッティング作業において,現在の事前学習方法よりも性能が大幅に向上し,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-01T06:13:53Z)
• Sequential Visual and Semantic Consistency for Semi-supervised Text Recognition [56.968108142307976]
  Scene Text Recognition (STR) は、大規模なアノテートデータを必要とする課題である。 既存のSTR法の多くは、STRモデルの性能を低下させ、ドメイン差を生じさせる合成データに頼っている。 本稿では,視覚的・意味的両面から単語レベルの整合性正則化を取り入れたSTRの半教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2024-02-24T13:00:54Z)
• FETNet: Feature Erasing and Transferring Network for Scene Text Removal [14.763369952265796]
  Scene text removal(STR)タスクは、テキスト領域を削除し、画像の背景をスムーズに復元し、プライベート情報保護を目的とする。 既存のSTRメソッドの多くはエンコーダデコーダベースのCNNを採用しており、スキップ接続の機能を直接コピーしている。 STRの符号化された特徴を再構成する新しい特徴消去・伝達機構を提案する。
  論文  参考訳（メタデータ） (2023-06-16T02:38:30Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model [55.321010757641524]
  CLIP4STRは,CLIPのイメージエンコーダとテキストエンコーダ上に構築された,シンプルで効果的なSTRメソッドである。 モデルサイズ、事前トレーニングデータ、トレーニングデータの観点からCLIP4STRをスケールし、11のSTRベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-05-23T12:51:20Z)
• The Surprisingly Straightforward Scene Text Removal Method With Gated Attention and Region of Interest Generation: A Comprehensive Prominent Model Analysis [0.76146285961466]
  STR(Scene text removal)は、自然のシーン画像からテキストを消去するタスクである。 本稿では,シンプルなかつ極めて効果的なGated Attention(GA)手法とRerea-of-Interest Generation(RoIG)手法を紹介する。 ベンチマークデータを用いた実験結果から,提案手法は既存の最先端手法よりもほぼすべての指標で有意に優れていた。
  論文  参考訳（メタデータ） (2022-10-14T03:34:21Z)
• A Simple and Strong Baseline: Progressively Region-based Scene Text Removal Networks [72.32357172679319]
  本稿では, Progressively Region-based scene Text eraser (PERT)を提案する。 PERTはSTRタスクをいくつかの消去段階に分解する。 PERTは、テキストフリー領域の完全性を保証するために、リージョンベースの修正戦略を導入している。
  論文  参考訳（メタデータ） (2021-06-24T14:06:06Z)
• SCATTER: Selective Context Attentional Scene Text Recognizer [16.311256552979835]
  Scene Text Recognition (STR) は複雑な画像背景に対してテキストを認識するタスクである。 現在のSOTA(State-of-the-art)メソッドは、任意の形で書かれたテキストを認識するのに依然として苦労している。 Selective Context Attentional Text Recognizer (SCATTER) というSTRの新しいアーキテクチャを導入する。
  論文  参考訳（メタデータ） (2020-03-25T09:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。