論文の概要: EAFormer: Scene Text Segmentation with Edge-Aware Transformers

• arxiv url: http://arxiv.org/abs/2407.17020v1
• Date: Wed, 24 Jul 2024 06:00:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 14:43:30.653793
• Title: EAFormer: Scene Text Segmentation with Edge-Aware Transformers
• Title（参考訳）: EAFormer:エッジ対応トランスを用いたシーンテキストセグメンテーション
• Authors: Haiyang Yu, Teng Fu, Bin Li, Xiangyang Xue,
• Abstract要約: シーンテキストセグメンテーションは、通常、生成モデルがテキストの編集や削除を支援するために使用されるシーンイメージからテキストを抽出することを目的としている。 本稿では,特にテキストのエッジにおいて,テキストをより正確にセグメント化するためのエッジ対応変換器EAFormerを提案する。
• 参考スコア（独自算出の注目度）: 56.15069996649572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scene text segmentation aims at cropping texts from scene images, which is usually used to help generative models edit or remove texts. The existing text segmentation methods tend to involve various text-related supervisions for better performance. However, most of them ignore the importance of text edges, which are significant for downstream applications. In this paper, we propose Edge-Aware Transformers, termed EAFormer, to segment texts more accurately, especially at the edge of texts. Specifically, we first design a text edge extractor to detect edges and filter out edges of non-text areas. Then, we propose an edge-guided encoder to make the model focus more on text edges. Finally, an MLP-based decoder is employed to predict text masks. We have conducted extensive experiments on commonly-used benchmarks to verify the effectiveness of EAFormer. The experimental results demonstrate that the proposed method can perform better than previous methods, especially on the segmentation of text edges. Considering that the annotations of several benchmarks (e.g., COCO_TS and MLT_S) are not accurate enough to fairly evaluate our methods, we have relabeled these datasets. Through experiments, we observe that our method can achieve a higher performance improvement when more accurate annotations are used for training.
• Abstract（参考訳）: シーンテキストセグメンテーションは、通常、生成モデルがテキストの編集や削除を支援するために使用されるシーンイメージからテキストを抽出することを目的としている。 既存のテキストセグメンテーション手法では、パフォーマンス向上のために様々なテキスト関連の監督を行う傾向がある。 しかし、そのほとんどは、下流アプリケーションにとって重要なテキストエッジの重要性を無視している。 本稿では,特にテキストのエッジにおいて,テキストをより正確にセグメント化するためのエッジ・アウェア・トランスフォーマーであるEAFormerを提案する。 具体的には、まずテキスト領域のエッジを検出し、非テキスト領域のエッジをフィルタリングするテキストエッジ抽出器を設計する。 そこで本研究では,テキストエッジに着目したエッジガイドエンコーダを提案する。 最後に、MLPベースのデコーダを用いてテキストマスクを予測する。 我々は、EAFormerの有効性を検証するために、一般的なベンチマークで広範な実験を行った。 実験の結果,提案手法は,特にテキストエッジのセグメンテーションにおいて,従来の手法よりも優れていることがわかった。 いくつかのベンチマーク(例えばCOCO_TSやMLT_S)のアノテーションは、我々のメソッドを適切に評価するのに十分ではないので、これらのデータセットを緩和しました。 実験により,より正確なアノテーションをトレーニングに使用する場合,本手法がより高い性能向上を実現することが確認された。

関連論文リスト

• Text Grouping Adapter: Adapting Pre-trained Text Detector for Layout Analysis [52.34110239735265]
  本稿では,事前学習したテキスト検出装置のレイアウト解析を学習するためのモジュールであるText Grouping Adapter (TGA)を提案する。 我々の総合的な実験は、凍結した事前学習モデルであっても、TGAを様々な事前学習されたテキスト検出器やテキストスポッターに組み込むことで、より優れたレイアウト解析性能が得られることを示した。
  論文  参考訳（メタデータ） (2024-05-13T05:48:35Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Weakly-Supervised Text Instance Segmentation [44.20745377169349]
  テキスト認識とテキストセグメンテーションをブリッジすることで、弱教師付きテキストインスタンスセグメンテーションを初めて実施する。 提案手法は, ICDAR13-FST(18.95$%$改善)ベンチマークとTextSeg (17.80$%$改善)ベンチマークにおいて, 弱教師付きインスタンスセグメンテーション法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-03-20T03:56:47Z)
• The Surprisingly Straightforward Scene Text Removal Method With Gated Attention and Region of Interest Generation: A Comprehensive Prominent Model Analysis [0.76146285961466]
  STR(Scene text removal)は、自然のシーン画像からテキストを消去するタスクである。 本稿では,シンプルなかつ極めて効果的なGated Attention(GA)手法とRerea-of-Interest Generation(RoIG)手法を紹介する。 ベンチマークデータを用いた実験結果から,提案手法は既存の最先端手法よりもほぼすべての指標で有意に優れていた。
  論文  参考訳（メタデータ） (2022-10-14T03:34:21Z)
• DPText-DETR: Towards Better Scene Text Detection with Dynamic Points in Transformer [94.35116535588332]
  ポリゴン点やベジエ曲線制御点を予測してテキストをローカライズするトランスフォーマーベースの手法は、シーンテキストの検出で非常に人気がある。 しかし、使用点ラベル形式は、トランスフォーマーモデルの堅牢性に影響を与える人間の読み順を意味する。 本稿では,DPText-DETRを提案する。これはクエリとしてポイント座標を直接使用し,デコーダ層間で動的に更新する。
  論文  参考訳（メタデータ） (2022-07-10T15:45:16Z)
• Scene Text Detection with Scribble Lines [59.698806258671105]
  テキスト検出のための多角形の代わりにスクリブル線でテキストをアノテートすることを提案する。 さまざまな形状のテキストの一般的なラベリング方法であり、ラベリングコストが低くなります。 実験の結果,提案手法は弱ラベル法と元のポリゴン系ラベリング法との間の性能ギャップを橋渡しすることを示した。
  論文  参考訳（メタデータ） (2020-12-09T13:14:53Z)
• Rethinking Text Segmentation: A Novel Dataset and A Text-Specific Refinement Approach [34.63444886780274]
  テキストセグメンテーションは、現実世界のテキスト関連タスクの前提条件である。 本稿では,テキスト分割手法であるText Refinement Network (TexRNet)を紹介する。 TexRNetは、他の最先端セグメンテーション手法と比較して、テキストセグメンテーションのパフォーマンスを2%近く改善している。
  論文  参考訳（メタデータ） (2020-11-27T22:50:09Z)
• Text Perceptron: Towards End-to-End Arbitrary-Shaped Text Spotting [49.768327669098674]
  テキストパーセプトロン(Text Perceptron)という,エンドツーエンドのトレーニング可能なテキストスポッティング手法を提案する。 まず、テキスト読解順序と境界情報を学ぶ効率的なセグメンテーションベースのテキスト検出器を用いる。 次に、検出された特徴領域を正規形態に変換するために、新しい形状変換モジュール(STM)を設計する。
  論文  参考訳（メタデータ） (2020-02-17T08:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。