Fugu-MT 論文翻訳(概要): TextBlockV2: Towards Precise-Detection-Free Scene Text Spotting with Pre-trained Language Model

論文の概要: TextBlockV2: Towards Precise-Detection-Free Scene Text Spotting with Pre-trained Language Model

arxiv url: http://arxiv.org/abs/2403.10047v1
Date: Fri, 15 Mar 2024 06:38:25 GMT
ステータス: 処理完了
システム内更新日: 2024-03-18 18:29:12.335202
Title: TextBlockV2: Towards Precise-Detection-Free Scene Text Spotting with Pre-trained Language Model
Title（参考訳）: TextBlockV2: 事前学習型言語モデルによる高精度検出不要なシーンテキストスポッティングを目指して
Authors: Jiahao Lyu, Jin Wei, Gangyan Zeng, Zeng Li, Enze Xie, Wei Wang, Yu Zhou,
Abstract要約: 既存のシーンテキストスポッターは、画像からテキストを見つけて書き起こすように設計されている。提案するシーンテキストスポッターは、高度なPLMを活用して、きめ細かい検出を行うことなく性能を向上させる。 PLMベースの認識モジュールは、事前学習期間中に得られた包括的な言語知識から恩恵を受け、複雑なシナリオを効果的に処理する。
参考スコア（独自算出の注目度）: 17.77384627944455
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Existing scene text spotters are designed to locate and transcribe texts from images. However, it is challenging for a spotter to achieve precise detection and recognition of scene texts simultaneously. Inspired by the glimpse-focus spotting pipeline of human beings and impressive performances of Pre-trained Language Models (PLMs) on visual tasks, we ask: 1) "Can machines spot texts without precise detection just like human beings?", and if yes, 2) "Is text block another alternative for scene text spotting other than word or character?" To this end, our proposed scene text spotter leverages advanced PLMs to enhance performance without fine-grained detection. Specifically, we first use a simple detector for block-level text detection to obtain rough positional information. Then, we finetune a PLM using a large-scale OCR dataset to achieve accurate recognition. Benefiting from the comprehensive language knowledge gained during the pre-training phase, the PLM-based recognition module effectively handles complex scenarios, including multi-line, reversed, occluded, and incomplete-detection texts. Taking advantage of the fine-tuned language model on scene recognition benchmarks and the paradigm of text block detection, extensive experiments demonstrate the superior performance of our scene text spotter across multiple public benchmarks. Additionally, we attempt to spot texts directly from an entire scene image to demonstrate the potential of PLMs, even Large Language Models (LLMs).
Abstract（参考訳）: 既存のシーンテキストスポッターは、画像からテキストを見つけて書き起こすように設計されている。しかし,スポッターがシーンテキストの正確な検出と認識を同時に行うことは困難である。人間のスポッティングパイプラインと、視覚的なタスクにおける事前学習言語モデル(PLM)の印象的なパフォーマンスにインスパイアされた。 1)「機械は人間のように正確に検出せずにテキストを見つけるのか?」 2)「テキストは、単語や文字以外のシーンテキストスポッティングの代替手段をブロックしていますか? この目的のために,提案するシーンテキストスポッターは高度なPLMを活用し,微細な検出を行うことなく性能を向上させる。具体的には、まずブロックレベルのテキスト検出に簡単な検出器を使用して、粗い位置情報を得る。次に、大規模OCRデータセットを用いてPLMを微調整し、正確な認識を実現する。 PLMベースの認識モジュールは、事前訓練期間中に得られた包括的な言語知識から恩恵を受け、マルチライン、リバース、クローズド、不完全な検出テキストを含む複雑なシナリオを効果的に処理する。シーン認識ベンチマークにおける微調整言語モデルとテキストブロック検出のパラダイムを活かして、複数の公開ベンチマークにおいてシーンテキストスポッターの優れた性能を示す実験を行った。さらに,シーン全体から直接テキストを抽出して,LLM(Large Language Models)の可能性を示す。

関連論文リスト

Text Grouping Adapter: Adapting Pre-trained Text Detector for Layout Analysis [52.34110239735265]
本稿では,事前学習したテキスト検出装置のレイアウト解析を学習するためのモジュールであるText Grouping Adapter (TGA)を提案する。我々の総合的な実験は、凍結した事前学習モデルであっても、TGAを様々な事前学習されたテキスト検出器やテキストスポッターに組み込むことで、より優れたレイアウト解析性能が得られることを示した。
論文参考訳（メタデータ） (2024-05-13T05:48:35Z)
TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
論文参考訳（メタデータ） (2023-06-06T03:37:41Z)
Contextual Text Block Detection towards Scene Text Understanding [85.40898487745272]
本稿では,シーン中のテキストをよりよく理解するためのコンテキストテキストブロック(CTB)を新たに検出する,コンテキストテキスト検出手法を提案する。本稿では、まずテキスト単位を検出し、次にCTBにグループ化する二重検出タスクにより、新しい設定を定式化する。そこで本研究では,統合テキスト単位をトークンとして扱うシーンテキストクラスタリング手法を設計し,それらを(同じCTBに延長する)順序付きトークンシーケンスにグループ化する。
論文参考訳（メタデータ） (2022-07-26T14:59:25Z)
Decoupling Recognition from Detection: Single Shot Self-Reliant Scene Text Spotter [34.09162878714425]
単発自撮りScene Text Spotter(SRSTS)を提案する。テキストの検出と認識を並列に行い、共有された正のアンカーポイントでそれらをブリッジする。本手法では,正確なテキスト境界を検出できない場合でも,テキストインスタンスを正しく認識することができる。
論文参考訳（メタデータ） (2022-07-15T01:59:14Z)
Text Detection & Recognition in the Wild for Robot Localization [1.52292571922932]
テキスト文字列とバウンディングボックスを同時に出力するエンド・ツー・エンドシーンテキストスポッティングモデルを提案する。我々の中心的な貢献は、不規則かつ隠蔽されたテキスト領域を適切にキャプチャするために、エンドツーエンドのテキストスポッティングフレームワークを利用することである。
論文参考訳（メタデータ） (2022-05-17T18:16:34Z)
Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
論文参考訳（メタデータ） (2022-04-29T03:53:54Z)
DEER: Detection-agnostic End-to-End Recognizer for Scene Text Spotting [11.705454066278898]
本稿では,新しい検出非依存のエンド・ツー・エンド認識フレームワークDEERを提案する。提案手法は,検出モジュールと認識モジュール間の密接な依存関係を低減する。通常のテキストスポッティングベンチマークと任意の形のテキストスポッティングベンチマークで競合する結果を得る。
論文参考訳（メタデータ） (2022-03-10T02:41:05Z)
SPTS: Single-Point Text Spotting [128.52900104146028]
トレーニングシーンのテキストスポッティングモデルは,インスタンスごとの単一点の極めて低コストなアノテーションによって実現可能であることを示す。本稿では,シーンテキストスポッティングをシーケンス予測タスクとするエンドツーエンドのシーンテキストスポッティング手法を提案する。
論文参考訳（メタデータ） (2021-12-15T06:44:21Z)
Context-Free TextSpotter for Real-Time and Mobile End-to-End Text Detection and Recognition [8.480710920894547]
本稿では、単純な畳み込みと、Context-Free TextSpotterという、いくつかの後処理からなるテキストスポッティング手法を提案する。標準ベンチマークを用いた実験によると、Context-Free TextSpotterは、300万のパラメータしか持たないGPU上のリアルタイムテキストスポッティングを実現している。私たちのテキストスポッターは、安価なレイテンシでスマートフォン上で実行できるので、スタンドアロンのOCRアプリケーションを構築するのに役立ちます。
論文参考訳（メタデータ） (2021-06-10T09:32:52Z)
AE TextSpotter: Learning Visual and Linguistic Representation for Ambiguous Text Spotting [98.08853679310603]
本研究はAmbiguity Elimination Text Spotter(AE TextSpotter)という新しいテキストスポッターを提案する。 AE TextSpotterは、視覚的特徴と言語的特徴の両方を学び、テキスト検出の曖昧さを著しく低減する。我々の知る限り、言語モデルを用いてテキスト検出を改善するのはこれが初めてである。
論文参考訳（メタデータ） (2020-08-03T08:40:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。