論文の概要: Instruction-Guided Scene Text Recognition

• arxiv url: http://arxiv.org/abs/2401.17851v2
• Date: Mon, 1 Jul 2024 14:06:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 15:18:25.457205
• Title: Instruction-Guided Scene Text Recognition
• Title（参考訳）: インストラクションガイドによるシーンテキスト認識
• Authors: Yongkun Du, Zhineng Chen, Yuchen Su, Caiyan Jia, Yu-Gang Jiang,
• Abstract要約: 本稿では、STRを命令学習問題として定式化する命令誘導シーンテキスト認識(IGTR)パラダイムを提案する。 我々は,テキストイメージ理解をガイドする軽量な命令エンコーダ,クロスモーダル機能融合モジュール,マルチタスク応答ヘッドを開発した。 IGTRは、小さなモデルサイズと効率的な推論速度を維持しながら、既存のモデルをかなりの差で上回っている。
• 参考スコア（独自算出の注目度）: 51.853730414264625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal models show appealing performance in visual recognition tasks recently, as free-form text-guided training evokes the ability to understand fine-grained visual content. However, current models are either inefficient or cannot be trivially upgraded to scene text recognition (STR) due to the composition difference between natural and text images. We propose a novel instruction-guided scene text recognition (IGTR) paradigm that formulates STR as an instruction learning problem and understands text images by predicting character attributes, e.g., character frequency, position, etc. IGTR first devises $\left \langle condition,question,answer\right \rangle$ instruction triplets, providing rich and diverse descriptions of character attributes. To effectively learn these attributes through question-answering, IGTR develops lightweight instruction encoder, cross-modal feature fusion module and multi-task answer head, which guides nuanced text image understanding. Furthermore, IGTR realizes different recognition pipelines simply by using different instructions, enabling a character-understanding-based text reasoning paradigm that considerably differs from current methods. Experiments on English and Chinese benchmarks show that IGTR outperforms existing models by significant margins, while maintaining a small model size and efficient inference speed. Moreover, by adjusting the sampling of instructions, IGTR offers an elegant way to tackle the recognition of both rarely appearing and morphologically similar characters, which were previous challenges. Code at \href{https://github.com/Topdu/OpenOCR}{this http URL}.
• Abstract（参考訳）: 近年のマルチモーダルモデルでは、自由形式のテキスト誘導学習が視覚内容の微粒化を誘発するなど、視覚認知タスクにおいて魅力的なパフォーマンスを示している。 しかし、現在のモデルは、自然画像とテキスト画像の合成の違いにより、非効率であるか、シーンテキスト認識(STR)に簡単にアップグレードできないかのいずれかである。 本稿では, STRを命令学習問題として定式化し, 文字属性, 文字頻度, 位置などを予測してテキスト画像を理解する, 命令誘導型シーンテキスト認識(IGTR)パラダイムを提案する。 IGTRはまず、$\left \langle condition,question,answer\right \rangle$ instruction tripletを考案した。 IGTRは、これらの属性を質問応答によって効果的に学習するために、軽量な命令エンコーダ、クロスモーダル特徴融合モジュール、マルチタスク応答ヘッドを開発し、ニュアンス付きテキスト画像理解を誘導する。 さらに、IGTRは、異なる命令を使用するだけで異なる認識パイプラインを実現し、現在の方法と大きく異なる文字理解ベースのテキスト推論パラダイムを実現する。 英語と中国語のベンチマークの実験では、IGTRはモデルのサイズを小さくし、推論速度を効率よく保ちながら、既存のモデルよりもかなりのマージンで優れていることが示されている。 さらに、命令のサンプリングを調整することで、IGTRは従来の課題であった稀に現れる文字と形態的に類似した文字の両方の認識に取り組むためのエレガントな方法を提供する。 コードネームは \href{https://github.com/Topdu/OpenOCR}{this http URL}。

関連論文リスト

• Decoder Pre-Training with only Text for Scene Text Recognition [54.93037783663204]
  シーンテキスト認識(STR)事前学習法は,主に合成データセットに依存し,顕著な進歩を遂げている。 STR(DPTR)用テキストのみを用いたDecoder Pre-trainingという新しい手法を提案する。 DPTRはCLIPテキストエンコーダが生成したテキスト埋め込みを擬似視覚埋め込みとして扱い、デコーダの事前訓練に使用する。
  論文  参考訳（メタデータ） (2024-08-11T06:36:42Z)
• Out of Length Text Recognition with Sub-String Matching [54.63761108308825]
  本稿では,このタスクをOOL(Out of Length)テキスト認識と呼ぶ。 サブ文字列マッチング(SMTR)を用いたOOLテキスト認識手法を提案する。 SMTRは2つのクロスアテンションベースのモジュールから構成される: 1つは複数の文字を含むサブストリングを次のクエリと前のクエリにエンコードし、もう1つは画像の特徴に対応するためにクエリを使用する。
  論文  参考訳（メタデータ） (2024-07-17T05:02:17Z)
• DLoRA-TrOCR: Mixed Text Mode Optical Character Recognition Based On Transformer [12.966765239586994]
  マルチフォント、混合シーン、複雑なレイアウトは、従来のOCRモデルの認識精度に深刻な影響を及ぼす。 本稿では,事前学習したOCR変換器,すなわちDLoRA-TrOCRに基づくパラメータ効率の良い混合テキスト認識手法を提案する。
  論文  参考訳（メタデータ） (2024-04-19T09:28:16Z)
• ODM: A Text-Image Further Alignment Pre-training Approach for Scene Text Detection and Spotting [8.397246652127793]
  我々は OCR-Text Destylization Modeling (ODM) と呼ばれる新しい事前学習手法を提案する。 ODMは、画像中の様々なスタイルのテキストを、テキストプロンプトに基づいて一様に転送する。 本手法は,シーンテキストの検出やスポッティング作業において,現在の事前学習方法よりも性能が大幅に向上し,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-01T06:13:53Z)
• Self-supervised Character-to-Character Distillation for Text Recognition [54.12490492265583]
  そこで本研究では,テキスト表現学習を容易にする汎用的な拡張を可能にする,自己教師型文字-文字-文字間蒸留法CCDを提案する。 CCDは、テキスト認識の1.38%、テキストセグメンテーションの1.7%、PSNRの0.24dB、超解像の0.0321(SSIM)で、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2022-11-01T05:48:18Z)
• Language Matters: A Weakly Supervised Pre-training Approach for Scene Text Detection and Spotting [69.77701325270047]
  本稿では,シーンテキストを効果的に表現できる弱教師付き事前学習手法を提案する。 本ネットワークは,画像エンコーダと文字認識型テキストエンコーダから構成され,視覚的特徴とテキスト的特徴を抽出する。 実験により、事前訓練されたモデルは、重みを他のテキスト検出やスポッティングネットワークに転送しながら、Fスコアを+2.5%、+4.8%改善することが示された。
  論文  参考訳（メタデータ） (2022-03-08T08:10:45Z)
• Visual Semantics Allow for Textual Reasoning Better in Scene Text Recognition [46.83992441581874]
  本稿では,視覚的意味論に基づくテキスト推論を初めて試みる。 我々は、テキスト推論(GTR)のためのグラフ畳み込みネットワークを、クロスエントロピー損失で監視することによって考案する。 S-GTRは6つのSTRベンチマークに新しい最先端をセットし、多言語データセットに最適化する。
  論文  参考訳（メタデータ） (2021-12-24T02:43:42Z)
• SCATTER: Selective Context Attentional Scene Text Recognizer [16.311256552979835]
  Scene Text Recognition (STR) は複雑な画像背景に対してテキストを認識するタスクである。 現在のSOTA(State-of-the-art)メソッドは、任意の形で書かれたテキストを認識するのに依然として苦労している。 Selective Context Attentional Text Recognizer (SCATTER) というSTRの新しいアーキテクチャを導入する。
  論文  参考訳（メタデータ） (2020-03-25T09:20:28Z)
• Separating Content from Style Using Adversarial Learning for Recognizing Text in the Wild [103.51604161298512]
  画像中の複数の文字の生成と認識のための逆学習フレームワークを提案する。 我々のフレームワークは、新しい最先端の認識精度を達成するために、最近の認識手法に統合することができる。
  論文  参考訳（メタデータ） (2020-01-13T12:41:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。