論文の概要: Reading and Writing: Discriminative and Generative Modeling for Self-Supervised Text Recognition

• arxiv url: http://arxiv.org/abs/2207.00193v1
• Date: Fri, 1 Jul 2022 03:50:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-04 13:27:45.475432
• Title: Reading and Writing: Discriminative and Generative Modeling for Self-Supervised Text Recognition
• Title（参考訳）: 読み書き : 自己教師付きテキスト認識のための識別・生成モデル
• Authors: Mingkun Yang, Minghui Liao, Pu Lu, Jing Wang, Shenggao Zhu, Hualin Luo, Qi Tian, Xiang Bai
• Abstract要約: テキスト画像の識別と生成を学習するために,コントラスト学習とマスク付き画像モデリングを導入する。 本手法は,不規則なシーンテキスト認識データセットにおいて,従来の自己教師付きテキスト認識手法を10.2%～20.2%向上させる。 提案したテキスト認識器は,11のベンチマークで平均5.3%の精度で従来のテキスト認識手法を上回り,モデルサイズが類似している。
• 参考スコア（独自算出の注目度）: 101.60244147302197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing text recognition methods usually need large-scale training data. Most of them rely on synthetic training data due to the lack of annotated real images. However, there is a domain gap between the synthetic data and real data, which limits the performance of the text recognition models. Recent self-supervised text recognition methods attempted to utilize unlabeled real images by introducing contrastive learning, which mainly learns the discrimination of the text images. Inspired by the observation that humans learn to recognize the texts through both reading and writing, we propose to learn discrimination and generation by integrating contrastive learning and masked image modeling in our self-supervised method. The contrastive learning branch is adopted to learn the discrimination of text images, which imitates the reading behavior of humans. Meanwhile, masked image modeling is firstly introduced for text recognition to learn the context generation of the text images, which is similar to the writing behavior. The experimental results show that our method outperforms previous self-supervised text recognition methods by 10.2%-20.2% on irregular scene text recognition datasets. Moreover, our proposed text recognizer exceeds previous state-of-the-art text recognition methods by averagely 5.3% on 11 benchmarks, with similar model size. We also demonstrate that our pre-trained model can be easily applied to other text-related tasks with obvious performance gain.
• Abstract（参考訳）: 既存のテキスト認識法は通常、大規模なトレーニングデータを必要とする。 その多くは、注釈付き実画像がないため、合成トレーニングデータに依存している。 しかし、合成データと実データの間にはドメインギャップがあり、テキスト認識モデルの性能が制限される。 最近の自己教師付きテキスト認識手法では,テキスト画像の識別を主に学習するコントラスト学習の導入により,ラベルなしの実画像の利用を試みた。 人間が読み書きの両方を通じてテキストを認識することを学ぶという観察に触発されて,コントラスト学習とマスキング画像モデリングを統合し,識別と生成を学ぶことを提案する。 コントラスト学習部は、人間の読書行動を模倣するテキスト画像の識別を学ぶために採用されている。 一方,テキスト認識にはまずマスク付き画像モデリングを導入し,テキスト画像のコンテキスト生成を学習する。 実験の結果,不規則なテキスト認識データセットにおいて,従来の自己教師ありテキスト認識法を10.2%-20.2%上回ることがわかった。 さらに,提案したテキスト認識器は,11ベンチマークで平均5.3%,類似のモデルサイズで,従来の最先端のテキスト認識手法を上回った。 また,事前学習したモデルが他のテキスト関連タスクにも容易に適用できることを示す。

関連論文リスト

• LEGO: Self-Supervised Representation Learning for Scene Text Images [32.21085469233465]
  本研究では,シーンテキスト画像に対する局所的・グローバル的順序対応型自己教師型表現学習手法を提案する。 単語を学習する人間の認知プロセスにインスパイアされて、LEGOのシーケンシャル、セマンティック、構造的特徴をモデル化するための3つの新しいプレテキストタスクを提案する。 LEGO認識器は、6つのベンチマーク上での最先端のシーンテキスト認識方法よりも優れた、あるいは同等のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-04T14:07:14Z)
• JSTR: Judgment Improves Scene Text Recognition [0.0]
  本稿では,画像とテキストが一致しているかを判断することで,シーンテキスト認識タスクの精度を向上させる手法を提案する。 この方法は、モデルが誤認識しそうなデータに対して明示的なフィードバックを提供することで、テキスト認識の精度を高める。
  論文  参考訳（メタデータ） (2024-04-09T02:55:12Z)
• Efficiently Leveraging Linguistic Priors for Scene Text Spotting [63.22351047545888]
  本稿では,大規模テキストコーパスから言語知識を活用する手法を提案する。 シーンテキストデータセットとよく一致したテキスト分布を生成し、ドメイン内の微調整の必要性を取り除く。 実験結果から,本手法は認識精度を向上するだけでなく,単語のより正確な局所化を可能にすることが示された。
  論文  参考訳（メタデータ） (2024-02-27T01:57:09Z)
• WordStylist: Styled Verbatim Handwritten Text Generation with Latent Diffusion Models [8.334487584550185]
  単語レベルに基づくテキスト・テキスト・コンテンツ・イメージ生成のための遅延拡散に基づく手法を提案する。 提案手法は,異なる書き手スタイルからリアルな単語画像のサンプルを生成することができる。 提案モデルでは,美的満足度の高いサンプルを作成し,テキスト認識性能の向上に寄与し,類似の文字検索スコアを実データとして得られることを示す。
  論文  参考訳（メタデータ） (2023-03-29T10:19:26Z)
• Self-supervised Character-to-Character Distillation for Text Recognition [54.12490492265583]
  そこで本研究では,テキスト表現学習を容易にする汎用的な拡張を可能にする,自己教師型文字-文字-文字間蒸留法CCDを提案する。 CCDは、テキスト認識の1.38%、テキストセグメンテーションの1.7%、PSNRの0.24dB、超解像の0.0321(SSIM)で、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2022-11-01T05:48:18Z)
• Content and Style Aware Generation of Text-line Images for Handwriting Recognition [4.301658883577544]
  視覚的外観とテキストコンテンツの両方を条件とした手書きテキストライン画像の生成法を提案する。 本手法では,多彩な手書きスタイルの長いテキストラインサンプルを作成できる。
  論文  参考訳（メタデータ） (2022-04-12T05:52:03Z)
• Language Matters: A Weakly Supervised Pre-training Approach for Scene Text Detection and Spotting [69.77701325270047]
  本稿では,シーンテキストを効果的に表現できる弱教師付き事前学習手法を提案する。 本ネットワークは,画像エンコーダと文字認識型テキストエンコーダから構成され,視覚的特徴とテキスト的特徴を抽出する。 実験により、事前訓練されたモデルは、重みを他のテキスト検出やスポッティングネットワークに転送しながら、Fスコアを+2.5%、+4.8%改善することが示された。
  論文  参考訳（メタデータ） (2022-03-08T08:10:45Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• Separating Content from Style Using Adversarial Learning for Recognizing Text in the Wild [103.51604161298512]
  画像中の複数の文字の生成と認識のための逆学習フレームワークを提案する。 我々のフレームワークは、新しい最先端の認識精度を達成するために、最近の認識手法に統合することができる。
  論文  参考訳（メタデータ） (2020-01-13T12:41:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。