論文の概要: Orientation-Independent Chinese Text Recognition in Scene Images

• arxiv url: http://arxiv.org/abs/2309.01081v1
• Date: Sun, 3 Sep 2023 05:30:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 21:43:43.530759
• Title: Orientation-Independent Chinese Text Recognition in Scene Images
• Title（参考訳）: シーン画像における向き非依存中国語テキスト認識
• Authors: Haiyang Yu, Xiaocong Wang, Bin Li, Xiangyang Xue
• Abstract要約: 本研究は,テキスト画像のコンテンツと方向情報を切り離すことにより,向きに依存しない視覚特徴を抽出する試みである。 具体的には,不整合コンテンツと向き情報を用いて対応する文字イメージを復元する文字画像再構成ネットワーク(CIRN)を提案する。
• 参考スコア（独自算出の注目度）: 61.34060587461462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scene text recognition (STR) has attracted much attention due to its broad applications. The previous works pay more attention to dealing with the recognition of Latin text images with complex backgrounds by introducing language models or other auxiliary networks. Different from Latin texts, many vertical Chinese texts exist in natural scenes, which brings difficulties to current state-of-the-art STR methods. In this paper, we take the first attempt to extract orientation-independent visual features by disentangling content and orientation information of text images, thus recognizing both horizontal and vertical texts robustly in natural scenes. Specifically, we introduce a Character Image Reconstruction Network (CIRN) to recover corresponding printed character images with disentangled content and orientation information. We conduct experiments on a scene dataset for benchmarking Chinese text recognition, and the results demonstrate that the proposed method can indeed improve performance through disentangling content and orientation information. To further validate the effectiveness of our method, we additionally collect a Vertical Chinese Text Recognition (VCTR) dataset. The experimental results show that the proposed method achieves 45.63% improvement on VCTR when introducing CIRN to the baseline model.
• Abstract（参考訳）: シーンテキスト認識(STR)はその幅広い用途のために多くの注目を集めている。 以前の作品は、言語モデルや他の補助ネットワークを導入することで、複雑な背景を持つラテン文字画像の認識にもっと注意を払っている。 ラテン語のテキストと異なり、多くの垂直中国語のテキストが自然のシーンに存在するため、現在最先端のSTR手法には困難が伴う。 本稿では,テキスト画像の内容と方向情報を分離することにより,自然場面における水平テキストと垂直テキストの両方をロバストに認識し,方向非依存な視覚特徴を抽出する最初の試みを行う。 具体的には,不整合コンテンツと向き情報を用いて対応する文字イメージを復元する文字画像再構成ネットワーク(CIRN)を提案する。 提案手法は,中国語のテキスト認識をベンチマークするためのシーンデータセット上で実験を行い,提案手法がコンテンツと方向情報を混在させることで,実際に性能を向上させることを示す。 提案手法の有効性をさらに検証するため,垂直中国語テキスト認識(VCTR)データセットも収集した。 実験の結果,提案手法はベースラインモデルにCIRNを導入する際にVCTRを45.63%改善することがわかった。

関連論文リスト

• Text Image Generation for Low-Resource Languages with Dual Translation Learning [0.0]
  本研究では,高リソース言語からの実際のテキスト画像のスタイルをエミュレートすることで,低リソース言語でテキスト画像を生成する手法を提案する。 このモデルのトレーニングには、2つの翻訳タスクが含まれており、平易なテキストイメージを合成または実際のテキストイメージに変換する。 生成したテキスト画像の精度と多様性を高めるために,2つのガイダンス手法を導入する。
  論文  参考訳（メタデータ） (2024-09-26T11:23:59Z)
• Decoder Pre-Training with only Text for Scene Text Recognition [54.93037783663204]
  シーンテキスト認識(STR)事前学習法は,主に合成データセットに依存し,顕著な進歩を遂げている。 STR(DPTR)用テキストのみを用いたDecoder Pre-trainingという新しい手法を提案する。 DPTRはCLIPテキストエンコーダが生成したテキスト埋め込みを擬似視覚埋め込みとして扱い、デコーダの事前訓練に使用する。
  論文  参考訳（メタデータ） (2024-08-11T06:36:42Z)
• Efficiently Leveraging Linguistic Priors for Scene Text Spotting [63.22351047545888]
  本稿では,大規模テキストコーパスから言語知識を活用する手法を提案する。 シーンテキストデータセットとよく一致したテキスト分布を生成し、ドメイン内の微調整の必要性を取り除く。 実験結果から,本手法は認識精度を向上するだけでなく,単語のより正確な局所化を可能にすることが示された。
  論文  参考訳（メタデータ） (2024-02-27T01:57:09Z)
• Chinese Text Recognition with A Pre-Trained CLIP-Like Model Through Image-IDS Aligning [61.34060587461462]
  中国語テキスト認識(CTR)のための2段階フレームワークを提案する。 印刷文字画像とIdeographic Description Sequences (IDS) の整列によるCLIP様モデルの事前学習を行う。 この事前学習段階は、漢字を認識する人間をシミュレートし、各文字の標準表現を得る。 学習された表現はCTRモデルを監督するために使用され、従来の単一文字認識はテキストライン認識に改善される。
  論文  参考訳（メタデータ） (2023-09-03T05:33:16Z)
• Text-guided Image Restoration and Semantic Enhancement for Text-to-Image Person Retrieval [11.798006331912056]
  テキスト・ツー・イメージ・パーソナリティ検索(TIPR)の目的は、与えられたテキスト記述に従って特定の人物画像を取得することである。 本稿では,人物画像と対応するテキスト間のきめ細かいインタラクションとアライメントを構築するための新しいTIPRフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-18T08:23:46Z)
• Language Matters: A Weakly Supervised Pre-training Approach for Scene Text Detection and Spotting [69.77701325270047]
  本稿では,シーンテキストを効果的に表現できる弱教師付き事前学習手法を提案する。 本ネットワークは,画像エンコーダと文字認識型テキストエンコーダから構成され,視覚的特徴とテキスト的特徴を抽出する。 実験により、事前訓練されたモデルは、重みを他のテキスト検出やスポッティングネットワークに転送しながら、Fスコアを+2.5%、+4.8%改善することが示された。
  論文  参考訳（メタデータ） (2022-03-08T08:10:45Z)
• Benchmarking Chinese Text Recognition: Datasets, Baselines, and an Empirical Study [25.609450020149637]
  既存のテキスト認識法は主に英語のテキスト用であるが、中国語のテキストの重要な役割は無視されている。 公開のコンペ、プロジェクト、論文から中国語のテキストデータセットを手作業で収集し、それらをシーン、Web、ドキュメント、手書きデータセットの4つのカテゴリに分けます。 実験結果を解析することにより、中国語のシナリオにおいて、英語のテキストを認識するための最先端のベースラインがうまく機能しないことを驚くほど観察する。
  論文  参考訳（メタデータ） (2021-12-30T15:30:52Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。