論文の概要: MaskOCR: Text Recognition with Masked Encoder-Decoder Pretraining
- arxiv url: http://arxiv.org/abs/2206.00311v1
- Date: Wed, 1 Jun 2022 08:27:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-02 12:16:47.236461
- Title: MaskOCR: Text Recognition with Masked Encoder-Decoder Pretraining
- Title(参考訳): MaskOCR: Masked Encoder-Decoder Pretraining によるテキスト認識
- Authors: Pengyuan Lyu, Chengquan Zhang, Shanshan Liu, Meina Qiao, Yangliu Xu,
Liang Wu, Kun Yao, Junyu Han, Errui Ding, Jingdong Wang
- Abstract要約: テキスト認識のためのモデル事前学習手法であるMaskOCRを提案する。
我々のアプローチはエンコーダとデコーダの両方を逐次的に事前訓練する。
実験により,提案したMaskOCR手法はベンチマークデータセットにおいて優れた結果が得られることが示された。
- 参考スコア(独自算出の注目度): 63.968176508846426
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present a model pretraining technique, named MaskOCR, for
text recognition. Our text recognition architecture is an encoder-decoder
transformer: the encoder extracts the patch-level representations, and the
decoder recognizes the text from the representations. Our approach pretrains
both the encoder and the decoder in a sequential manner. (i) We pretrain the
encoder in a self-supervised manner over a large set of unlabeled real text
images. We adopt the masked image modeling approach, which shows the
effectiveness for general images, expecting that the representations take on
semantics. (ii) We pretrain the decoder over a large set of synthesized text
images in a supervised manner and enhance the language modeling capability of
the decoder by randomly masking some text image patches occupied by characters
input to the encoder and accordingly the representations input to the decoder.
Experiments show that the proposed MaskOCR approach achieves superior results
on the benchmark datasets, including Chinese and English text images.
- Abstract(参考訳): 本稿では,テキスト認識のためのモデル事前学習手法であるMaskOCRを提案する。
私たちのテキスト認識アーキテクチャはエンコーダ・デコーダトランスフォーマであり、エンコーダはパッチレベルの表現を抽出し、デコーダは表現からテキストを認識する。
我々のアプローチはエンコーダとデコーダの両方を逐次的に事前訓練する。
(i)ラベルなしの実画像の大規模な集合に対して自己教師あり方式でエンコーダをプリトレーニングする。
我々は,一般画像の有効性を示すマスク画像モデリング手法を採用し,その表現が意味論に影響を及ぼすことを期待する。
(2)デコーダに入力された文字が占めるテキストのパッチをランダムにマスキングし,デコーダに入力された表現をランダムにマスキングすることにより,デコーダの言語モデリング能力を向上させる。
提案手法は,中国語と英語のテキスト画像を含むベンチマークデータセットにおいて,優れた結果が得られることを示す。
関連論文リスト
- DTrOCR: Decoder-only Transformer for Optical Character Recognition [0.0]
我々は,光文字認識用デコーダのみ変換器(DTrOCR)と呼ばれる,テキスト認識のためのよりシンプルで効果的な方法を提案する。
この方法は、デコーダのみのトランスフォーマーを使用して、大きなコーパスで事前訓練された生成言語モデルを活用する。
我々の実験では、DTrOCRは、英語と中国語の両方で印刷、手書き、シーンテキストの認識において、最先端の手法よりもはるかに優れていることを示した。
論文 参考訳(メタデータ) (2023-08-30T12:37:03Z) - Language Quantized AutoEncoders: Towards Unsupervised Text-Image
Alignment [81.73717488887938]
Language-Quantized AutoEncoder (LQAE)は、事前訓練された言語モデルを利用して、教師なしの方法でテキストイメージデータを整列することを学ぶ。
LQAEは類似した画像を類似したテキストトークンのクラスタで表現することを学び、一致したテキストイメージペアを使わずにこれら2つのモダリティを整列させる。
これにより、大きな言語モデル(例えばGPT-3)による少数ショット画像の分類や、BERTテキストの特徴に基づく画像の線形分類が可能になる。
論文 参考訳(メタデータ) (2023-02-02T06:38:44Z) - PreSTU: Pre-Training for Scene-Text Understanding [49.288302725486226]
シーンテキスト理解(STU)に特化した新しい事前学習レシピであるPreSTUを提案する。
PreSTUは、OCR対応の事前学習目標を導入し、モデルが画像からテキストを認識し、残りの画像コンテンツに接続することを奨励する。
8つの視覚的質問応答と4つの画像キャプションベンチマークに対して,この事前学習アプローチの有効性を実証的に実証した。
論文 参考訳(メタデータ) (2022-09-12T18:29:55Z) - Image Captioning based on Feature Refinement and Reflective Decoding [0.0]
本稿では,エンコーダデコーダを用いた画像キャプションシステムを提案する。
画像の各領域の空間的特徴とグローバルな特徴をResNet-101をバックボーンとしてFaster R-CNNを使って抽出する。
デコーダはアテンションベースのリカレントモジュールとリフレクティブアテンションモジュールからなり、デコーダの長期的なシーケンシャル依存関係をモデル化する能力を高める。
論文 参考訳(メタデータ) (2022-06-16T07:56:28Z) - Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。
本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。
事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
論文 参考訳(メタデータ) (2022-04-29T03:53:54Z) - Language Matters: A Weakly Supervised Pre-training Approach for Scene
Text Detection and Spotting [69.77701325270047]
本稿では,シーンテキストを効果的に表現できる弱教師付き事前学習手法を提案する。
本ネットワークは,画像エンコーダと文字認識型テキストエンコーダから構成され,視覚的特徴とテキスト的特徴を抽出する。
実験により、事前訓練されたモデルは、重みを他のテキスト検出やスポッティングネットワークに転送しながら、Fスコアを+2.5%、+4.8%改善することが示された。
論文 参考訳(メタデータ) (2022-03-08T08:10:45Z) - Recurrent neural network transducer for Japanese and Chinese offline
handwritten text recognition [5.704448607986111]
日本語と中国語のオフラインテキスト行画像を認識するためのRNN-Transducerモデルを提案する。
提案モデルでは,入力画像からの視覚情報と言語情報の両方を利用する。
実験結果から,提案モデルが全データセットの最先端性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2021-06-28T08:16:44Z) - Primitive Representation Learning for Scene Text Recognition [7.818765015637802]
本研究では,シーンテキスト画像の固有表現を活用した原始表現学習手法を提案する。
プリミティブ表現学習ネットワーク(PREN)は、並列デコードに視覚テキスト表現を使用するために構築される。
また,注意に基づく手法における不整合問題を軽減するために PREN2D というフレームワークを提案する。
論文 参考訳(メタデータ) (2021-05-10T11:54:49Z) - Enhanced Modality Transition for Image Captioning [51.72997126838352]
MTM(Modality Transition Module)を構築し、言語モデルに転送する前に視覚的機能をセマンティック表現に転送します。
トレーニング段階では、モダリティ遷移ネットワークは提案されたモダリティ損失によって最適化される。
提案手法の有効性を示すMS-COCOデータセットを用いて実験を行った。
論文 参考訳(メタデータ) (2021-02-23T07:20:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。