論文の概要: InstructOCR: Instruction Boosting Scene Text Spotting

• arxiv url: http://arxiv.org/abs/2412.15523v1
• Date: Fri, 20 Dec 2024 03:23:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:21:52.626609
• Title: InstructOCR: Instruction Boosting Scene Text Spotting
• Title（参考訳）: InstructOCR: インストラクションブースティングのシーンテキストスポッティング
• Authors: Chen Duan, Qianyi Jiang, Pei Fu, Jiamin Chen, Shengxi Li, Zining Wang, Shan Guo, Junfeng Luo,
• Abstract要約: InstructOCRは、革新的な命令ベースのシーンテキストスポッティングモデルである。 私たちのフレームワークは、トレーニングと推論にテキストエンコーダと画像エンコーダの両方を使用します。 広く使われているベンチマークで最先端の結果が得られます。
• 参考スコア（独自算出の注目度）: 10.724187109801251
• License:
• Abstract: In the field of scene text spotting, previous OCR methods primarily relied on image encoders and pre-trained text information, but they often overlooked the advantages of incorporating human language instructions. To address this gap, we propose InstructOCR, an innovative instruction-based scene text spotting model that leverages human language instructions to enhance the understanding of text within images. Our framework employs both text and image encoders during training and inference, along with instructions meticulously designed based on text attributes. This approach enables the model to interpret text more accurately and flexibly. Extensive experiments demonstrate the effectiveness of our model and we achieve state-of-the-art results on widely used benchmarks. Furthermore, the proposed framework can be seamlessly applied to scene text VQA tasks. By leveraging instruction strategies during pre-training, the performance on downstream VQA tasks can be significantly improved, with a 2.6% increase on the TextVQA dataset and a 2.1% increase on the ST-VQA dataset. These experimental results provide insights into the benefits of incorporating human language instructions for OCR-related tasks.
• Abstract（参考訳）: シーンテキストスポッティングの分野では、以前のOCR手法は主に画像エンコーダと事前訓練されたテキスト情報に依存していたが、人間の言語命令を組み込むことの利点を見落としていた。 このギャップに対処するために,画像中のテキストの理解を高めるために,人間の言語命令を活用する,革新的な命令ベースのシーンテキストスポッティングモデルであるInstructOCRを提案する。 本フレームワークでは,テキスト属性に基づいて精密に設計した命令とともに,トレーニングや推論においてテキストエンコーダと画像エンコーダを併用する。 このアプローチにより、モデルはテキストをより正確かつ柔軟に解釈できる。 大規模な実験により、我々のモデルの有効性が実証され、広く使われているベンチマークで最先端の結果が得られた。 さらに、提案フレームワークはシーンテキストVQAタスクにシームレスに適用できる。 事前トレーニング中の命令戦略を活用することで、下流のVQAタスクのパフォーマンスが大幅に向上し、TextVQAデータセットが2.6%、ST-VQAデータセットが2.1%向上する。 これらの実験結果は、OCR関連タスクに人間の言語命令を組み込むことの利点に関する洞察を与える。

関連論文リスト

• Decoder Pre-Training with only Text for Scene Text Recognition [54.93037783663204]
  シーンテキスト認識(STR)事前学習法は,主に合成データセットに依存し,顕著な進歩を遂げている。 STR(DPTR)用テキストのみを用いたDecoder Pre-trainingという新しい手法を提案する。 DPTRはCLIPテキストエンコーダが生成したテキスト埋め込みを擬似視覚埋め込みとして扱い、デコーダの事前訓練に使用する。
  論文  参考訳（メタデータ） (2024-08-11T06:36:42Z)
• ODM: A Text-Image Further Alignment Pre-training Approach for Scene Text Detection and Spotting [8.397246652127793]
  我々は OCR-Text Destylization Modeling (ODM) と呼ばれる新しい事前学習手法を提案する。 ODMは、画像中の様々なスタイルのテキストを、テキストプロンプトに基づいて一様に転送する。 本手法は,シーンテキストの検出やスポッティング作業において,現在の事前学習方法よりも性能が大幅に向上し,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-01T06:13:53Z)
• Orientation-Independent Chinese Text Recognition in Scene Images [61.34060587461462]
  本研究は,テキスト画像のコンテンツと方向情報を切り離すことにより,向きに依存しない視覚特徴を抽出する試みである。 具体的には,不整合コンテンツと向き情報を用いて対応する文字イメージを復元する文字画像再構成ネットワーク(CIRN)を提案する。
  論文  参考訳（メタデータ） (2023-09-03T05:30:21Z)
• PreSTU: Pre-Training for Scene-Text Understanding [49.288302725486226]
  シーンテキスト理解(STU)に特化した新しい事前学習レシピであるPreSTUを提案する。 PreSTUは、OCR対応の事前学習目標を導入し、モデルが画像からテキストを認識し、残りの画像コンテンツに接続することを奨励する。 8つの視覚的質問応答と4つの画像キャプションベンチマークに対して,この事前学習アプローチの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2022-09-12T18:29:55Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• Language Matters: A Weakly Supervised Pre-training Approach for Scene Text Detection and Spotting [69.77701325270047]
  本稿では,シーンテキストを効果的に表現できる弱教師付き事前学習手法を提案する。 本ネットワークは,画像エンコーダと文字認識型テキストエンコーダから構成され,視覚的特徴とテキスト的特徴を抽出する。 実験により、事前訓練されたモデルは、重みを他のテキスト検出やスポッティングネットワークに転送しながら、Fスコアを+2.5%、+4.8%改善することが示された。
  論文  参考訳（メタデータ） (2022-03-08T08:10:45Z)
• TAP: Text-Aware Pre-training for Text-VQA and Text-Caption [75.44716665758415]
  テキストVQAとテキストキャプションタスクのためのテキスト認識事前学習(TAP)を提案する。 TAPは、事前トレーニングにシーンテキスト(OCRエンジンから生成される)を明示的に組み込む。 我々のアプローチは、複数のタスクで大きな利幅で芸術の状態を上回っている。
  論文  参考訳（メタデータ） (2020-12-08T18:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。