論文の概要: Towards Robust Visual Information Extraction in Real World: New Dataset and Novel Solution

• arxiv url: http://arxiv.org/abs/2102.06732v1
• Date: Sun, 24 Jan 2021 11:05:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-16 09:19:05.456235
• Title: Towards Robust Visual Information Extraction in Real World: New Dataset and Novel Solution
• Title（参考訳）: 実世界のロバストな視覚情報抽出に向けて:新しいデータセットと新しい解法
• Authors: Jiapeng Wang, Chongyu Liu, Lianwen Jin, Guozhi Tang, Jiaxin Zhang, Shuaitao Zhang, Qianying Wang, Yaqiang Wu, Mingxiang Cai
• Abstract要約: 実世界のシナリオに向けた堅牢な視覚情報抽出システム(VIES)を提案する。 VIESは、同時テキスト検出、認識、情報抽出のための統一されたエンドツーエンドのトレーニング可能なフレームワークです。 テキストスポッティングと視覚情報抽出の両方の中国初のベンチマークであるephoieと呼ばれる完全注釈付きデータセットを構築した。
• 参考スコア（独自算出の注目度）: 30.438041837029875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual information extraction (VIE) has attracted considerable attention recently owing to its various advanced applications such as document understanding, automatic marking and intelligent education. Most existing works decoupled this problem into several independent sub-tasks of text spotting (text detection and recognition) and information extraction, which completely ignored the high correlation among them during optimization. In this paper, we propose a robust visual information extraction system (VIES) towards real-world scenarios, which is a unified end-to-end trainable framework for simultaneous text detection, recognition and information extraction by taking a single document image as input and outputting the structured information. Specifically, the information extraction branch collects abundant visual and semantic representations from text spotting for multimodal feature fusion and conversely, provides higher-level semantic clues to contribute to the optimization of text spotting. Moreover, regarding the shortage of public benchmarks, we construct a fully-annotated dataset called EPHOIE (https://github.com/HCIILAB/EPHOIE), which is the first Chinese benchmark for both text spotting and visual information extraction. EPHOIE consists of 1,494 images of examination paper head with complex layouts and background, including a total of 15,771 Chinese handwritten or printed text instances. Compared with the state-of-the-art methods, our VIES shows significant superior performance on the EPHOIE dataset and achieves a 9.01% F-score gain on the widely used SROIE dataset under the end-to-end scenario.
• Abstract（参考訳）: 視覚情報抽出(vie)は,文書理解,自動マーキング,知的教育などの高度な応用により,近年注目を集めている。 既存のほとんどの作品は、この問題をテキストスポッティング(テキスト検出と認識)と情報抽出の複数の独立したサブタスクに分離し、最適化中にそれらの間の高い相関を完全に無視しました。 本稿では,単一の文書画像を入力・出力することで,テキスト検出,認識,情報抽出を同時に行うための統一的なエンドツーエンド学習フレームワークである,実世界のシナリオに対する堅牢な視覚情報抽出システム(vies)を提案する。 具体的には、情報抽出部は、多モード特徴融合のためのテキストスポッティングから豊富な視覚的および意味的表現を収集し、テキストスポッティングの最適化に寄与する高レベルの意味的ヒントを提供する。 また、公開ベンチマークの不足については、テキストスポッティングと視覚情報抽出の両方のための最初の中国ベンチマークであるEPHOIE(https://github.com/HCIILAB/EPHOIE)と呼ばれる完全注釈付きデータセットを構築しています。 EPHOIEは、複雑なレイアウトと背景を持つ試験紙ヘッドの1,494イメージで構成され、合計15,771の中国手書きまたは印刷されたテキストインスタンスが含まれています。 最新の方法と比較して、当社のVIESはEPHOIEデータセットで大幅に優れたパフォーマンスを発揮し、エンドツーエンドシナリオ下で広く使用されているSROIEデータセットで9.01%のFスコアを獲得します。

関連論文リスト

• Towards Unified Multi-granularity Text Detection with Interactive Attention [56.79437272168507]
  Detect Any Text"は、シーンテキストの検出、レイアウト分析、ドキュメントページの検出を結合的なエンドツーエンドモデルに統合する高度なパラダイムである。 DATにおける重要なイノベーションは、テキストインスタンスの表現学習を大幅に強化する、粒度横断型アテンションモジュールである。 テストによると、DATは様々なテキスト関連ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-05-30T07:25:23Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Visual Information Extraction in the Wild: Practical Dataset and End-to-end Solution [48.693941280097974]
  視覚情報抽出(VIE)のためのカメラ画像からなる大規模データセットを提案する。 我々は,OCRの段階と情報抽出をエンド・ツー・エンドの学習方式で組み合わせた,エンド・ツー・エンドVIEのための新しいフレームワークを提案する。 提案したデータセット上で既存のVIEのエンド・ツー・エンド手法を評価し,これらの手法の性能がSROIEから提案したデータセットに相違があることを観察した。
  論文  参考訳（メタデータ） (2023-05-12T14:11:47Z)
• TRIE++: Towards End-to-End Information Extraction from Visually Rich Documents [51.744527199305445]
  本稿では,視覚的にリッチな文書からエンド・ツー・エンドの情報抽出フレームワークを提案する。 テキスト読み出しと情報抽出は、よく設計されたマルチモーダルコンテキストブロックを介して互いに強化することができる。 フレームワークはエンドツーエンドのトレーニング可能な方法でトレーニングでき、グローバルな最適化が達成できる。
  論文  参考訳（メタデータ） (2022-07-14T08:52:07Z)
• One-shot Key Information Extraction from Document with Deep Partial Graph Matching [60.48651298832829]
  ドキュメントからキー情報抽出(KIE)は、多くの産業シナリオにおいて効率、生産性、セキュリティを改善する。 KIEタスクのための既存の教師付き学習手法は、多数のラベル付きサンプルを供給し、異なる種類の文書の別々のモデルを学ぶ必要がある。 部分グラフマッチングを用いたワンショットKIEのためのディープエンド・ツー・エンド・トレーニング可能なネットワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T07:45:53Z)
• TRIE: End-to-End Text Reading and Information Extraction for Document Understanding [56.1416883796342]
  本稿では,統合されたエンドツーエンドのテキスト読解と情報抽出ネットワークを提案する。 テキスト読解のマルチモーダル視覚的特徴とテキスト的特徴は、情報抽出のために融合される。 提案手法は, 精度と効率の両面において, 最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-27T01:47:26Z)
• PICK: Processing Key Information Extraction from Documents using Improved Graph Learning-Convolutional Networks [5.210482046387142]
  文書から重要な情報抽出は依然として課題である。 我々は,KIEの複雑なドキュメントレイアウトを扱う上で,効果的かつ堅牢なフレームワークであるPICKを紹介する。 提案手法は, 基準線法を有意差で上回っている。
  論文  参考訳（メタデータ） (2020-04-16T05:20:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。