論文の概要: Attention Where It Matters: Rethinking Visual Document Understanding with Selective Region Concentration

• arxiv url: http://arxiv.org/abs/2309.01131v1
• Date: Sun, 3 Sep 2023 10:14:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 21:24:06.924812
• Title: Attention Where It Matters: Rethinking Visual Document Understanding with Selective Region Concentration
• Title（参考訳）: 注意すべき点:選択的領域集中による視覚的文書理解の再考
• Authors: Haoyu Cao, Changcun Bao, Chaohu Liu, Huang Chen, Kun Yin, Hao Liu, Yinsong Liu, Deqiang Jiang, Xing Sun
• Abstract要約: 本稿では,SeRumという文書理解モデルを提案する。 SeRumは、画像理解と認識タスクを視覚トークンの局所的な復号プロセスに変換する。 本稿では,SeRumが文書理解タスクの最先端性能とテキストスポッティングタスクの競合結果を達成することを示す。
• 参考スコア（独自算出の注目度）: 26.408343160223517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel end-to-end document understanding model called SeRum (SElective Region Understanding Model) for extracting meaningful information from document images, including document analysis, retrieval, and office automation. Unlike state-of-the-art approaches that rely on multi-stage technical schemes and are computationally expensive, SeRum converts document image understanding and recognition tasks into a local decoding process of the visual tokens of interest, using a content-aware token merge module. This mechanism enables the model to pay more attention to regions of interest generated by the query decoder, improving the model's effectiveness and speeding up the decoding speed of the generative scheme. We also designed several pre-training tasks to enhance the understanding and local awareness of the model. Experimental results demonstrate that SeRum achieves state-of-the-art performance on document understanding tasks and competitive results on text spotting tasks. SeRum represents a substantial advancement towards enabling efficient and effective end-to-end document understanding.
• Abstract（参考訳）: 本稿では,文書解析,検索,オフィス自動化など,文書画像から意味のある情報を抽出するSeRum (Selective Region Understanding Model) という新しいエンドツーエンド文書理解モデルを提案する。 マルチステージの技術的スキームに依存して計算コストがかかる最先端のアプローチとは異なり、SeRumは文書イメージ理解と認識タスクを、コンテンツ認識トークンマージモジュールを使用して、関心のある視覚トークンの局所的復号プロセスに変換する。 このメカニズムにより、モデルがクエリデコーダによって生成される関心領域により多くの注意を払うことができ、モデルの有効性が向上し、生成スキームのデコード速度が速くなる。 モデルの理解と局所的な認識を高めるために、いくつかの事前学習タスクも設計しました。 実験結果から,SeRumは文書理解タスクの最先端性能とテキストスポッティングタスクの競合結果が得られることがわかった。 SeRumは、効率的で効果的なエンドツーエンドのドキュメント理解を実現するための大きな進歩を表している。

関連論文リスト

• Hypergraph based Understanding for Document Semantic Entity Recognition [65.84258776834524]
  我々は,ハイパグラフアテンションを利用したハイパグラフアテンション文書セマンティックエンティティ認識フレームワークHGAを構築し,エンティティ境界とエンティティカテゴリを同時に重視する。 FUNSD, CORD, XFUNDIE で得られた結果は,本手法が意味的エンティティ認識タスクの性能を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2024-07-09T14:35:49Z)
• GraphKD: Exploring Knowledge Distillation Towards Document Object Detection with Structured Graph Creation [14.511401955827875]
  ドキュメントにおけるオブジェクト検出は、構造的要素の識別プロセスを自動化するための重要なステップである。 文書画像中の文書オブジェクトを正しく識別し,ローカライズするための,グラフベースの知識蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-17T23:08:32Z)
• Leveraging Contextual Information for Effective Entity Salience Detection [21.30389576465761]
  クロスエンコーダアーキテクチャを用いた中規模言語モデルの微調整により,機能工学的アプローチよりも優れた性能が得られることを示す。 また、命令調整言語モデルのゼロショットプロンプトは、タスクの特異性と複雑さを示す劣った結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-09-14T19:04:40Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)
• Information Extraction from Documents: Question Answering vs Token Classification in real-world setups [0.0]
  質問応答法と古典的トークン分類法を比較して,文書鍵情報抽出を行う。 我々の研究は、クリーンで比較的短いエンティティを扱う場合、トークン分類に基づくアプローチを用いるのが最善であることを示した。
  論文  参考訳（メタデータ） (2023-04-21T14:43:42Z)
• Named Entity and Relation Extraction with Multi-Modal Retrieval [51.660650522630526]
  マルチモーダルな名前付きエンティティ認識(NER)と関係抽出(RE)は、関連画像情報を活用してNERとREの性能を向上させることを目的としている。 新たなマルチモーダル検索フレームワーク(MoRe)を提案する。 MoReはテキスト検索モジュールと画像ベースの検索モジュールを含み、入力されたテキストと画像の関連知識をそれぞれ知識コーパスで検索する。
  論文  参考訳（メタデータ） (2022-12-03T13:11:32Z)
• ERNIE-Layout: Layout Knowledge Enhanced Pre-training for Visually-rich Document Understanding [52.3895498789521]
  レイアウト知識を向上した新しい文書事前学習ソリューションであるERNIEを提案する。 まず、直列化段階で入力シーケンスを並べ替え、相関的な事前学習タスクを示し、順序予測を行い、文書の適切な読み順序を学習する。 実験の結果、ERNIEは様々な下流タスクにおいて優れた性能を示し、キー情報に新たな最先端設定、文書質問応答を実現している。
  論文  参考訳（メタデータ） (2022-10-12T12:59:24Z)
• Unified Pretraining Framework for Document Understanding [52.224359498792836]
  文書理解のための統合事前学習フレームワークであるUDocを紹介する。 UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。 UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
  論文  参考訳（メタデータ） (2022-04-22T21:47:04Z)
• Focused Attention Improves Document-Grounded Generation [111.42360617630669]
  文書基盤生成は、文書に提供される情報を用いてテキスト生成を改善するタスクである。 本研究はwikipedia更新生成タスクと対話応答生成という2つの異なる文書基底生成タスクに焦点を当てている。
  論文  参考訳（メタデータ） (2021-04-26T16:56:29Z)
• PICK: Processing Key Information Extraction from Documents using Improved Graph Learning-Convolutional Networks [5.210482046387142]
  文書から重要な情報抽出は依然として課題である。 我々は,KIEの複雑なドキュメントレイアウトを扱う上で,効果的かつ堅牢なフレームワークであるPICKを紹介する。 提案手法は, 基準線法を有意差で上回っている。
  論文  参考訳（メタデータ） (2020-04-16T05:20:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。