論文の概要: Knowing Where and What: Unified Word Block Pretraining for Document Understanding

• arxiv url: http://arxiv.org/abs/2207.13979v2
• Date: Fri, 29 Jul 2022 12:35:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-01 10:36:45.453739
• Title: Knowing Where and What: Unified Word Block Pretraining for Document Understanding
• Title（参考訳）: 文書理解のための統一単語ブロック事前学習
• Authors: Song Tao, Zijian Wang, Tiantian Fan, Canjie Luo, Can Huang
• Abstract要約: We propose UTel, a language model with Unified TExt and layout pre-training。 具体的には、レイアウト学習のための単語予測(SWP)と、異なる単語ブロックを特定するための単語埋め込み(CWE)のコントラスト学習の2つの事前学習タスクを提案する。 このようにして、Masked Layout-Language Modeling (MLLM)と2つの新しいタスクの共同トレーニングにより、意味的特徴と空間的特徴を統一的に相互作用させることができる。
• 参考スコア（独自算出の注目度）: 11.46378901674016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the complex layouts of documents, it is challenging to extract information for documents. Most previous studies develop multimodal pre-trained models in a self-supervised way. In this paper, we focus on the embedding learning of word blocks containing text and layout information, and propose UTel, a language model with Unified TExt and Layout pre-training. Specifically, we propose two pre-training tasks: Surrounding Word Prediction (SWP) for the layout learning, and Contrastive learning of Word Embeddings (CWE) for identifying different word blocks. Moreover, we replace the commonly used 1D position embedding with a 1D clipped relative position embedding. In this way, the joint training of Masked Layout-Language Modeling (MLLM) and two newly proposed tasks enables the interaction between semantic and spatial features in a unified way. Additionally, the proposed UTel can process arbitrary-length sequences by removing the 1D position embedding, while maintaining competitive performance. Extensive experimental results show UTel learns better joint representations and achieves superior performance than previous methods on various downstream tasks, though requiring no image modality. Code is available at \url{https://github.com/taosong2019/UTel}.
• Abstract（参考訳）: 文書の複雑なレイアウトのため、文書の情報を抽出することは困難である。 これまでのほとんどの研究は、自己監督的な方法でマルチモーダル事前学習モデルを開発する。 本稿では,テキストとレイアウト情報を含む単語ブロックの埋め込み学習に着目し,統一TExtとレイアウト事前学習を備えた言語モデルであるUTelを提案する。 具体的には、レイアウト学習のための単語予測(SWP)と異なる単語ブロックを特定するための単語埋め込み(CWE)のコントラスト学習の2つの事前学習タスクを提案する。 さらに,一般的な1D位置埋め込みを1Dクリップによる相対位置埋め込みに置き換える。 このようにして、Masked Layout-Language Modeling (MLLM)と2つの新しいタスクの共同トレーニングにより、意味的特徴と空間的特徴を統一的に相互作用させることができる。 さらに、提案するUTelは、1D位置埋め込みを除去し、競合性能を維持しながら任意の長さのシーケンスを処理できる。 広範な実験結果から、utelはより優れたジョイント表現を学習し、様々な下流タスクにおける従来の方法よりも優れた性能を達成することが示されているが、イメージモダリティは必要ではない。 コードは \url{https://github.com/taosong2019/UTel} で入手できる。

関連論文リスト

• LayoutMask: Enhance Text-Layout Interaction in Multi-modal Pre-training for Document Understanding [7.7514466231699455]
  本稿では,新しいマルチモーダル事前学習モデルLayoutMaskを提案する。 統一されたモデルにおいて、テキストとレイアウトのモダリティ間の相互作用を強化することができる。 様々なVrDU問題に対して最先端の結果が得られる。
  論文  参考訳（メタデータ） (2023-05-30T03:56:07Z)
• ERNIE-Layout: Layout Knowledge Enhanced Pre-training for Visually-rich Document Understanding [52.3895498789521]
  レイアウト知識を向上した新しい文書事前学習ソリューションであるERNIEを提案する。 まず、直列化段階で入力シーケンスを並べ替え、相関的な事前学習タスクを示し、順序予測を行い、文書の適切な読み順序を学習する。 実験の結果、ERNIEは様々な下流タスクにおいて優れた性能を示し、キー情報に新たな最先端設定、文書質問応答を実現している。
  論文  参考訳（メタデータ） (2022-10-12T12:59:24Z)
• I2DFormer: Learning Image to Document Attention for Zero-Shot Image Classification [123.90912800376039]
  オンラインテキスト文書(例えばウィキペディア)には、オブジェクトクラスに関する豊富な視覚的記述が含まれている。 画像や文書のエンコードを共同で学習するトランスフォーマーベースのZSLフレームワークであるI2DFormerを提案する。 提案手法は,画像領域に文書語を接地可能な高解釈可能な結果をもたらす。
  論文  参考訳（メタデータ） (2022-09-21T12:18:31Z)
• Unified Pretraining Framework for Document Understanding [52.224359498792836]
  文書理解のための統合事前学習フレームワークであるUDocを紹介する。 UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。 UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
  論文  参考訳（メタデータ） (2022-04-22T21:47:04Z)
• LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking [83.09001231165985]
  テキストと画像のマスキングを併用した文書AIのためのマルチモーダルトランスフォーマーを事前学習するためのLayoutLMv3を提案する。 単純な統一アーキテクチャとトレーニングの目的により、LayoutLMv3はテキスト中心および画像中心のDocument AIタスクの汎用的な事前トレーニングモデルになる。
  論文  参考訳（メタデータ） (2022-04-18T16:19:52Z)
• BROS: A Layout-Aware Pre-trained Language Model for Understanding Documents [13.293166441041238]
  本稿では、個々のテキストブロックに含まれる情報とそのレイアウトを効果的に活用する事前学習型言語モデルBERT Relying On Spaceity(BROS)を提案する。 BROSは相対的な位置を利用して空間情報を符号化し、新しい領域マスキング戦略でOCRブロック間の依存関係を学習する。
  論文  参考訳（メタデータ） (2021-08-10T09:30:23Z)
• SelfDoc: Self-Supervised Document Representation Learning [46.22910270334824]
  SelfDocは、文書イメージ理解のためのタスクに依存しない事前トレーニングフレームワークである。 本フレームワークは,文書中の意味的に意味のあるすべてのコンポーネントの位置情報,テキスト情報,視覚情報を利用する。 複数のダウンストリームタスクにおいて,事前学習段階で使用する文書イメージが従来よりも大幅に少なく,優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2021-06-07T04:19:49Z)
• Learning to Select Bi-Aspect Information for Document-Scale Text Content Manipulation [50.01708049531156]
  我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。 詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。 出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
  論文  参考訳（メタデータ） (2020-02-24T12:52:10Z)
• LayoutLM: Pre-training of Text and Layout for Document Image Understanding [108.12766816023783]
  スキャンした文書画像間でのテキストとレイアウト情報の相互作用を協調的にモデル化するtextbfLMを提案する。 ドキュメントレベルの事前トレーニングのための単一のフレームワークで、テキストとレイアウトが共同で学習されたのは、これが初めてです。 フォーム理解(70.72から79.27まで)、レセプション理解(94.02から95.24まで)、文書画像分類(93.07から94.42まで)など、いくつかのダウンストリームタスクで新しい最先端の成果を達成する。
  論文  参考訳（メタデータ） (2019-12-31T14:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。