論文の概要: Enhancing Visually-Rich Document Understanding via Layout Structure Modeling

• arxiv url: http://arxiv.org/abs/2308.07777v1
• Date: Tue, 15 Aug 2023 13:53:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 12:43:36.033643
• Title: Enhancing Visually-Rich Document Understanding via Layout Structure Modeling
• Title（参考訳）: レイアウト構造モデリングによるビジュアルリッチ文書理解の強化
• Authors: Qiwei Li, Zuchao Li, Xiantao Cai, Bo Du and Hai Zhao
• Abstract要約: レイアウトの知識をモデルに注入する新しい文書理解モデルであるGraphLMを提案する。 我々は、FUNSD、XFUND、CORDなど様々なベンチマークでモデルを評価し、最先端の結果を得た。
• 参考スコア（独自算出の注目度）: 91.07963806829237
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, the use of multi-modal pre-trained Transformers has led to significant advancements in visually-rich document understanding. However, existing models have mainly focused on features such as text and vision while neglecting the importance of layout relationship between text nodes. In this paper, we propose GraphLayoutLM, a novel document understanding model that leverages the modeling of layout structure graph to inject document layout knowledge into the model. GraphLayoutLM utilizes a graph reordering algorithm to adjust the text sequence based on the graph structure. Additionally, our model uses a layout-aware multi-head self-attention layer to learn document layout knowledge. The proposed model enables the understanding of the spatial arrangement of text elements, improving document comprehension. We evaluate our model on various benchmarks, including FUNSD, XFUND and CORD, and achieve state-of-the-art results among these datasets. Our experimental results demonstrate that our proposed method provides a significant improvement over existing approaches and showcases the importance of incorporating layout information into document understanding models. We also conduct an ablation study to investigate the contribution of each component of our model. The results show that both the graph reordering algorithm and the layout-aware multi-head self-attention layer play a crucial role in achieving the best performance.
• Abstract（参考訳）: 近年,マルチモーダルな事前学習型トランスフォーマーの利用は,視覚的にリッチな文書理解に大きな進歩をもたらした。 しかし、既存のモデルはテキストノード間のレイアウト関係の重要性を無視しながら、主にテキストや視覚などの機能に焦点を当てている。 本稿では、レイアウト構造グラフのモデリングを利用して文書レイアウトの知識をモデルに注入する新しい文書理解モデルGraphLayoutLMを提案する。 GraphLayoutLMはグラフ構造に基づいてテキストシーケンスを調整するためにグラフリオーダーアルゴリズムを使用する。 さらに,このモデルでは,レイアウトを意識したマルチヘッドセルフアテンション層を用いて文書レイアウトの知識を学習する。 提案モデルにより,テキスト要素の空間的配置の理解が可能となり,文書の理解が向上する。 我々は、FUNSD、XFUND、CORDを含む様々なベンチマークでモデルを評価し、これらのデータセットの最先端結果を得る。 実験の結果,提案手法は既存の手法よりも大幅に改善され,文書理解モデルにレイアウト情報を組み込むことの重要性が示された。 また, モデルの各成分の寄与を調べるため, アブレーション研究を行った。 その結果,グラフリオーダリングアルゴリズムとレイアウトアウェアマルチヘッドセルフアテンション層の両方が,最高の性能を達成する上で重要な役割を担っていることがわかった。

関連論文リスト

• Hypergraph based Understanding for Document Semantic Entity Recognition [65.84258776834524]
  我々は,ハイパグラフアテンションを利用したハイパグラフアテンション文書セマンティックエンティティ認識フレームワークHGAを構築し,エンティティ境界とエンティティカテゴリを同時に重視する。 FUNSD, CORD, XFUNDIE で得られた結果は,本手法が意味的エンティティ認識タスクの性能を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2024-07-09T14:35:49Z)
• LayoutLLM: Large Language Model Instruction Tuning for Visually Rich Document Understanding [0.0]
  本稿では,より柔軟な画像文書解析手法であるLayoutLLMを提案する。 画像,テキスト,レイアウト構造を事前学習することで,文書の理解を高める手法が開発されている。 本実験は,文書解析タスクにおけるベースラインモデルの改善を実証する。
  論文  参考訳（メタデータ） (2024-03-21T09:25:24Z)
• GVdoc: Graph-based Visual Document Classification [17.350393956461783]
  グラフに基づく文書分類モデルであるGVdocを提案する。 提案手法では,そのレイアウトに基づいて文書グラフを生成し,グラフニューラルネットワークを用いてノードとグラフの埋め込みを学習する。 パラメータが少なくても、我々のモデルは分布外データ上で最先端のモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-26T19:23:20Z)
• ERNIE-Layout: Layout Knowledge Enhanced Pre-training for Visually-rich Document Understanding [52.3895498789521]
  レイアウト知識を向上した新しい文書事前学習ソリューションであるERNIEを提案する。 まず、直列化段階で入力シーケンスを並べ替え、相関的な事前学習タスクを示し、順序予測を行い、文書の適切な読み順序を学習する。 実験の結果、ERNIEは様々な下流タスクにおいて優れた性能を示し、キー情報に新たな最先端設定、文書質問応答を実現している。
  論文  参考訳（メタデータ） (2022-10-12T12:59:24Z)
• VSR: A Unified Framework for Document Layout Analysis combining Vision, Semantics and Relations [40.721146438291335]
  視覚、意味論、関係性を組み合わせた文書レイアウト解析のための統一フレームワークVSRを提案する。 人気のある3つのベンチマークでは、vsrは以前のモデルを大きく上回っている。
  論文  参考訳（メタデータ） (2021-05-13T12:20:30Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• LAMPRET: Layout-Aware Multimodal PreTraining for Document Understanding [17.179384053140236]
  文書レイアウトは構造的および視覚的(例えば。 機械学習モデルでは無視されがちですが、重要な情報です。 ブロックとドキュメント全体をモデル化する新しいレイアウト対応マルチモーダル階層フレームワーク LAMPreT を提案する。 提案したモデルを,テキストブロック充填と画像提案の2つのレイアウト認識タスクで評価する。
  論文  参考訳（メタデータ） (2021-04-16T23:27:39Z)
• Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
  グラフ組み込み数ショット学習に関する包括的な研究を紹介します。 本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。 提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
  論文  参考訳（メタデータ） (2021-02-14T05:28:13Z)
• Leveraging Graph to Improve Abstractive Multi-Document Summarization [50.62418656177642]
  我々は、文書のよく知られたグラフ表現を活用することができる、抽象的多文書要約(MDS)モデルを開発する。 本モデルでは,長い文書の要約に欠かせない文書間関係を捉えるために,文書の符号化にグラフを利用する。 また,このモデルでは,要約生成プロセスの導出にグラフを利用することが可能であり,一貫性と簡潔な要約を生成するのに有用である。
  論文  参考訳（メタデータ） (2020-05-20T13:39:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。