論文の概要: LayoutLLM: Layout Instruction Tuning with Large Language Models for Document Understanding

• arxiv url: http://arxiv.org/abs/2404.05225v1
• Date: Mon, 8 Apr 2024 06:40:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 18:41:48.769769
• Title: LayoutLLM: Layout Instruction Tuning with Large Language Models for Document Understanding
• Title（参考訳）: LayoutLLM: ドキュメント理解のための大規模言語モデルによるレイアウトインストラクションチューニング
• Authors: Chuwei Luo, Yufan Shen, Zhaoqing Zhu, Qi Zheng, Zhi Yu, Cong Yao,
• Abstract要約: 提案手法は,レイアウト対応事前学習とレイアウト対応監視ファインタニングの2つのコンポーネントから構成される。 標準ベンチマークの実験では、提案されたLayoutLLMは、文書理解のためにオープンソースの7B LLMs/MLLMを採用する既存の手法よりも大幅に優れていた。
• 参考スコア（独自算出の注目度）: 21.916774808384893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, leveraging large language models (LLMs) or multimodal large language models (MLLMs) for document understanding has been proven very promising. However, previous works that employ LLMs/MLLMs for document understanding have not fully explored and utilized the document layout information, which is vital for precise document understanding. In this paper, we propose LayoutLLM, an LLM/MLLM based method for document understanding. The core of LayoutLLM is a layout instruction tuning strategy, which is specially designed to enhance the comprehension and utilization of document layouts. The proposed layout instruction tuning strategy consists of two components: Layout-aware Pre-training and Layout-aware Supervised Fine-tuning. To capture the characteristics of document layout in Layout-aware Pre-training, three groups of pre-training tasks, corresponding to document-level, region-level and segment-level information, are introduced. Furthermore, a novel module called layout chain-of-thought (LayoutCoT) is devised to enable LayoutLLM to focus on regions relevant to the question and generate accurate answers. LayoutCoT is effective for boosting the performance of document understanding. Meanwhile, it brings a certain degree of interpretability, which could facilitate manual inspection and correction. Experiments on standard benchmarks show that the proposed LayoutLLM significantly outperforms existing methods that adopt open-source 7B LLMs/MLLMs for document understanding. The training data of the LayoutLLM is publicly available at https://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/DocumentUnderstanding/LayoutL LM
• Abstract（参考訳）: 近年,大規模言語モデル (LLM) やマルチモーダル大規模言語モデル (MLLM) を文書理解に活用することが,非常に有望であることが証明されている。 しかし、文書理解にLLM/MLLMを用いた以前の研究は、文書レイアウト情報を十分に探求し、活用していないため、正確な文書理解には不可欠である。 本稿では,LLM/MLLMに基づく文書理解手法であるLayoutLLMを提案する。 LayoutLLMのコアはレイアウト命令のチューニング戦略であり、特にドキュメントレイアウトの理解と利用を高めるために設計されている。 提案手法は,レイアウト対応事前学習とレイアウト対応監視ファインタニングの2つのコンポーネントから構成される。 レイアウトを意識した事前学習において,文書レベル,領域レベル,セグメントレベルの情報に対応する3つの事前学習タスク群が導入された。 さらに、レイアウトチェーン(LayoutCoT)と呼ばれる新しいモジュールが考案され、LayoutLLMは質問に関連する領域に集中し、正確な回答を生成することができる。 LayoutCoTは文書理解のパフォーマンスを高めるのに有効です。 一方、ある程度の解釈可能性を持ち、手動による検査と修正を容易にする。 標準ベンチマークの実験では、提案されたLayoutLLMは、文書理解のためにオープンソースの7B LLMs/MLLMを採用する既存の手法よりも大幅に優れていた。 LayoutLLMのトレーニングデータはhttps://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/DocumentUnderstanding/LayoutL LMで公開されている。

関連論文リスト

• TextHawk: Exploring Efficient Fine-Grained Perception of Multimodal Large Language Models [9.232693392690702]
  TextHawkは文書指向マルチモーダル言語モデル(MLLM)である。 4つの専用コンポーネントを設計することで、効率的な微粒化知覚を探索するように設計されている。 汎用MLLMベンチマークと文書指向MLLMベンチマークの両方で広範な実験を行い、TextHawkが最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-14T09:48:37Z)
• Visually Guided Generative Text-Layout Pre-training for Document Intelligence [51.09853181377696]
  視覚誘導型生成テキスト事前学習(ViTLP)を提案する。 文書画像が与えられた場合、モデルは階層言語とレイアウトモデリングの目的を最適化し、インターリーブされたテキストとレイアウトシーケンスを生成する。 ViTLPは、文書画像のテキストをローカライズし、認識するためのネイティブなOCRモデルとして機能する。
  論文  参考訳（メタデータ） (2024-03-25T08:00:43Z)
• LayoutLLM: Large Language Model Instruction Tuning for Visually Rich Document Understanding [0.0]
  本稿では,より柔軟な画像文書解析手法であるLayoutLLMを提案する。 画像,テキスト,レイアウト構造を事前学習することで,文書の理解を高める手法が開発されている。 本実験は,文書解析タスクにおけるベースラインモデルの改善を実証する。
  論文  参考訳（メタデータ） (2024-03-21T09:25:24Z)
• LAPDoc: Layout-Aware Prompting for Documents [3.523208537466128]
  そこで本研究では,テキストベースのLLMを文書固有のタスクに使用する可能性について,レイアウトエンリッチメントを用いて検討する。 その結果,レイアウトの充実により,文書理解のためのテキストベースのLLMの性能が最大15%向上することが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T10:00:49Z)
• DocLLM: A layout-aware generative language model for multimodal document understanding [12.093889265216205]
  本稿では,従来の大規模言語モデル(LLM)の軽量拡張であるDocLLMについて述べる。 本モデルは,空間配置構造を組み込むための境界ボックス情報にのみ焦点をあてる。 我々のソリューションは、すべてのタスクにまたがる16のデータセットのうち14のデータセットでSotA LLMよりも優れており、これまで見つからなかった5つのデータセットのうち4のデータセットで十分に一般化されていることを実証しています。
  論文  参考訳（メタデータ） (2023-12-31T22:37:52Z)
• LayoutNUWA: Revealing the Hidden Layout Expertise of Large Language Models [84.16541551923221]
  本稿では,レイアウト生成をコード生成タスクとして扱うモデルを提案する。 3つの相互接続モジュールからなるCode Instruct Tuning (CIT) アプローチを開発した。 複数のデータセット上で、最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-09-18T06:35:10Z)
• Enhancing Visually-Rich Document Understanding via Layout Structure Modeling [91.07963806829237]
  レイアウトの知識をモデルに注入する新しい文書理解モデルであるGraphLMを提案する。 我々は、FUNSD、XFUND、CORDなど様々なベンチマークでモデルを評価し、最先端の結果を得た。
  論文  参考訳（メタデータ） (2023-08-15T13:53:52Z)
• Are Layout-Infused Language Models Robust to Layout Distribution Shifts? A Case Study with Scientific Documents [54.744701806413204]
  近年の研究では、レイアウト機能を言語モデル(LM)に注入することで、科学論文などの視覚に富んだ文書の処理が改善されている。 レイアウトを注入したLMがレイアウト分布シフトに対して堅牢であるかどうかを検証する。
  論文  参考訳（メタデータ） (2023-06-01T18:01:33Z)
• ERNIE-Layout: Layout Knowledge Enhanced Pre-training for Visually-rich Document Understanding [52.3895498789521]
  レイアウト知識を向上した新しい文書事前学習ソリューションであるERNIEを提案する。 まず、直列化段階で入力シーケンスを並べ替え、相関的な事前学習タスクを示し、順序予測を行い、文書の適切な読み順序を学習する。 実験の結果、ERNIEは様々な下流タスクにおいて優れた性能を示し、キー情報に新たな最先端設定、文書質問応答を実現している。
  論文  参考訳（メタデータ） (2022-10-12T12:59:24Z)
• MarkupLM: Pre-training of Text and Markup Language for Visually-rich Document Understanding [35.35388421383703]
  テキスト、レイアウト、画像によるマルチモーダル事前学習は、ビジュアルリッチ文書理解(VrDU)において大きな進歩を遂げた。 本稿では,マークアップ言語をバックボーンとする文書理解タスクのためのMarkupLMを提案する。 実験の結果,事前学習したMarkupLMは,複数の文書理解タスクにおいて,既存の強力なベースラインモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2021-10-16T09:17:28Z)
• LayoutLM: Pre-training of Text and Layout for Document Image Understanding [108.12766816023783]
  スキャンした文書画像間でのテキストとレイアウト情報の相互作用を協調的にモデル化するtextbfLMを提案する。 ドキュメントレベルの事前トレーニングのための単一のフレームワークで、テキストとレイアウトが共同で学習されたのは、これが初めてです。 フォーム理解(70.72から79.27まで)、レセプション理解(94.02から95.24まで)、文書画像分類(93.07から94.42まで)など、いくつかのダウンストリームタスクで新しい最先端の成果を達成する。
  論文  参考訳（メタデータ） (2019-12-31T14:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。