論文の概要: TWIX: Automatically Reconstructing Structured Data from Templatized Documents

• arxiv url: http://arxiv.org/abs/2501.06659v1
• Date: Sat, 11 Jan 2025 23:07:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:22:33.272216
• Title: TWIX: Automatically Reconstructing Structured Data from Templatized Documents
• Title（参考訳）: TWIX: テンプレート化されたドキュメントから構造化データを自動的に再構築する
• Authors: Yiming Lin, Mawil Hasan, Rohan Kosalge, Alvin Cheung, Aditya G. Parameswaran,
• Abstract要約: 私たちのツールであるTWIXは、テンプレート化されたドキュメントを作成するために使用されるテンプレートを予測します。 TWIXは90%以上の精度を達成し、業界における平均的かつ優れたツールをリコールする。 TWIXは大規模なデータセットに容易にスケールでき、817ページの巨大なドキュメントコレクションからデータを抽出するビジョンベースのLCMよりも734倍高速で5836倍安価である。
• 参考スコア（独自算出の注目度）: 11.03654616939188
• License:
• Abstract: Many documents, that we call templatized documents, are programmatically generated by populating fields in a visual template. Effective data extraction from these documents is crucial to supporting downstream analytical tasks. Current data extraction tools often struggle with complex document layouts, incur high latency and/or cost on large datasets, and often require significant human effort, when extracting tables or values given user-specified fields from documents. The key insight of our tool, TWIX, is to predict the underlying template used to create such documents, modeling the visual and structural commonalities across documents. Data extraction based on this predicted template provides a more principled, accurate, and efficient solution at a low cost. Comprehensive evaluations on 34 diverse real-world datasets show that uncovering the template is crucial for data extraction from templatized documents. TWIX achieves over 90% precision and recall on average, outperforming tools from industry: Textract and Azure Document Intelligence, and vision-based LLMs like GPT-4-Vision, by over 25% in precision and recall. TWIX scales easily to large datasets and is 734X faster and 5836X cheaper than vision-based LLMs for extracting data from a large document collection with 817 pages.
• Abstract（参考訳）: テンプレート化された文書と呼ばれる多くの文書は、視覚テンプレート内のフィールドをポピュレーションすることによってプログラム的に生成される。 これらの文書から効果的なデータ抽出は、下流の分析タスクをサポートするために不可欠である。 現在のデータ抽出ツールは、しばしば複雑なドキュメントレイアウトに苦労し、大きなデータセットに遅延やコストを発生させる。 我々のツールであるTWIXの重要な洞察は、そのようなドキュメントを作成するのに使用される基盤となるテンプレートを予測し、ドキュメント間の視覚的および構造的共通点をモデル化することである。 この予測テンプレートに基づくデータ抽出は、より原理的で正確で効率的なソリューションを低コストで提供します。 34の多様な実世界のデータセットに対する総合的な評価は、テンプレートの発見がテンプレート化されたドキュメントからのデータ抽出に不可欠であることを示している。 TWIXは平均して90%以上の精度とリコールを達成しており、TextractやAzure Document Intelligence、GPT-4-VisionのようなビジョンベースのLCMなど、業界における優れたツールよりも25%以上精度とリコールを実現している。 TWIXは大規模なデータセットに容易にスケールでき、817ページの巨大なドキュメントコレクションからデータを抽出するビジョンベースのLCMよりも734倍高速で5836倍安価である。

関連論文リスト

• CRAFT Your Dataset: Task-Specific Synthetic Dataset Generation Through Corpus Retrieval and Augmentation [51.2289822267563]
  合成データセットを生成するCRAFT(Corpus Retrieval and Augmentation for Fine-Tuning)を提案する。 我々は、大規模な公開ウェブクローラコーパスと類似性に基づく文書検索を用いて、他の関連する人文文書を検索する。 我々は,CRAFTが4つのタスクに対して,大規模タスク固有のトレーニングデータセットを効率的に生成できることを実証した。
  論文  参考訳（メタデータ） (2024-09-03T17:54:40Z)
• SynthDoc: Bilingual Documents Synthesis for Visual Document Understanding [23.910783272007407]
  本稿では、ビジュアル文書理解(VDU)を強化するために設計された新しい合成文書生成パイプラインであるSynthDocを紹介する。 データ取得の課題と既存のデータセットの制限に対処するため、SynthDocは、一般公開されたコーパスと高度なレンダリングツールを活用して、包括的な汎用データセットを作成する。 ドナウモデルを用いて実験を行った結果,SynthDocのデータを用いて学習したモデルは,事前学習された読み出しタスクにおいて優れた性能を示し,言語的矛盾にもかかわらず,下流タスクにおいて堅牢性を維持することができた。
  論文  参考訳（メタデータ） (2024-08-27T03:31:24Z)
• DocGenome: An Open Large-scale Scientific Document Benchmark for Training and Testing Multi-modal Large Language Models [63.466265039007816]
  我々は、arXivオープンアクセスコミュニティの153の分野から500Kの科学文書を注釈付けして構築した構造化文書ベンチマークDocGenomeを提案する。 我々はDocGenomeの利点を実証するために広範な実験を行い、我々のベンチマークで大規模モデルの性能を客観的に評価した。
  論文  参考訳（メタデータ） (2024-06-17T15:13:52Z)
• FATURA: A Multi-Layout Invoice Image Dataset for Document Analysis and Understanding [8.855033708082832]
  本稿では,文書分析と理解の分野における研究者のための重要な資料であるFATURAを紹介する。 FATURAは、マルチアノテーションによる請求書の文書イメージを特徴とする、非常に多様なデータセットである。 各種文書分析・理解タスクの総合的なベンチマークを行い,多様な訓練・評価シナリオ下で実験を行う。
  論文  参考訳（メタデータ） (2023-11-20T15:51:14Z)
• Enhancing Document Information Analysis with Multi-Task Pre-training: A Robust Approach for Information Extraction in Visually-Rich Documents [8.49076413640561]
  モデルは事前訓練され、その後、様々な文書画像解析タスクのために微調整される。 提案されたモデルは、文書分類のためのRVL-CDIPデータセットで95.87%の精度で、すべてのタスクで印象的な結果を得た。
  論文  参考訳（メタデータ） (2023-10-25T10:22:30Z)
• DocumentNet: Bridging the Data Gap in Document Pre-Training [78.01647768018485]
  本稿では,Webから大規模かつ弱いラベル付きデータを収集し,VDERモデルの学習に役立てる手法を提案する。 収集されたデータセットはDocumentNetと呼ばれ、特定のドキュメントタイプやエンティティセットに依存しない。 広く採用されているVDERタスクの実験は、DocumentNetを事前トレーニングに組み込んだ場合、大幅に改善されている。
  論文  参考訳（メタデータ） (2023-06-15T08:21:15Z)
• Document Layout Annotation: Database and Benchmark in the Domain of Public Affairs [62.38140271294419]
  レイアウトラベルの異なるデジタル文書を半自動アノテートする手法を提案する。 スペイン政府から24データソースの集合を用いて,行政領域におけるDLAの新しいデータベースを収集する。 実験の結果,提案したテキストラベリング手順を99%の精度で検証した。
  論文  参考訳（メタデータ） (2023-06-12T08:21:50Z)
• DocILE Benchmark for Document Information Localization and Extraction [7.944448547470927]
  本稿では,鍵情報局所化・抽出・ラインアイテム認識のタスクに対して,ビジネス文書の最大のデータセットを用いたDocILEベンチマークを提案する。 注釈付きビジネス文書6.7k、合成文書100k、教師なし事前訓練のためのラベルなし文書100万近い。
  論文  参考訳（メタデータ） (2023-02-11T11:32:10Z)
• Layout-Aware Information Extraction for Document-Grounded Dialogue: Dataset, Method and Demonstration [75.47708732473586]
  視覚的にリッチな文書から構造的知識と意味的知識の両方を抽出するためのレイアウト対応文書レベル情報抽出データセット(LIE)を提案する。 LIEには製品および公式文書の4,061ページから3つの抽出タスクの62kアノテーションが含まれている。 実験の結果、レイアウトはVRDベースの抽出に不可欠であることが示され、システムデモでは、抽出された知識が、ユーザが関心を持っている答えを見つけるのに役立つことも確認されている。
  論文  参考訳（メタデータ） (2022-07-14T07:59:45Z)
• AQuaMuSe: Automatically Generating Datasets for Query-Based Multi-Document Summarization [17.098075160558576]
  本稿では,質問応答データセットと大規模文書コーパスからqMDS例を自動的に抽出する,AQuaMuSeと呼ばれるスケーラブルな手法を提案する。 5,519のクエリベースの要約を持つAQuaMuSeデータセットの特定のインスタンスを公開し、それぞれがCommon Crawlから355万のドキュメントのインデックスから選択された平均6つの入力ドキュメントを関連づける。
  論文  参考訳（メタデータ） (2020-10-23T22:38:18Z)
• SciREX: A Challenge Dataset for Document-Level Information Extraction [56.83748634747753]
  ドキュメントレベルで大規模な情報抽出データセットを作成するのは難しい。 複数のIEタスクを含む文書レベルのIEデータセットであるSciREXを紹介する。 我々は、従来の最先端のIEモデルをドキュメントレベルのIEに拡張する強力なベースラインとして、ニューラルモデルを開発する。
  論文  参考訳（メタデータ） (2020-05-01T17:30:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。