論文の概要: DocumentNet: Bridging the Data Gap in Document Pre-Training

• arxiv url: http://arxiv.org/abs/2306.08937v3
• Date: Thu, 26 Oct 2023 16:23:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-28 05:02:46.314424
• Title: DocumentNet: Bridging the Data Gap in Document Pre-Training
• Title（参考訳）: documentnet: ドキュメント事前トレーニングにおけるデータギャップの橋渡し
• Authors: Lijun Yu, Jin Miao, Xiaoyu Sun, Jiayi Chen, Alexander G. Hauptmann, Hanjun Dai, Wei Wei
• Abstract要約: 本稿では,Webから大規模かつ弱いラベル付きデータを収集し,VDERモデルの学習に役立てる手法を提案する。 収集されたデータセットはDocumentNetと呼ばれ、特定のドキュメントタイプやエンティティセットに依存しない。 広く採用されているVDERタスクの実験は、DocumentNetを事前トレーニングに組み込んだ場合、大幅に改善されている。
• 参考スコア（独自算出の注目度）: 78.01647768018485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Document understanding tasks, in particular, Visually-rich Document Entity Retrieval (VDER), have gained significant attention in recent years thanks to their broad applications in enterprise AI. However, publicly available data have been scarce for these tasks due to strict privacy constraints and high annotation costs. To make things worse, the non-overlapping entity spaces from different datasets hinder the knowledge transfer between document types. In this paper, we propose a method to collect massive-scale and weakly labeled data from the web to benefit the training of VDER models. The collected dataset, named DocumentNet, does not depend on specific document types or entity sets, making it universally applicable to all VDER tasks. The current DocumentNet consists of 30M documents spanning nearly 400 document types organized in a four-level ontology. Experiments on a set of broadly adopted VDER tasks show significant improvements when DocumentNet is incorporated into the pre-training for both classic and few-shot learning settings. With the recent emergence of large language models (LLMs), DocumentNet provides a large data source to extend their multi-modal capabilities for VDER.
• Abstract（参考訳）: ドキュメント理解タスク、特に、Visually-rich Document Entity Retrieval (VDER)は、エンタープライズAIにおける幅広い応用のおかげで、近年大きな注目を集めている。 しかし、プライバシーの厳格な制約と高いアノテーションコストのために、これらのタスクでは公開データが不足している。 さらに悪いことに、異なるデータセットからの重複しないエンティティ空間は、ドキュメントタイプ間の知識転送を妨げる。 本稿では,VDERモデルの学習を支援するため,Webから大規模かつ弱いラベル付きデータを収集する手法を提案する。 DocumentNetという名前の収集データセットは、特定のドキュメントタイプやエンティティセットに依存しないので、すべてのVDERタスクに普遍的に適用できます。 現在のDocumentNetは、400近いドキュメントタイプを4レベルオントロジーでまとめた3000万のドキュメントで構成されている。 広く採用されているVDERタスクの実験は、DocumentNetが古典的および数ショットの学習設定の事前トレーニングに組み込まれたときに、大幅に改善されている。 最近の large language model (llms) の登場により、documentnet は vder のマルチモーダル機能を拡張するために大きなデータソースを提供する。

関連論文リスト

• DocKD: Knowledge Distillation from LLMs for Open-World Document Understanding Models [66.91204604417912]
  本研究の目的は,LLMの知識を蒸留することにより,小型VDUモデルの一般化性を高めることである。 我々は、外部文書知識を統合することでデータ生成プロセスを強化する新しいフレームワーク(DocKD)を提案する。 実験の結果,DocKDは高品質な文書アノテーションを生成し,直接知識蒸留手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2024-10-04T00:53:32Z)
• BuDDIE: A Business Document Dataset for Multi-task Information Extraction [18.440587946049845]
  BuDDIEは、1,665の現実世界のビジネスドキュメントのマルチタスクデータセットである。 当社のデータセットは、米国政府のウェブサイトから公開されているビジネスエンティティドキュメントで構成されています。
  論文  参考訳（メタデータ） (2024-04-05T10:26:42Z)
• On Task-personalized Multimodal Few-shot Learning for Visually-rich Document Entity Retrieval [59.25292920967197]
  VDER(Few-shot document entity search)は、NLPアプリケーションにおいて重要なトピックである。 FewVEXは、エンティティレベルの少数ショットVDERの分野における将来の研究を促進するための、新しいデータセットである。 本稿では,タスクパーソナライズを効果的に実現することを中心に,タスク認識型メタラーニングベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-01T17:51:43Z)
• PDFTriage: Question Answering over Long, Structured Documents [60.96667912964659]
  構造化文書をプレーンテキストとして表現することは、これらの文書をリッチな構造でユーザ精神モデルと矛盾する。 本稿では,構造や内容に基づいて,モデルがコンテキストを検索できるPDFTriageを提案する。 ベンチマークデータセットは,80以上の構造化文書に900以上の人間が生成した質問からなる。
  論文  参考訳（メタデータ） (2023-09-16T04:29:05Z)
• IncDSI: Incrementally Updatable Document Retrieval [35.5697863674097]
  IncDSIは、データセット全体のモデルをトレーニングすることなく、リアルタイムでドキュメントを追加する方法である。 我々は、制約付き最適化問題として文書の追加を定式化し、ネットワークパラメータの変更を最小限に抑える。 私たちのアプローチは、データセット全体のモデルの再トレーニングと競合しています。
  論文  参考訳（メタデータ） (2023-07-19T07:20:30Z)
• Unified Pretraining Framework for Document Understanding [52.224359498792836]
  文書理解のための統合事前学習フレームワークであるUDocを紹介する。 UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。 UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
  論文  参考訳（メタデータ） (2022-04-22T21:47:04Z)
• Timestamping Documents and Beliefs [1.4467794332678539]
  文書デートは、文書の時間構造に関する推論を必要とする難しい問題である。 本稿では,グラフ畳み込みネットワーク(GCN)に基づく文書年代測定手法であるNeuralDaterを提案する。 また,注意に基づく文書デートシステムであるAD3: Attentive Deep Document Daterを提案する。
  論文  参考訳（メタデータ） (2021-06-09T02:12:18Z)
• Identifying Documents In-Scope of a Collection from Web Archives [37.34941845795198]
  本研究では,機械学習モデルと深層学習モデルの両方と,文書全体や文書の特定部分から抽出した"言葉の袋"(BoW)の特徴について検討する。 評価は3つの異なるWebアーカイブから作成した3つのデータセットに焦点をあてる。 実験の結果,文書の特定の部分のみに焦点をあてたBoW分類器は,全3つのデータセットで比較した手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-09-02T16:22:23Z)
• SciREX: A Challenge Dataset for Document-Level Information Extraction [56.83748634747753]
  ドキュメントレベルで大規模な情報抽出データセットを作成するのは難しい。 複数のIEタスクを含む文書レベルのIEデータセットであるSciREXを紹介する。 我々は、従来の最先端のIEモデルをドキュメントレベルのIEに拡張する強力なベースラインとして、ニューラルモデルを開発する。
  論文  参考訳（メタデータ） (2020-05-01T17:30:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。