論文の概要: A Span Extraction Approach for Information Extraction on Visually-Rich
Documents
- arxiv url: http://arxiv.org/abs/2106.00978v1
- Date: Wed, 2 Jun 2021 06:50:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-03 14:30:04.487581
- Title: A Span Extraction Approach for Information Extraction on Visually-Rich
Documents
- Title(参考訳): 視覚リッチ文書情報抽出のためのスパン抽出手法
- Authors: Tuan-Anh D. Nguyen, Hieu M. Vu, Nguyen Hong Son, Minh-Tien Nguyen
- Abstract要約: 視覚豊かな文書(VRD)を事前学習する言語モデルの能力向上のための新しいアプローチを提案する。
まず、クエリベースの新しいIEモデルを導入し、一般的に使用されるシーケンスラベリングアプローチの代わりにスパン抽出の定式化を採用する。
また、文書内の意味的エンティティ間の関係をモデル化することに焦点を当てた新しいトレーニングタスクを提案する。
- 参考スコア(独自算出の注目度): 2.3131309703965135
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Information extraction (IE) from visually-rich documents (VRDs) has achieved
SOTA performance recently thanks to the adaptation of Transformer-based
language models, which demonstrates great potential of pre-training methods. In
this paper, we present a new approach to improve the capability of language
model pre-training on VRDs. Firstly, we introduce a new IE model that is
query-based and employs the span extraction formulation instead of the commonly
used sequence labelling approach. Secondly, to further extend the span
extraction formulation, we propose a new training task which focuses on
modelling the relationships between semantic entities within a document. This
task enables the spans to be extracted recursively and can be used as both a
pre-training objective as well as an IE downstream task. Evaluation on various
datasets of popular business documents (invoices, receipts) shows that our
proposed method can improve the performance of existing models significantly,
while providing a mechanism to accumulate model knowledge from multiple
downstream IE tasks.
- Abstract(参考訳): 近年,トランスフォーマーに基づく言語モデルの適応により,情報抽出(IE)がSOTAの性能を向上し,事前学習手法の可能性を実証している。
本稿では,VRDにおける言語モデル事前学習の能力向上のための新しいアプローチを提案する。
まず、クエリベースの新しいIEモデルを導入し、一般的に使用されるシーケンスラベリングアプローチの代わりにスパン抽出の定式化を採用する。
次に,スパン抽出形式をさらに拡張するために,文書内の意味エンティティ間の関係をモデル化することに焦点を当てた新しい学習タスクを提案する。
このタスクはスパンを再帰的に抽出することができ、トレーニング済みの目的とIEダウンストリームタスクの両方として使用できる。
一般的なビジネス文書(請求書,領収書)の各種データセットの評価から,提案手法は,複数のダウンストリームIEタスクからモデル知識を蓄積する機構を提供しながら,既存のモデルの性能を大幅に向上させることができることを示す。
関連論文リスト
- Structured Entity Extraction Using Large Language Models [54.53348483973769]
大規模言語モデル(LLM)は、構造化されていないテキストから構造化された情報を抽出する上で重要な役割を果たす。
本稿では,構造化エンティティ抽出における現行手法の課題と限界について考察する。
本研究では,LLMのパワーを有効・効率的に活用する新しいモデルを提案する。
論文 参考訳(メタデータ) (2024-02-06T22:15:09Z) - Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。
学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。
提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
論文 参考訳(メタデータ) (2023-12-22T14:40:55Z) - InteractiveIE: Towards Assessing the Strength of Human-AI Collaboration
in Improving the Performance of Information Extraction [48.45550809455558]
文書からテンプレートをベースとした学習情報抽出の性能向上を図るために,対話IE(InteractiveIE)と呼ばれるプロキシをオンザフライで行う方法を提案する。
バイオメディカルおよび法的文書の実験では、トレーニングデータを取得するのが高価であり、AIのみのベースラインよりもInteractiveIEを使用したパフォーマンス改善の奨励的な傾向が明らかにされている。
論文 参考訳(メタデータ) (2023-05-24T02:53:22Z) - Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph
Construction [57.854498238624366]
本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。
RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
論文 参考訳(メタデータ) (2022-10-19T16:40:28Z) - ERNIE-Layout: Layout Knowledge Enhanced Pre-training for Visually-rich
Document Understanding [52.3895498789521]
レイアウト知識を向上した新しい文書事前学習ソリューションであるERNIEを提案する。
まず、直列化段階で入力シーケンスを並べ替え、相関的な事前学習タスクを示し、順序予測を行い、文書の適切な読み順序を学習する。
実験の結果、ERNIEは様々な下流タスクにおいて優れた性能を示し、キー情報に新たな最先端設定、文書質問応答を実現している。
論文 参考訳(メタデータ) (2022-10-12T12:59:24Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - Transformer-Based Approach for Joint Handwriting and Named Entity
Recognition in Historical documents [1.7491858164568674]
本研究は,手書き文書における名前付きエンティティ認識にトランスフォーマネットワークを採用した最初のアプローチを示す。
我々は,Esposalles データベースを用いた ICDAR 2017 Information extract コンペティションにおいて,新しい最先端性能を実現する。
論文 参考訳(メタデータ) (2021-12-08T09:26:21Z) - Incorporating Linguistic Knowledge for Abstractive Multi-document
Summarization [20.572283625521784]
ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。
依存関係情報を言語誘導型注意機構に処理する。
言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
論文 参考訳(メタデータ) (2021-09-23T08:13:35Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳(メタデータ) (2020-10-24T11:55:28Z) - Entity and Evidence Guided Relation Extraction for DocRED [33.69481141963074]
この課題に対して,共同トレーニングフレームワークE2GRE(Entity and Evidence Guided Relation extract)を提案する。
事前訓練された言語モデル(例えばBERT, RoBERTa)への入力としてエンティティ誘導シーケンスを導入する。
これらのエンティティ誘導シーケンスは、事前訓練された言語モデル(LM)がエンティティに関連するドキュメントの領域に集中するのに役立ちます。
我々は最近リリースされた関係抽出のための大規模データセットDocREDに対するE2GREアプローチを評価した。
論文 参考訳(メタデータ) (2020-08-27T17:41:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。