論文の概要: End-to-End Document Classification and Key Information Extraction using
Assignment Optimization
- arxiv url: http://arxiv.org/abs/2306.00750v1
- Date: Thu, 1 Jun 2023 14:45:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 15:36:55.606879
- Title: End-to-End Document Classification and Key Information Extraction using
Assignment Optimization
- Title(参考訳): 割り当て最適化を用いたエンドツーエンド文書分類と鍵情報抽出
- Authors: Ciaran Cooney, Joana Cavadas, Liam Madigan, Bradley Savage, Rachel
Heyburn and Mairead O'Cuinn
- Abstract要約: 本稿では,フォームの文書分類とキー情報抽出を提案する。
テンプレートからの既知の情報を利用して、フォームからKIEを強化する。
提案手法は,ノイズの多いスキャンフォームの社内データセット上で検証される。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose end-to-end document classification and key information extraction
(KIE) for automating document processing in forms. Through accurate document
classification we harness known information from templates to enhance KIE from
forms. We use text and layout encoding with a cosine similarity measure to
classify visually-similar documents. We then demonstrate a novel application of
mixed integer programming by using assignment optimization to extract key
information from documents. Our approach is validated on an in-house dataset of
noisy scanned forms. The best performing document classification approach
achieved 0.97 f1 score. A mean f1 score of 0.94 for the KIE task suggests there
is significant potential in applying optimization techniques. Abation results
show that the method relies on document preprocessing techniques to mitigate
Type II errors and achieve optimal performance.
- Abstract(参考訳): 本稿では,文書処理を形式的に自動化するための文書分類と鍵情報抽出(KIE)を提案する。
正確な文書分類を通じて、テンプレートからの既知の情報を利用して、フォームからKIEを強化する。
視覚的に類似した文書の分類には,コサイン類似度尺度を用いたテキストおよびレイアウト符号化を用いる。
次に,文書から鍵情報を抽出するために代入最適化を用いた混合整数プログラミングの新たな応用例を示す。
提案手法は,ノイズの多いスキャンフォームの社内データセット上で検証される。
最高の文書分類手法は0.97 f1のスコアを得た。
KIE タスクの平均 f1 スコアは 0.94 であり、最適化手法の適用には大きな可能性を示唆している。
その結果,本手法はII型エラーを軽減し,最適な性能を実現するために,文書前処理技術に依存していることがわかった。
関連論文リスト
- Contextual Document Embeddings [77.22328616983417]
本稿では,コンテキスト化された文書埋め込みのための2つの補完手法を提案する。
第一に、文書近傍を明示的にバッチ内コンテキスト損失に組み込む別のコントラスト学習目標である。
第二に、隣接する文書情報をエンコードされた表現に明示的にエンコードする新しいコンテキストアーキテクチャ。
論文 参考訳(メタデータ) (2024-10-03T14:33:34Z) - Unifying Multimodal Retrieval via Document Screenshot Embedding [92.03571344075607]
Document Screenshot Embedding (DSE)は、文書のスクリーンショットを統一的な入力フォーマットとして扱う新しい検索パラダイムである。
まず、Wiki-SSというウィキペディアのウェブページのスクリーンショットをコーパスとして作成し、Natural Questionsデータセットからの質問に答える。
例えば、DSEは、BM25をトップ1検索精度で17ポイント上回り、さらにスライド検索の混合モダリティタスクでは、nDCG@10で15ポイント以上OCRテキスト検索手法を著しく上回ります。
論文 参考訳(メタデータ) (2024-06-17T06:27:35Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳(メタデータ) (2022-04-12T03:49:35Z) - CODER: An efficient framework for improving retrieval through
COntextualized Document Embedding Reranking [11.635294568328625]
本稿では,最小計算コストで広範囲の検索モデルの性能を向上させるためのフレームワークを提案する。
ベース密度検索法により抽出された事前計算された文書表現を利用する。
実行時に第一段階のメソッドの上に無視可能な計算オーバーヘッドを発生させ、最先端の高密度検索手法と簡単に組み合わせられるようにする。
論文 参考訳(メタデータ) (2021-12-16T10:25:26Z) - Value Retrieval with Arbitrary Queries for Form-like Documents [50.5532781148902]
フォーム状文書に対する任意のクエリを用いた値検索を提案する。
本手法は,フォームのレイアウトやセマンティクスの理解に基づいて,任意のクエリのターゲット値を予測する。
本稿では,大規模モデル事前学習における文書理解を改善するためのシンプルな文書言語モデリング (simpleDLM) 戦略を提案する。
論文 参考訳(メタデータ) (2021-12-15T01:12:02Z) - One-shot Key Information Extraction from Document with Deep Partial
Graph Matching [60.48651298832829]
ドキュメントからキー情報抽出(KIE)は、多くの産業シナリオにおいて効率、生産性、セキュリティを改善する。
KIEタスクのための既存の教師付き学習手法は、多数のラベル付きサンプルを供給し、異なる種類の文書の別々のモデルを学ぶ必要がある。
部分グラフマッチングを用いたワンショットKIEのためのディープエンド・ツー・エンド・トレーニング可能なネットワークを提案する。
論文 参考訳(メタデータ) (2021-09-26T07:45:53Z) - Integrating Semantics and Neighborhood Information with Graph-Driven
Generative Models for Document Retrieval [51.823187647843945]
本稿では,周辺情報をグラフ誘導ガウス分布でエンコードし,その2種類の情報をグラフ駆動生成モデルと統合することを提案する。
この近似の下では、トレーニング対象がシングルトンまたはペアワイズ文書のみを含む用語に分解可能であることを証明し、モデルが非関連文書と同じくらい効率的にトレーニングできることを示す。
論文 参考訳(メタデータ) (2021-05-27T11:29:03Z) - Automating Document Classification with Distant Supervision to Increase
the Efficiency of Systematic Reviews [18.33687903724145]
体系的なレビューは高価で、時間的需要があり、労働集約的です。
文書のレビュー作業を大幅に削減するための自動文書分類アプローチを提案します。
論文 参考訳(メタデータ) (2020-12-09T22:45:40Z) - OCR Graph Features for Manipulation Detection in Documents [11.193867567895353]
OCR(Optical Character Recognition)を用いたグラフ特徴量を利用したモデルを提案する。
本モデルは,OCR特徴量に基づいてランダムな森林分類器を訓練することにより,変化を検出するためのデータ駆動型手法に依存している。
我々は,本アルゴリズムの偽造検出性能を,若干の偽造不完全な実業務文書から構築したデータセット上で評価した。
論文 参考訳(メタデータ) (2020-09-10T21:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。