論文の概要: Learning from similarity and information extraction from structured documents

• arxiv url: http://arxiv.org/abs/2011.07964v2
• Date: Sat, 13 Mar 2021 21:36:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 11:39:46.166905
• Title: Learning from similarity and information extraction from structured documents
• Title（参考訳）: 構造文書からの類似性と情報抽出からの学習
• Authors: Martin Hole\v{c}ek
• Abstract要約: 目的は、巨大な実世界の文書データセット上で、単語ごとの分類のマイクロF1を改善することである。 結果は、提案されたアーキテクチャ部品がすべて、以前の結果を上回るために必要であることを確認した。 最高のモデルは、F1スコアの8.25利得によって、前の最先端結果を改善する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The automation of document processing is gaining recent attention due to the great potential to reduce manual work through improved methods and hardware. Neural networks have been successfully applied before - even though they have been trained only on relatively small datasets with hundreds of documents so far. To successfully explore deep learning techniques and improve the information extraction results, a dataset with more than twenty-five thousand documents has been compiled, anonymized and is published as a part of this work. We will expand our previous work where we proved that convolutions, graph convolutions and self-attention can work together and exploit all the information present in a structured document. Taking the fully trainable method one step further, we will now design and examine various approaches to using siamese networks, concepts of similarity, one-shot learning and context/memory awareness. The aim is to improve micro F1 of per-word classification on the huge real-world document dataset. The results verify the hypothesis that trainable access to a similar (yet still different) page together with its already known target information improves the information extraction. Furthermore, the experiments confirm that all proposed architecture parts are all required to beat the previous results. The best model improves the previous state-of-the-art results by an 8.25 gain in F1 score. Qualitative analysis is provided to verify that the new model performs better for all target classes. Additionally, multiple structural observations about the causes of the underperformance of some architectures are revealed. All the source codes, parameters and implementation details are published together with the dataset in the hope to push the research boundaries since all the techniques used in this work are not problem-specific and can be generalized for other tasks and contexts.
• Abstract（参考訳）: ドキュメント処理の自動化は、メソッドやハードウェアの改善による手作業の削減という大きな可能性から、近年注目を集めている。 ニューラルネットワークは、何百ものドキュメントを持つ比較的小さなデータセットでのみトレーニングされているにもかかわらず、これまではうまく適用されてきた。 深層学習技術を探究し、情報抽出結果を改善するために、25万以上の文書からなるデータセットがコンパイルされ、匿名化され、この研究の一部として公開されている。 コンボリューション、グラフの畳み込み、自己注意が一緒に機能し、構造化ドキュメントに存在するすべての情報を活用できることを証明した、これまでの作業を拡張します。 完全トレーニング可能な手法をさらに進めて,シアムネットワークの利用,類似性の概念,ワンショット学習,コンテキスト/意識の認識など,さまざまなアプローチを設計,検討する。 目標は、巨大な実世界のドキュメントデータセットで単語単位の分類のマイクロf1を改善することである。 その結果、トレーニング可能な(まだ異なる)ページへのアクセスと、すでに知られているターゲット情報との仮説が、情報抽出を改善する。 さらに、実験により、提案するアーキテクチャ部品はすべて、以前の結果に打ち勝つために必要であることが確認された。 最良のモデルは、以前の最先端の結果を8.25のf1スコアで改善する。 定性解析は、新しいモデルがすべてのターゲットクラスに対してより良く機能することを検証するために提供される。 さらに、いくつかの建築の過大な性能の原因に関する複数の構造的観察が明らかにされている。 ソースコード、パラメータ、実装の詳細はすべてデータセットと一緒に公開され、この作業で使用されるすべてのテクニックは問題固有のものではなく、他のタスクやコンテキストに一般化できるため、研究の境界を押し上げることを望んでいる。

関連論文リスト

• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• Unveiling Document Structures with YOLOv5 Layout Detection [0.0]
  本研究では,文書レイアウトの迅速同定と非構造化データの抽出を目的とした,最先端コンピュータビジョンモデルYOLOv5の利用について検討する。 主な目的は、文書レイアウトを効果的に認識し、構造化されていないデータを抽出できる自律システムを作ることである。
  論文  参考訳（メタデータ） (2023-09-29T07:45:10Z)
• Interactive Distillation of Large Single-Topic Corpora of Scientific Papers [1.2954493726326113]
  より堅牢だが時間を要するアプローチは、主題の専門家が文書を手書きするデータセットを構成的に構築することである。 ここでは,学術文献のターゲットデータセットを構築的に生成するための,機械学習に基づく新しいツールを紹介する。
  論文  参考訳（メタデータ） (2023-09-19T17:18:36Z)
• Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking [56.80065604034095]
  我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。 異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
  論文  参考訳（メタデータ） (2022-10-19T16:19:37Z)
• ERNIE-Layout: Layout Knowledge Enhanced Pre-training for Visually-rich Document Understanding [52.3895498789521]
  レイアウト知識を向上した新しい文書事前学習ソリューションであるERNIEを提案する。 まず、直列化段階で入力シーケンスを並べ替え、相関的な事前学習タスクを示し、順序予測を行い、文書の適切な読み順序を学習する。 実験の結果、ERNIEは様々な下流タスクにおいて優れた性能を示し、キー情報に新たな最先端設定、文書質問応答を実現している。
  論文  参考訳（メタデータ） (2022-10-12T12:59:24Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• One-shot Key Information Extraction from Document with Deep Partial Graph Matching [60.48651298832829]
  ドキュメントからキー情報抽出(KIE)は、多くの産業シナリオにおいて効率、生産性、セキュリティを改善する。 KIEタスクのための既存の教師付き学習手法は、多数のラベル付きサンプルを供給し、異なる種類の文書の別々のモデルを学ぶ必要がある。 部分グラフマッチングを用いたワンショットKIEのためのディープエンド・ツー・エンド・トレーニング可能なネットワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T07:45:53Z)
• Integrating Semantics and Neighborhood Information with Graph-Driven Generative Models for Document Retrieval [51.823187647843945]
  本稿では,周辺情報をグラフ誘導ガウス分布でエンコードし,その2種類の情報をグラフ駆動生成モデルと統合することを提案する。 この近似の下では、トレーニング対象がシングルトンまたはペアワイズ文書のみを含む用語に分解可能であることを証明し、モデルが非関連文書と同じくらい効率的にトレーニングできることを示す。
  論文  参考訳（メタデータ） (2021-05-27T11:29:03Z)
• Vision-Based Layout Detection from Scientific Literature using Recurrent Convolutional Neural Networks [12.221478896815292]
  本稿では,オブジェクト認識と分類のための畳み込みニューラルネットワークを科学的文献レイアウト検出(SLLD)に適用するためのアプローチを提案する。 SLLDは、いくつかの情報抽出問題の共有サブタスクである。 その結果,事前学習ベースネットワークの微調整による改善が得られた。
  論文  参考訳（メタデータ） (2020-10-18T23:50:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。