論文の概要: DocGraphLM: Documental Graph Language Model for Information Extraction

• arxiv url: http://arxiv.org/abs/2401.02823v1
• Date: Fri, 5 Jan 2024 14:15:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-08 14:49:56.383904
• Title: DocGraphLM: Documental Graph Language Model for Information Extraction
• Title（参考訳）: DocGraphLM:情報抽出のための文書グラフ言語モデル
• Authors: Dongsheng Wang, Zhiqiang Ma, Armineh Nourbakhsh, Kang Gu, Sameena Shah
• Abstract要約: 本稿では,事前学習した言語モデルとグラフセマンティクスを組み合わせたフレームワークDocGraphLMを紹介する。 これを実現するために,1)文書を表す共同エンコーダアーキテクチャを提案し,2)文書グラフを再構築するための新しいリンク予測手法を提案する。 3つのSotAデータセットに対する実験により、IEおよびQAタスクにおける一貫した改善とグラフ機能の導入が示された。
• 参考スコア（独自算出の注目度）: 15.649726614383388
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Advances in Visually Rich Document Understanding (VrDU) have enabled information extraction and question answering over documents with complex layouts. Two tropes of architectures have emerged -- transformer-based models inspired by LLMs, and Graph Neural Networks. In this paper, we introduce DocGraphLM, a novel framework that combines pre-trained language models with graph semantics. To achieve this, we propose 1) a joint encoder architecture to represent documents, and 2) a novel link prediction approach to reconstruct document graphs. DocGraphLM predicts both directions and distances between nodes using a convergent joint loss function that prioritizes neighborhood restoration and downweighs distant node detection. Our experiments on three SotA datasets show consistent improvement on IE and QA tasks with the adoption of graph features. Moreover, we report that adopting the graph features accelerates convergence in the learning process during training, despite being solely constructed through link prediction.
• Abstract（参考訳）: Visually Rich Document Understanding (VrDU)の進歩により、複雑なレイアウトを持つドキュメント上の情報抽出と質問応答が可能になった。 LLMにインスパイアされたトランスフォーマーベースのモデルと、グラフニューラルネットワークという、2つのアーキテクチャのトポロジが現れている。 本稿では,事前学習した言語モデルとグラフ意味論を組み合わせた新しいフレームワークDocGraphLMを紹介する。 これを達成するために 1)文書を表す共同エンコーダアーキテクチャ、及び 2)文書グラフの再構成のための新しいリンク予測手法 DocGraphLMは、近傍の復元を優先し、遠隔ノード検出を下方修正する収束継手損失関数を用いて、ノード間の方向と距離を予測する。 3つのSotAデータセットに対する実験により、IEおよびQAタスクにおける一貫した改善とグラフ機能の導入が示された。 さらに,このグラフ機能の採用は,リンク予測のみによって構築されたにもかかわらず,学習過程の収束を加速する。

関連論文リスト

• Graph Transformer GANs with Graph Masked Modeling for Architectural Layout Generation [153.92387500677023]
  本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。 提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。 また,グラフ表現学習のための自己指導型事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T14:36:38Z)
• Enhancing Visually-Rich Document Understanding via Layout Structure Modeling [91.07963806829237]
  レイアウトの知識をモデルに注入する新しい文書理解モデルであるGraphLMを提案する。 我々は、FUNSD、XFUND、CORDなど様々なベンチマークでモデルを評価し、最先端の結果を得た。
  論文  参考訳（メタデータ） (2023-08-15T13:53:52Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Enhancing Keyphrase Extraction from Long Scientific Documents using Graph Embeddings [9.884735234974967]
  グラフ埋め込みによる言語モデルの強化は、単語のより包括的なセマンティック理解を提供することを示す。 グラフ埋め込みによるPLMの強化は、長い文書の最先端モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T09:44:38Z)
• You Only Transfer What You Share: Intersection-Induced Graph Transfer Learning for Link Prediction [79.15394378571132]
  従来見過ごされていた現象を調査し、多くの場合、元のグラフに対して密に連結された補グラフを見つけることができる。 より密度の高いグラフは、選択的で有意義な知識を伝達するための自然なブリッジを提供する元のグラフとノードを共有することができる。 この設定をグラフインターセクション誘導トランスファーラーニング(GITL)とみなし,eコマースや学術共同オーサシップ予測の実践的応用に動機づけられた。
  論文  参考訳（メタデータ） (2023-02-27T22:56:06Z)
• Augmented Abstractive Summarization With Document-LevelSemantic Graph [3.0272794341021667]
  従来の抽象的手法では、配列からシーケンスへの構造を適用して、モジュールなしで要約を生成する。 セマンティックグラフを用いて生成性能を向上する。 このようなエンティティグラフの情報を活用するために、新しいニューラルデコーダが提示される。
  論文  参考訳（メタデータ） (2021-09-13T15:12:34Z)
• Joint Graph Learning and Matching for Semantic Feature Correspondence [69.71998282148762]
  本稿では,グラフマッチングを向上するための信頼度の高いグラフ構造を探索するために,GLAMという共用電子グラフ学習とマッチングネットワークを提案する。 提案手法は,3つの人気ビジュアルマッチングベンチマーク (Pascal VOC, Willow Object, SPair-71k) で評価される。 すべてのベンチマークにおいて、従来の最先端のグラフマッチング手法よりも大きなマージンを達成している。
  論文  参考訳（メタデータ） (2021-09-01T08:24:02Z)
• A Neural Edge-Editing Approach for Document-Level Relation Graph Extraction [9.449257113935461]
  文書内の関係をエンティティ間の関係グラフとして扱う。 関係グラフは、初期グラフのエッジを編集することによって反復的に構成される。 エッジを編集する方法は、それらをクローズファーストな方法で分類することです。
  論文  参考訳（メタデータ） (2021-06-18T03:46:49Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。