論文の概要: Enhancing Keyphrase Extraction from Long Scientific Documents using
Graph Embeddings
- arxiv url: http://arxiv.org/abs/2305.09316v1
- Date: Tue, 16 May 2023 09:44:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-17 15:27:41.344787
- Title: Enhancing Keyphrase Extraction from Long Scientific Documents using
Graph Embeddings
- Title(参考訳): グラフ埋め込みを用いた長文文書からのキーフレーズ抽出の強化
- Authors: Roberto Mart\'inez-Cruz, Debanjan Mahata, Alvaro J.L\'opez-L\'opez,
Jos\'e Portela
- Abstract要約: グラフ埋め込みによる言語モデルの強化は、単語のより包括的なセマンティック理解を提供することを示す。
グラフ埋め込みによるPLMの強化は、長い文書の最先端モデルよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 9.884735234974967
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this study, we investigate using graph neural network (GNN)
representations to enhance contextualized representations of pre-trained
language models (PLMs) for keyphrase extraction from lengthy documents. We show
that augmenting a PLM with graph embeddings provides a more comprehensive
semantic understanding of words in a document, particularly for long documents.
We construct a co-occurrence graph of the text and embed it using a graph
convolutional network (GCN) trained on the task of edge prediction. We propose
a graph-enhanced sequence tagging architecture that augments contextualized PLM
embeddings with graph representations. Evaluating on benchmark datasets, we
demonstrate that enhancing PLMs with graph embeddings outperforms
state-of-the-art models on long documents, showing significant improvements in
F1 scores across all the datasets. Our study highlights the potential of GNN
representations as a complementary approach to improve PLM performance for
keyphrase extraction from long documents.
- Abstract(参考訳): 本研究では,グラフニューラルネットワーク(GNN)表現を用いて,長文からのキーフレーズ抽出のための事前学習言語モデル(PLM)の文脈化表現を強化する。
グラフ埋め込みによるplmの拡張は、特に長い文書において、文書中の単語をより包括的に意味的に理解する。
エッジ予測のタスクで学習したグラフ畳み込みネットワーク(gcn)を用いて,テキストの共起グラフを構築し,その埋め込みを行う。
グラフ表現を用いた文脈的PLM埋め込みを拡張可能なグラフ拡張シーケンスタギングアーキテクチャを提案する。
ベンチマークデータセットを評価した結果,グラフ埋め込みによるPLMの強化は,長文の最先端モデルよりも優れており,全データセットにおけるF1スコアの大幅な改善が示されている。
本研究は,長文からのキーフレーズ抽出におけるPLM性能向上のための補完的手法として,GNN表現の可能性を強調した。
関連論文リスト
- Empower Text-Attributed Graphs Learning with Large Language Models
(LLMs) [5.920353954082262]
本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。
エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。
実験では、特に低ショットシナリオにおいて、提案したパラダイムの卓越した性能を示す。
論文 参考訳(メタデータ) (2023-10-15T16:04:28Z) - Enhancing Visually-Rich Document Understanding via Layout Structure
Modeling [91.07963806829237]
レイアウトの知識をモデルに注入する新しい文書理解モデルであるGraphLMを提案する。
我々は、FUNSD、XFUND、CORDなど様々なベンチマークでモデルを評価し、最先端の結果を得た。
論文 参考訳(メタデータ) (2023-08-15T13:53:52Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳(メタデータ) (2023-08-03T07:00:04Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - Connecting the Dots: What Graph-Based Text Representations Work Best for
Text Classification Using Graph Neural Networks? [25.898812694174772]
本研究は,テキスト分類のためのグラフ表現手法を幅広く研究する。
各種GNNアーキテクチャとセットアップを用いて,グラフ構築方式を比較した。
2つのTransformerベースの大規模言語モデルもこの研究を補完するために含まれている。
論文 参考訳(メタデータ) (2023-05-23T23:31:24Z) - Scientific Paper Extractive Summarization Enhanced by Citation Graphs [50.19266650000948]
我々は、引用グラフを活用して、異なる設定下での科学的論文の抽出要約を改善することに重点を置いている。
予備的な結果は、単純な教師なしフレームワークであっても、引用グラフが有用であることを示している。
そこで我々は,大規模ラベル付きデータが利用可能である場合のタスクにおいて,より正確な結果を得るために,グラフベースのスーパービジョン・サムライゼーション・モデル(GSS)を提案する。
論文 参考訳(メタデータ) (2022-12-08T11:53:12Z) - Improving Graph-Based Text Representations with Character and Word Level
N-grams [30.699644290131044]
単語と文字n-gramノードを文書ノードと組み合わせた新しい単語文字テキストグラフを提案する。
また、提案したテキストグラフをモデル化するための2つの新しいグラフベースニューラルモデルWCTextGCNとWCTextGATを提案する。
論文 参考訳(メタデータ) (2022-10-12T08:07:54Z) - ME-GCN: Multi-dimensional Edge-Embedded Graph Convolutional Networks for
Semi-supervised Text Classification [6.196387205547024]
本稿では,半教師付きテキスト分類のためのME-GCN (Multi-dimensional Edge-enhanced Graph Convolutional Networks)を提案する。
提案モデルでは,8つのベンチマークデータセット間で最先端の手法を著しく上回っている。
論文 参考訳(メタデータ) (2022-04-10T07:05:12Z) - Improving Image Captioning with Better Use of Captions [65.39641077768488]
本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。
我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。
生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
論文 参考訳(メタデータ) (2020-06-21T14:10:47Z) - Leveraging Graph to Improve Abstractive Multi-Document Summarization [50.62418656177642]
我々は、文書のよく知られたグラフ表現を活用することができる、抽象的多文書要約(MDS)モデルを開発する。
本モデルでは,長い文書の要約に欠かせない文書間関係を捉えるために,文書の符号化にグラフを利用する。
また,このモデルでは,要約生成プロセスの導出にグラフを利用することが可能であり,一貫性と簡潔な要約を生成するのに有用である。
論文 参考訳(メタデータ) (2020-05-20T13:39:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。