論文の概要: Enhancing Keyphrase Extraction from Long Scientific Documents using Graph Embeddings

• arxiv url: http://arxiv.org/abs/2305.09316v1
• Date: Tue, 16 May 2023 09:44:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 15:27:41.344787
• Title: Enhancing Keyphrase Extraction from Long Scientific Documents using Graph Embeddings
• Title（参考訳）: グラフ埋め込みを用いた長文文書からのキーフレーズ抽出の強化
• Authors: Roberto Mart\'inez-Cruz, Debanjan Mahata, Alvaro J.L\'opez-L\'opez, Jos\'e Portela
• Abstract要約: グラフ埋め込みによる言語モデルの強化は、単語のより包括的なセマンティック理解を提供することを示す。 グラフ埋め込みによるPLMの強化は、長い文書の最先端モデルよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 9.884735234974967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this study, we investigate using graph neural network (GNN) representations to enhance contextualized representations of pre-trained language models (PLMs) for keyphrase extraction from lengthy documents. We show that augmenting a PLM with graph embeddings provides a more comprehensive semantic understanding of words in a document, particularly for long documents. We construct a co-occurrence graph of the text and embed it using a graph convolutional network (GCN) trained on the task of edge prediction. We propose a graph-enhanced sequence tagging architecture that augments contextualized PLM embeddings with graph representations. Evaluating on benchmark datasets, we demonstrate that enhancing PLMs with graph embeddings outperforms state-of-the-art models on long documents, showing significant improvements in F1 scores across all the datasets. Our study highlights the potential of GNN representations as a complementary approach to improve PLM performance for keyphrase extraction from long documents.
• Abstract（参考訳）: 本研究では,グラフニューラルネットワーク(GNN)表現を用いて,長文からのキーフレーズ抽出のための事前学習言語モデル(PLM)の文脈化表現を強化する。 グラフ埋め込みによるplmの拡張は、特に長い文書において、文書中の単語をより包括的に意味的に理解する。 エッジ予測のタスクで学習したグラフ畳み込みネットワーク(gcn)を用いて,テキストの共起グラフを構築し,その埋め込みを行う。 グラフ表現を用いた文脈的PLM埋め込みを拡張可能なグラフ拡張シーケンスタギングアーキテクチャを提案する。 ベンチマークデータセットを評価した結果,グラフ埋め込みによるPLMの強化は,長文の最先端モデルよりも優れており,全データセットにおけるF1スコアの大幅な改善が示されている。 本研究は,長文からのキーフレーズ抽出におけるPLM性能向上のための補完的手法として,GNN表現の可能性を強調した。

関連論文リスト

• Scalable Weibull Graph Attention Autoencoder for Modeling Document Networks [50.42343781348247]
  解析条件後部を解析し,推論精度を向上させるグラフポアソン因子分析法(GPFA)を開発した。 また,GPFAを多層構造に拡張したグラフPoisson gamma belief Network (GPGBN) を用いて,階層的な文書関係を複数の意味レベルで捉える。 本モデルでは,高品質な階層型文書表現を抽出し,様々なグラフ解析タスクにおいて有望な性能を実現する。
  論文  参考訳（メタデータ） (2024-10-13T02:22:14Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Empower Text-Attributed Graphs Learning with Large Language Models (LLMs) [5.920353954082262]
  本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。 エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。 実験では、特に低ショットシナリオにおいて、提案したパラダイムの卓越した性能を示す。
  論文  参考訳（メタデータ） (2023-10-15T16:04:28Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• Connecting the Dots: What Graph-Based Text Representations Work Best for Text Classification Using Graph Neural Networks? [25.898812694174772]
  本研究は,テキスト分類のためのグラフ表現手法を幅広く研究する。 各種GNNアーキテクチャとセットアップを用いて,グラフ構築方式を比較した。 2つのTransformerベースの大規模言語モデルもこの研究を補完するために含まれている。
  論文  参考訳（メタデータ） (2023-05-23T23:31:24Z)
• Scientific Paper Extractive Summarization Enhanced by Citation Graphs [50.19266650000948]
  我々は、引用グラフを活用して、異なる設定下での科学的論文の抽出要約を改善することに重点を置いている。 予備的な結果は、単純な教師なしフレームワークであっても、引用グラフが有用であることを示している。 そこで我々は,大規模ラベル付きデータが利用可能である場合のタスクにおいて,より正確な結果を得るために,グラフベースのスーパービジョン・サムライゼーション・モデル(GSS)を提案する。
  論文  参考訳（メタデータ） (2022-12-08T11:53:12Z)
• Improving Graph-Based Text Representations with Character and Word Level N-grams [30.699644290131044]
  単語と文字n-gramノードを文書ノードと組み合わせた新しい単語文字テキストグラフを提案する。 また、提案したテキストグラフをモデル化するための2つの新しいグラフベースニューラルモデルWCTextGCNとWCTextGATを提案する。
  論文  参考訳（メタデータ） (2022-10-12T08:07:54Z)
• ME-GCN: Multi-dimensional Edge-Embedded Graph Convolutional Networks for Semi-supervised Text Classification [6.196387205547024]
  本稿では,半教師付きテキスト分類のためのME-GCN (Multi-dimensional Edge-enhanced Graph Convolutional Networks)を提案する。 提案モデルでは,8つのベンチマークデータセット間で最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-04-10T07:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。