論文の概要: On Automatic Text Extractive Summarization Based on Graph and pre-trained Language Model Attention

• arxiv url: http://arxiv.org/abs/2110.04878v1
• Date: Sun, 10 Oct 2021 18:49:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 11:57:01.485341
• Title: On Automatic Text Extractive Summarization Based on Graph and pre-trained Language Model Attention
• Title（参考訳）: グラフと事前学習言語モデルの注意に基づく自動テキスト抽出要約について
• Authors: Yuan-Ching Lin, Jinwen Ma
• Abstract要約: 本稿では,事前学習言語モデルで生成した注目行列を,グラフ畳み込みネットワークモデルの隣接行列として利用できることを示す。 本モデルでは,ROUGEインデックスに基づく2つの異なるデータセットに対して,競合的な結果を示す。
• 参考スコア（独自算出の注目度）: 15.345289628044005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representing text as graph to solve the summarization task has been discussed for more than 10 years. However, with the development of attention or Transformer, the connection between attention and graph remains poorly understood. We demonstrate that the text structure can be analyzed through the attention matrix, which represents the relation between sentences by the attention weights. In this work, we show that the attention matrix produced in pre-training language model can be used as the adjacent matrix of graph convolutional network model. Our model performs a competitive result on 2 different datasets based on the ROUGE index. Also, with fewer parameters, the model reduces the computation resource when training and inferring.
• Abstract（参考訳）: 要約課題を解決するためにテキストをグラフとして表現することは10年以上にわたって議論されてきた。 しかし、注意やトランスフォーマーが発達するにつれ、注意とグラフのつながりは未だよく分かっていない。 注意重みによって文間の関係を表す注意行列を用いてテキスト構造を解析できることを実証する。 本研究では,事前学習言語モデルで生成された注意行列をグラフ畳み込みネットワークモデルの隣接行列として使用できることを示す。 我々のモデルは、ルージュインデックスに基づいて2つの異なるデータセットで競合結果を得る。 また、パラメータの少ないモデルでは、トレーニングや推論時の計算リソースが削減される。

関連論文リスト

• Graph-Dictionary Signal Model for Sparse Representations of Multivariate Data [49.77103348208835]
  グラフの有限集合がラプラシアンの重み付き和を通してデータ分布の関係を特徴付けるグラフ辞書信号モデルを定義する。 本稿では,観測データからグラフ辞書表現を推論するフレームワークを提案する。 我々は,脳活動データに基づく運動画像復号作業におけるグラフ辞書表現を利用して,従来の手法よりも想像的な動きをよりよく分類する。
  論文  参考訳（メタデータ） (2024-11-08T17:40:43Z)
• Creating generalizable downstream graph models with random projections [22.690120515637854]
  本稿では,グラフ全体にわたってモデルを一般化するグラフ表現学習手法について検討する。 遷移行列の複数のパワーを推定するためにランダムな射影を用いることで、同型不変な特徴の集合を構築することができることを示す。 結果として得られる特徴は、ノードの局所的近傍に関する十分な情報を回復するために使用することができ、他のアプローチと競合する推論を可能にする。
  論文  参考訳（メタデータ） (2023-02-17T14:27:00Z)
• GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
  本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。 提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。 第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
  論文  参考訳（メタデータ） (2022-12-01T11:49:07Z)
• GAP: A Graph-aware Language Model Framework for Knowledge Graph-to-Text Generation [3.593955557310285]
  KG-to-text生成の最近の改善は、微調整タスクの性能を高めるために設計された補助的な事前訓練タスクによるものである。 ここでは、既存の事前学習言語モデルにグラフ認識要素を融合させることで、最先端のモデルより優れ、追加の事前学習タスクによって課されるギャップを埋めることができることを示す。
  論文  参考訳（メタデータ） (2022-04-13T23:53:37Z)
• Joint Graph Learning and Matching for Semantic Feature Correspondence [69.71998282148762]
  本稿では,グラフマッチングを向上するための信頼度の高いグラフ構造を探索するために,GLAMという共用電子グラフ学習とマッチングネットワークを提案する。 提案手法は,3つの人気ビジュアルマッチングベンチマーク (Pascal VOC, Willow Object, SPair-71k) で評価される。 すべてのベンチマークにおいて、従来の最先端のグラフマッチング手法よりも大きなマージンを達成している。
  論文  参考訳（メタデータ） (2021-09-01T08:24:02Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Structural Information Preserving for Graph-to-Text Generation [59.00642847499138]
  グラフ・トゥ・テキスト生成の課題は、入力グラフの意味を保存した文を生成することである。 入力情報を保存するためのモデルとして,より豊かなトレーニング信号を活用することで,この問題に取り組むことを提案する。 グラフからテキストへの生成のための2つのベンチマークに関する実験は、最先端のベースラインに対するアプローチの有効性を示しています。
  論文  参考訳（メタデータ） (2021-02-12T20:09:01Z)
• Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
  局所グラフ構造を符号化する線形化モデルの能力を検討する。 本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。 これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
  論文  参考訳（メタデータ） (2020-12-31T18:17:57Z)
• Inducing Alignment Structure with Gated Graph Attention Networks for Sentence Matching [24.02847802702168]
  本稿では,文マッチングのためのグラフベースの手法を提案する。 文ペアをグラフとして表現し、慎重に設計する。 次に,文マッチングのために構築したグラフを符号化するために,新しいゲートグラフアテンションネットワークを用いる。
  論文  参考訳（メタデータ） (2020-10-15T11:25:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。