論文の概要: Abstractive Summarization Guided by Latent Hierarchical Document
Structure
- arxiv url: http://arxiv.org/abs/2211.09458v1
- Date: Thu, 17 Nov 2022 11:02:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 16:12:49.091980
- Title: Abstractive Summarization Guided by Latent Hierarchical Document
Structure
- Title(参考訳): 潜在階層型文書構造による抽象的要約
- Authors: Yifu Qiu, Shay B. Cohen
- Abstract要約: 逐次抽象的神経要約器は、入力記事の基盤構造や入力文間の依存関係を使わないことが多い。
本稿では,階層型グラフニューラルネットワーク(HierGNN)を提案する。
実験により、HierGNNはBARTのような強力なシーケンスモデルを改善し、CNN/DMとXSumの平均ROUGE-1/2/Lの0.55と0.75のマージンを持つことを確認した。
- 参考スコア(独自算出の注目度): 28.284926421845533
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sequential abstractive neural summarizers often do not use the underlying
structure in the input article or dependencies between the input sentences.
This structure is essential to integrate and consolidate information from
different parts of the text. To address this shortcoming, we propose a
hierarchy-aware graph neural network (HierGNN) which captures such dependencies
through three main steps: 1) learning a hierarchical document structure through
a latent structure tree learned by a sparse matrix-tree computation; 2)
propagating sentence information over this structure using a novel
message-passing node propagation mechanism to identify salient information; 3)
using graph-level attention to concentrate the decoder on salient information.
Experiments confirm HierGNN improves strong sequence models such as BART, with
a 0.55 and 0.75 margin in average ROUGE-1/2/L for CNN/DM and XSum. Further
human evaluation demonstrates that summaries produced by our model are more
relevant and less redundant than the baselines, into which HierGNN is
incorporated. We also find HierGNN synthesizes summaries by fusing multiple
source sentences more, rather than compressing a single source sentence, and
that it processes long inputs more effectively.
- Abstract(参考訳): 逐次抽象的神経要約器は、入力記事の基盤構造や入力文間の依存関係を使わないことが多い。
この構造は、テキストの異なる部分からの情報の統合と統合に不可欠である。
この欠点に対処するために,階層認識型グラフニューラルネットワーク(hiergnn)を提案する。
1) 疎行列木計算で学習した潜在構造木を通して階層的文書構造を学習すること。
2 この構造上の文章情報を伝達する新規なメッセージ通過ノード伝搬機構により、有能な情報を識別する。
3)グラフレベルの注意を付けて,デコーダをサルエント情報に集中させる。
実験により、HierGNNはBARTのような強力なシーケンスモデルを改善し、CNN/DMとXSumの平均ROUGE-1/2/Lの0.55と0.75のマージンを持つことを確認した。
さらに,HierGNNが組み込まれているベースラインよりも,モデルが生成する要約の方が関連性が高く,冗長性が低いことを示す。
また、HierGNNは、単一のソース文を圧縮するのではなく、複数のソース文を融合させて要約を合成し、長い入力をより効率的に処理する。
関連論文リスト
- Prompt Based Tri-Channel Graph Convolution Neural Network for Aspect
Sentiment Triplet Extraction [63.0205418944714]
Aspect Sentiment Triplet extract (ASTE)は、ある文の三つ子を抽出する新しいタスクである。
近年の研究では、単語関係を二次元テーブルにエンコードするテーブル充填パラダイムを用いてこの問題に対処する傾向にある。
本稿では, 関係表をグラフに変換し, より包括的な関係情報を探索する, Prompt-based Tri-Channel Graph Convolution Neural Network (PT-GCN) と呼ばれるASTEタスクの新しいモデルを提案する。
論文 参考訳(メタデータ) (2023-12-18T12:46:09Z) - HiStruct+: Improving Extractive Text Summarization with Hierarchical
Structure Information [0.6443952406204634]
本稿では,階層構造情報を抽出要約モデルに明示的に記述,抽出,エンコード,注入する新しい手法を提案する。
3つのデータセット(CNN/DailyMail、PubMed、arXivなど)のさまざまな実験的な設定を使用して、HiStruct+モデルは、一括して強力なベースラインをパフォーマンスします。
論文 参考訳(メタデータ) (2022-03-17T21:49:26Z) - Incorporating Constituent Syntax for Coreference Resolution [50.71868417008133]
本稿では,構成構文構造をグラフベースで組み込む手法を提案する。
また、高次近傍情報を利用して構成木に富んだ構造をエンコードすることも検討する。
on the English and Chinese parts of OntoNotes 5.0 benchmark shows that our proposed model beats a strong baseline or a new-of-the-art performance。
論文 参考訳(メタデータ) (2022-02-22T07:40:42Z) - TextRGNN: Residual Graph Neural Networks for Text Classification [13.912147013558846]
TextRGNNは改良されたGNN構造であり、畳み込みネットワークの深さを深くする残差接続を導入している。
我々の構造はより広いノード受容場を得ることができ、ノード特徴の過度な平滑化を効果的に抑制できる。
コーパスレベルであれテキストレベルであれ、分類精度を大幅に向上させ、幅広いテキスト分類データセット上でSOTA性能を達成することができる。
論文 参考訳(メタデータ) (2021-12-30T13:48:58Z) - Sparse Structure Learning via Graph Neural Networks for Inductive
Document Classification [2.064612766965483]
帰納的文書分類のための新しいGNNに基づくスパース構造学習モデルを提案する。
本モデルでは,文間の不連続な単語を接続する訓練可能なエッジの集合を収集し,動的文脈依存性を持つエッジを疎結合に選択するために構造学習を用いる。
いくつかの実世界のデータセットの実験では、提案されたモデルがほとんどの最先端の結果より優れていることが示されている。
論文 参考訳(メタデータ) (2021-12-13T02:36:04Z) - Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text
Generation [56.73834525802723]
軽量な動的グラフ畳み込みネットワーク (LDGCN) を提案する。
LDGCNは入力グラフから高次情報を合成することにより、よりリッチな非局所的な相互作用をキャプチャする。
我々は,グループグラフの畳み込みと重み付き畳み込みに基づく2つの新しいパラメータ保存戦略を開発し,メモリ使用量とモデル複雑性を低減する。
論文 参考訳(メタデータ) (2020-10-09T06:03:46Z) - Structure-Augmented Text Representation Learning for Efficient Knowledge
Graph Completion [53.31911669146451]
人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。
これらのグラフは通常不完全であり、自動補完を促す。
グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。
テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
論文 参考訳(メタデータ) (2020-04-30T13:50:34Z) - Heterogeneous Graph Neural Networks for Extractive Document
Summarization [101.17980994606836]
クロス文関係は、抽出文書要約における重要なステップである。
We present a graph-based neural network for extractive summarization (HeterSumGraph)
抽出文書要約のためのグラフベースニューラルネットワークに異なる種類のノードを導入する。
論文 参考訳(メタデータ) (2020-04-26T14:38:11Z) - Improved Code Summarization via a Graph Neural Network [96.03715569092523]
一般に、ソースコード要約技術はソースコードを入力として使用し、自然言語記述を出力する。
これらの要約を生成するために、ASTのデフォルト構造によくマッチするグラフベースのニューラルアーキテクチャを使用するアプローチを提案する。
論文 参考訳(メタデータ) (2020-04-06T17:36:42Z) - Selective Attention Encoders by Syntactic Graph Convolutional Networks
for Document Summarization [21.351111598564987]
本稿では,文書中の文から解析木を接続するグラフを提案し,文書の構文表現を学習するために重ねられたグラフ畳み込みネットワーク(GCN)を利用する。
提案したGCNによる選択的アテンションアプローチは,ベースラインよりも優れ,データセット上での最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2020-03-18T01:30:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。