論文の概要: Analysis of GraphSum's Attention Weights to Improve the Explainability
of Multi-Document Summarization
- arxiv url: http://arxiv.org/abs/2105.11908v1
- Date: Wed, 19 May 2021 08:18:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-06 08:53:47.569979
- Title: Analysis of GraphSum's Attention Weights to Improve the Explainability
of Multi-Document Summarization
- Title（参考訳）: 複数文書要約の説明性向上のためのグラフサムの注意重みの分析
- Authors: M. Lautaro Hickmann and Fabian Wurzberger and Megi Hoxhalli and Arne
Lochner and Jessica T\"ollich and Ansgar Scherp
- Abstract要約: 現代のマルチドキュメント要約(MDS)手法はトランスフォーマーアーキテクチャに基づいている。
アートサマリーの状態を生成できるが、説明責任は欠如している。
本研究の目的は,グラフベースMDSの注意重み分析による説明可能性の向上である。
- 参考スコア（独自算出の注目度）: 2.626095252463179
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern multi-document summarization (MDS) methods are based on transformer
architectures. They generate state of the art summaries, but lack
explainability. We focus on graph-based transformer models for MDS as they
gained recent popularity. We aim to improve the explainability of the
graph-based MDS by analyzing their attention weights. In a graph-based MDS such
as GraphSum, vertices represent the textual units, while the edges form some
similarity graph over the units. We compare GraphSum's performance utilizing
different textual units, i. e., sentences versus paragraphs, on two news
benchmark datasets, namely WikiSum and MultiNews. Our experiments show that
paragraph-level representations provide the best summarization performance.
Thus, we subsequently focus oAnalysisn analyzing the paragraph-level attention
weights of GraphSum's multi-heads and decoding layers in order to improve the
explainability of a transformer-based MDS model. As a reference metric, we
calculate the ROUGE scores between the input paragraphs and each sentence in
the generated summary, which indicate source origin information via text
similarity. We observe a high correlation between the attention weights and
this reference metric, especially on the the later decoding layers of the
transformer architecture. Finally, we investigate if the generated summaries
follow a pattern of positional bias by extracting which paragraph provided the
most information for each generated summary. Our results show that there is a
high correlation between the position in the summary and the source origin.
- Abstract（参考訳）: 現代のマルチドキュメント要約(MDS)手法はトランスフォーマーアーキテクチャに基づいている。
アートサマリーの状態を生成できるが、説明不可能である。
近年普及しているMDS用のグラフベースのトランスフォーマーモデルに注目した。
本研究の目的は,グラフベースMDSの注意重み分析による説明可能性の向上である。
GraphSumのようなグラフベースのMDSでは、頂点はテキスト単位を表し、エッジはユニット上の類似性グラフを形成する。
WikiSumとMultiNewsという2つのニュースベンチマークデータセット上で,文と段落の異なるテキスト単位を用いたグラフサムの性能を比較した。
実験では,段落レベルの表現が最良要約性能を示している。
そこで本研究では, トランスフォーマーmdsモデルの説明性を向上させるため, グラフサムのマルチヘッドおよびデコード層の段落レベルの注意重み分析に焦点をあてた。
基準指標として、入力された段落と生成された要約文の各文間のROUGEスコアを計算し、テキストの類似性を通じて原点情報を示す。
特にトランスフォーマーアーキテクチャの後のデコード層において,注意重みとこの基準計量との間に高い相関関係が観察された。
最後に, 生成した要約は, それぞれの要約に対して最も情報を提供する段落を抽出することにより, 位置バイアスのパターンに従うかを検討する。
以上の結果から,サマリの位置と原産地との間に高い相関関係が示された。
関連論文リスト
- Compressed Heterogeneous Graph for Abstractive Multi-Document
Summarization [37.53183784486546]
多文書要約(MDS)は、複数の関連文書の要約を生成することを目的としている。
本稿では,エンコーダデコーダアーキテクチャを拡張するMDSモデルであるHGSUMを提案する。
これは、グラフの異なるエッジタイプを考慮しない既存のMDSモデルとは対照的である。
論文 参考訳（メタデータ） (2023-03-12T04:23:54Z) - Scientific Paper Extractive Summarization Enhanced by Citation Graphs [50.19266650000948]
我々は、引用グラフを活用して、異なる設定下での科学的論文の抽出要約を改善することに重点を置いている。
予備的な結果は、単純な教師なしフレームワークであっても、引用グラフが有用であることを示している。
そこで我々は,大規模ラベル付きデータが利用可能である場合のタスクにおいて,より正確な結果を得るために,グラフベースのスーパービジョン・サムライゼーション・モデル(GSS)を提案する。
論文 参考訳（メタデータ） (2022-12-08T11:53:12Z) - FactGraph: Evaluating Factuality in Summarization with Semantic Graph
Representations [114.94628499698096]
文書と要約を構造化された意味表現(MR)に分解するFactGraphを提案する。
MRは、コアセマンティックの概念とその関係を記述し、文書と要約の両方の主要な内容を標準形式で集約し、データの疎結合を減少させる。
事実性を評価するための異なるベンチマークの実験では、FactGraphは以前のアプローチよりも最大15%優れていた。
論文 参考訳（メタデータ） (2022-04-13T16:45:33Z) - Representing Videos as Discriminative Sub-graphs for Action Recognition [165.54738402505194]
ビデオ中の各アクションの識別パターンを表現およびエンコードするためのサブグラフの新たな設計を提案する。
時空グラフとクラスタを各スケールでコンパクトなサブグラフに新たに構築するMUlti-scale Sub-Earn Ling (MUSLE) フレームワークを提案する。
論文 参考訳（メタデータ） (2022-01-11T16:15:25Z) - SgSum: Transforming Multi-document Summarization into Sub-graph
Selection [27.40759123902261]
既存の抽出多文書要約(MDS)手法は、各文を個別にスコアし、一つずつ有能な文を抽出して要約を構成する。
サブグラフ選択問題としてMDSタスクを定式化する新しいMDSフレームワーク(SgSum)を提案する。
我々のモデルは従来のMDS法と比較して、より一貫性があり、情報的な要約を生成できる。
論文 参考訳（メタデータ） (2021-10-25T05:12:10Z) - HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text
Extractive Summarization [57.798070356553936]
HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。
単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
論文 参考訳（メタデータ） (2021-10-12T22:42:31Z) - BASS: Boosting Abstractive Summarization with Unified Semantic Graph [49.48925904426591]
BASSは、統合されたセマンティックグラフに基づく抽象的な要約を促進するためのフレームワークである。
文書表現と要約生成の両方を改善するために,グラフベースのエンコーダデコーダモデルを提案する。
実験結果から,提案アーキテクチャは長期文書および複数文書要約タスクに大幅な改善をもたらすことが示された。
論文 参考訳（メタデータ） (2021-05-25T16:20:48Z) - Leveraging Graph to Improve Abstractive Multi-Document Summarization [50.62418656177642]
我々は、文書のよく知られたグラフ表現を活用することができる、抽象的多文書要約(MDS)モデルを開発する。
本モデルでは,長い文書の要約に欠かせない文書間関係を捉えるために,文書の符号化にグラフを利用する。
また,このモデルでは,要約生成プロセスの導出にグラフを利用することが可能であり,一貫性と簡潔な要約を生成するのに有用である。
論文 参考訳（メタデータ） (2020-05-20T13:39:47Z) - Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven
Cloze Reward [42.925345819778656]
本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。
本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。
その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
論文 参考訳（メタデータ） (2020-05-03T18:23:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。