論文の概要: Parallel Hierarchical Transformer with Attention Alignment for Abstractive Multi-Document Summarization

• arxiv url: http://arxiv.org/abs/2208.07845v1
• Date: Tue, 16 Aug 2022 17:02:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-17 11:59:18.631957
• Title: Parallel Hierarchical Transformer with Attention Alignment for Abstractive Multi-Document Summarization
• Title（参考訳）: マルチドキュメント要約のための注意アライメント付き並列階層トランス
• Authors: Ye Ma and Lu Zong
• Abstract要約: MDS (Abstractive Multi-Document Summarization) は、その長大かつリンクされたソースの表現とカバレッジに課題をもたらす。 本研究は,MDSのアライメントを考慮した並列階層変換器(PHT)を開発した。
• 参考スコア（独自算出の注目度）: 4.035753155957699
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In comparison to single-document summarization, abstractive Multi-Document Summarization (MDS) brings challenges on the representation and coverage of its lengthy and linked sources. This study develops a Parallel Hierarchical Transformer (PHT) with attention alignment for MDS. By incorporating word- and paragraph-level multi-head attentions, the hierarchical architecture of PHT allows better processing of dependencies at both token and document levels. To guide the decoding towards a better coverage of the source documents, the attention-alignment mechanism is then introduced to calibrate beam search with predicted optimal attention distributions. Based on the WikiSum data, a comprehensive evaluation is conducted to test improvements on MDS by the proposed architecture. By better handling the inner- and cross-document information, results in both ROUGE and human evaluation suggest that our hierarchical model generates summaries of higher quality relative to other Transformer-based baselines at relatively low computational cost.
• Abstract（参考訳）: 単一文書要約と比較して、抽象的多文書要約(MDS)は、その長大かつ関連のあるソースの表現とカバレッジに課題をもたらす。 本研究では,MDSのための並列階層変換器(PHT)を開発した。 単語と段落の多面的注意を取り入れることで、PHTの階層的アーキテクチャはトークンレベルと文書レベルの両方での依存関係のより優れた処理を可能にします。 ソース文書のより優れたカバレッジに向けて復号化を導くために、最適注意分布を予測したビームサーチをキャリブレーションするアテンションアライメント機構を導入する。 wikisumのデータに基づいて、提案アーキテクチャによるmdsの改善をテストするための包括的な評価が行われる。 内部文書情報と横断文書情報をよりよく扱うことにより、ROUGEと人的評価の結果から、我々の階層モデルは比較的低い計算コストでトランスフォーマーベースラインと比較して高い品質の要約を生成することが示唆された。

関連論文リスト

• HDT: Hierarchical Document Transformer [70.2271469410557]
  HDTは補助的なアンカートークンを導入し、アテンション機構をスパースなマルチレベル階層に再設計することでドキュメント構造を利用する。 文書の階層構造を考慮した新しいスパークアテンションカーネルを開発した。
  論文  参考訳（メタデータ） (2024-07-11T09:28:04Z)
• Unsupervised Multi-document Summarization with Holistic Inference [41.58777650517525]
  本稿では,教師なし多文書抽出要約のための新しい総合的枠組みを提案する。 サブセット代表指数(SRI)は、原文からの文のサブセットの重要性と多様性のバランスをとる。 その結果,多文書要約性能の向上には多様性が不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2023-09-08T02:56:30Z)
• Absformer: Transformer-based Model for Unsupervised Multi-Document Abstractive Summarization [1.066048003460524]
  MDS(Multi-document summarization)とは、複数の文書のテキストを簡潔な要約に要約する作業である。 抽象MDSは、自然言語生成技術を用いて、複数の文書の一貫性と流動性を備えた要約を生成することを目的としている。 本稿では、教師なし抽象要約生成のためのトランスフォーマーに基づく新しい手法であるAbsformerを提案する。
  論文  参考訳（メタデータ） (2023-06-07T21:18:23Z)
• Topic-Controllable Summarization: Topic-Aware Evaluation and Transformer Methods [4.211128681972148]
  Topic-controllable summarization(トピック制御可能な要約)は、幅広い潜在的応用を持つ新興の研究分野である。 本研究は,生成した要約を自動的に評価する話題指向評価尺度を提案する。 さらに,強力なトランスフォーマーアーキテクチャを扱うためにトピック埋め込みを適用し,制御トークンによる要約生成を導くための,新しい,効率的なアプローチを提案する。
  論文  参考訳（メタデータ） (2022-06-09T07:28:16Z)
• ACM -- Attribute Conditioning for Abstractive Multi Document Summarization [0.0]
  本稿では,属性条件付きモジュールを組み込んだモデルを提案する。 このアプローチは、ベースラインのマルチドキュメント要約アプローチよりもROUGEスコアが大きく向上することを示している。
  論文  参考訳（メタデータ） (2022-05-09T00:00:14Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Coarse-to-Fine Embedded PatchMatch and Multi-Scale Dynamic Aggregation for Reference-based Super-Resolution [48.093500219958834]
  参照型スーパーリゾリューションのためのAMSA(Accelerated Multi-Scale Aggregation Network)を提案する。 提案したAMSAは,定量評価と定性評価の両面において,最先端の手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-01-12T08:40:23Z)
• PoBRL: Optimizing Multi-Document Summarization by Blending Reinforcement Learning Policies [68.8204255655161]
  マルチドキュメントの要約を解くための強化学習ベースのフレームワーク PoBRL を提案する。 私たちの戦略は、この多対象最適化を、強化学習によって個別に解決できるさまざまなサブ問題に分離します。 実験結果から,複数のマルチドキュメントデータセットにおける最先端の性能を示す。
  論文  参考訳（メタデータ） (2021-05-18T02:55:42Z)
• Data Augmentation for Abstractive Query-Focused Multi-Document Summarization [129.96147867496205]
  2つのQMDSトレーニングデータセットを提示し,2つのデータ拡張手法を用いて構築する。 これらの2つのデータセットは相補的な性質を持ち、すなわちQMDSCNNは実際のサマリを持つが、クエリはシミュレートされる。 組み合わせたデータセット上にエンドツーエンドのニューラルネットワークモデルを構築し、DUCデータセットに最新の転送結果をもたらします。
  論文  参考訳（メタデータ） (2021-03-02T16:57:01Z)
• Document-level Neural Machine Translation with Document Embeddings [82.4684444847092]
  この研究は、複数の形式の文書埋め込みの観点から、詳細な文書レベルのコンテキストを活用することに重点を置いている。 提案する文書認識NMTは,大域的および局所的な文書レベルの手がかりをソース端に導入することにより,Transformerベースラインを強化するために実装されている。
  論文  参考訳（メタデータ） (2020-09-16T19:43:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。