論文の概要: A Hierarchical Encoding-Decoding Scheme for Abstractive Multi-document Summarization

• arxiv url: http://arxiv.org/abs/2305.08503v2
• Date: Tue, 16 May 2023 00:35:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 10:50:29.662591
• Title: A Hierarchical Encoding-Decoding Scheme for Abstractive Multi-document Summarization
• Title（参考訳）: 抽象的多文書要約のための階層的符号化復号法
• Authors: Chenhui Shen, Liying Cheng, Yang You, Lidong Bing
• Abstract要約: 事前訓練された言語モデル(PLM)は、抽象的な単一文書要約において素晴らしい成果を上げている。 しかし、このような利点は、文書間の相互作用がより複雑である、ミューティ文書要約(MDS)に容易に拡張することはできない。 本稿では,MDSタスクのマルチドキュメントインタラクションを容易にするために,PLMをより活用することを目的とする。
• 参考スコア（独自算出の注目度）: 34.367245532934085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models (PLMs) have accomplished impressive achievements in abstractive single-document summarization (SDS). However, such benefits may not be readily extended to muti-document summarization (MDS), where the interactions among documents are more complex. Previous works either design new architectures or new pre-training objectives for MDS, or apply PLMs to MDS without considering the complex document interactions. While the former does not make full use of previous pre-training efforts and may not generalize well across multiple domains, the latter cannot fully attend to the intricate relationships unique to MDS tasks. In this paper, we enforce hierarchy on both the encoder and decoder and seek to make better use of a PLM to facilitate multi-document interactions for the MDS task. We test our design on 10 MDS datasets across a wide range of domains. Extensive experiments show that our proposed method can achieve consistent improvements on all these datasets, outperforming the previous best models, and even achieving better or competitive results as compared to some models with additional MDS pre-training or larger model parameters.
• Abstract（参考訳）: 事前学習言語モデル(PLM)は、抽象的な単一文書要約(SDS)において素晴らしい成果を上げている。 しかし、そのような利点は、文書間の相互作用がより複雑であるmuti-document summarization(mds)に簡単には拡張できない。 以前の作業では、MDSのための新しいアーキテクチャや新しい事前学習対象を設計するか、複雑なドキュメントの相互作用を考慮せずにPLMをMDSに適用する。 前者は以前の事前訓練をフルに利用せず、複数のドメインにまたがってうまく一般化できないが、後者はmdsタスク特有の複雑な関係に完全には従えない。 本稿では,エンコーダとデコーダの両方に階層構造を適用し,MDSタスクのマルチドキュメントインタラクションを容易にするために,PLMをよりよく活用することを目的とする。 私たちは、幅広いドメインにわたる10のmdsデータセットで設計をテストします。 大規模な実験により,提案手法はこれらのデータセットに対して一貫した改善を達成でき,過去の最高のモデルよりも優れており,MDS事前学習またはより大きなモデルパラメータを付加したモデルと比較して,優れた,あるいは競争的な結果を得ることができることが示された。

関連論文リスト

• TextHawk: Exploring Efficient Fine-Grained Perception of Multimodal Large Language Models [9.232693392690702]
  TextHawkは文書指向マルチモーダル言語モデル(MLLM)である。 4つの専用コンポーネントを設計することで、効率的な微粒化知覚を探索するように設計されている。 汎用MLLMベンチマークと文書指向MLLMベンチマークの両方で広範な実験を行い、TextHawkが最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-14T09:48:37Z)
• Absformer: Transformer-based Model for Unsupervised Multi-Document Abstractive Summarization [1.066048003460524]
  MDS(Multi-document summarization)とは、複数の文書のテキストを簡潔な要約に要約する作業である。 抽象MDSは、自然言語生成技術を用いて、複数の文書の一貫性と流動性を備えた要約を生成することを目的としている。 本稿では、教師なし抽象要約生成のためのトランスフォーマーに基づく新しい手法であるAbsformerを提案する。
  論文  参考訳（メタデータ） (2023-06-07T21:18:23Z)
• Plug-and-Play Document Modules for Pre-trained Models [92.9897146991974]
  PTM用文書プラグイン(PlugD)として,各文書をプラグイン・アンド・プレイ用文書モジュールとして表現することを提案する。 ダウンストリームタスクのためにドキュメントプラグインをバックボーンPTMに挿入することで、ドキュメントを一度エンコードして複数のタスクを処理することができます。 典型的な4つのNLPタスクの8つのデータセットの実験では、PlugDによって、さまざまなシナリオにまたがって、複数のドキュメントをエンコードすることが可能である。
  論文  参考訳（メタデータ） (2023-05-28T08:01:40Z)
• Peek Across: Improving Multi-Document Modeling via Cross-Document Question-Answering [49.85790367128085]
  我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。 この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。 分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
  論文  参考訳（メタデータ） (2023-05-24T17:48:40Z)
• PDSum: Prototype-driven Continuous Summarization of Evolving Multi-document Sets Stream [33.68263291948121]
  我々は,新たな要約問題であるマルチドキュメントセットストリーム要約(EMDS)を提案する。 本稿では,プロトタイプ駆動連続要約のアイデアを取り入れた新しい教師なしアルゴリズムPDSumを紹介する。 PDSumは、各マルチドキュメントセットの軽量プロトタイプを構築し、それを利用して、新しいドキュメントに適応する。
  論文  参考訳（メタデータ） (2023-02-10T23:43:46Z)
• MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are Better Dense Retrievers [140.0479479231558]
  本研究では,様々な事前学習タスクをマルチタスク事前学習モデル(MASTER)に統合することを目的とする。 MASTERは共有エンコーダのマルチデコーダアーキテクチャを利用して、タスク全体にわたる豊富なセマンティック情報を高密度ベクトルに圧縮する表現ボトルネックを構築することができる。
  論文  参考訳（メタデータ） (2022-12-15T13:57:07Z)
• Document-aware Positional Encoding and Linguistic-guided Encoding for Abstractive Multi-document Summarization [12.799359904396624]
  多文書要約における重要な課題の1つは、単一文書要約(SDS)と多文書要約(MDS)を区別する入力文書間の関係を捉えることである。 本稿では,MDS用トランスフォーマーアーキテクチャと融合可能な文書認識位置符号化と言語誘導符号化を提案する。
  論文  参考訳（メタデータ） (2022-09-13T12:22:38Z)
• A Multi-Document Coverage Reward for RELAXed Multi-Document Summarization [11.02198476454955]
  本稿では,MDSの基準値と入力文書のカバレッジのバランスをとる報酬を付与したMDSベースラインの微調整を提案する。 Multi-NewsおよびWCEP MDSデータセットに対する実験結果から、ベースライン上での平均ROUGEスコアが+0.95pp、METEORスコアが+3.17ppと大幅に改善された。
  論文  参考訳（メタデータ） (2022-03-06T07:33:01Z)
• Transfer Learning for Sequence Generation: from Single-source to Multi-source [50.34044254589968]
  そこで本研究では,2段階のファイントゥニング手法を提案する。また,MSGタスクにおいて,より優れた表現を学習するための微細エンコーダを備えた新しいMSGモデルを提案する。 提案手法は,WMT17 APE タスクと WMT14 テストセットを用いたマルチソース翻訳タスクにおいて,新たな最先端結果を実現する。
  論文  参考訳（メタデータ） (2021-05-31T09:12:38Z)
• Data Augmentation for Abstractive Query-Focused Multi-Document Summarization [129.96147867496205]
  2つのQMDSトレーニングデータセットを提示し,2つのデータ拡張手法を用いて構築する。 これらの2つのデータセットは相補的な性質を持ち、すなわちQMDSCNNは実際のサマリを持つが、クエリはシミュレートされる。 組み合わせたデータセット上にエンドツーエンドのニューラルネットワークモデルを構築し、DUCデータセットに最新の転送結果をもたらします。
  論文  参考訳（メタデータ） (2021-03-02T16:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。