論文の概要: A Hierarchical Encoding-Decoding Scheme for Abstractive Multi-document Summarization

• arxiv url: http://arxiv.org/abs/2305.08503v4
• Date: Fri, 20 Oct 2023 03:49:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 08:42:58.777479
• Title: A Hierarchical Encoding-Decoding Scheme for Abstractive Multi-document Summarization
• Title（参考訳）: 抽象的多文書要約のための階層的符号化復号法
• Authors: Chenhui Shen, Liying Cheng, Xuan-Phi Nguyen, Yang You, Lidong Bing
• Abstract要約: 事前学習言語モデル(PLM)は、抽象的な単一文書要約(SDS)において優れた成果を上げている。 本稿では,多文書要約(MDS)タスクにおける多文書間相互作用を容易にするために,PLMをよりよく活用する手法を提案する。 提案手法は, 最大3ルージュLのPLMバックボーンよりも優れており, 人間に好まれる。
• 参考スコア（独自算出の注目度）: 66.08074487429477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models (PLMs) have achieved outstanding achievements in abstractive single-document summarization (SDS). However, such benefits may not fully extend to multi-document summarization (MDS), where the handling of cross-document information is more complex. Previous works either design new MDS architectures or apply PLMs bluntly with concatenated source documents as a reformulated SDS task. While the former does not utilize previous pre-training efforts and may not generalize well across different domains, the latter may not sufficiently attend to the intricate cross-document relationships unique to MDS tasks. Instead, we enforce hierarchy on both the encoder and decoder to better utilize a PLM to facilitate multi-document interactions for the MDS task. Across 10 MDS benchmarks from various domains, our method outperforms or is competitive with the previous best models, including those with additional MDS pre-training or with more parameters. It outperforms its corresponding PLM backbone by up to 3 Rouge-L and is favored by humans.
• Abstract（参考訳）: 事前訓練された言語モデル(PLM)は、抽象的な単一文書要約(SDS)において優れた成果を上げている。 しかし、そのような利点は、クロスドキュメント情報の扱いがより複雑であるマルチドキュメント要約(MDS)に完全には及ばない。 以前の作業では、新しいMDSアーキテクチャを設計するか、コンカレントソースドキュメントを簡潔にPLMを修正SDSタスクとして適用するかのどちらかであった。 前者は以前の事前訓練を使わず、異なる領域でうまく一般化できないかもしれないが、後者はMDSタスク特有の複雑な文書間関係に十分に対応していない。 代わりに、エンコーダとデコーダの両方に階層構造を適用し、MDSタスクのマルチドキュメントインタラクションを容易にするためにPLMをよりよく活用する。 様々な領域からの10のMDSベンチマークにおいて,本手法は,MDS事前学習やパラメータの増大など,従来のベストモデルと競合する。 対応するplmバックボーンを最大3ルージュlで上回り、人間に好まれている。

関連論文リスト

• TextHawk: Exploring Efficient Fine-Grained Perception of Multimodal Large Language Models [9.232693392690702]
  TextHawkは文書指向マルチモーダル言語モデル(MLLM)である。 4つの専用コンポーネントを設計することで、効率的な微粒化知覚を探索するように設計されている。 汎用MLLMベンチマークと文書指向MLLMベンチマークの両方で広範な実験を行い、TextHawkが最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-14T09:48:37Z)
• Absformer: Transformer-based Model for Unsupervised Multi-Document Abstractive Summarization [1.066048003460524]
  MDS(Multi-document summarization)とは、複数の文書のテキストを簡潔な要約に要約する作業である。 抽象MDSは、自然言語生成技術を用いて、複数の文書の一貫性と流動性を備えた要約を生成することを目的としている。 本稿では、教師なし抽象要約生成のためのトランスフォーマーに基づく新しい手法であるAbsformerを提案する。
  論文  参考訳（メタデータ） (2023-06-07T21:18:23Z)
• Plug-and-Play Document Modules for Pre-trained Models [92.9897146991974]
  PTM用文書プラグイン(PlugD)として,各文書をプラグイン・アンド・プレイ用文書モジュールとして表現することを提案する。 ダウンストリームタスクのためにドキュメントプラグインをバックボーンPTMに挿入することで、ドキュメントを一度エンコードして複数のタスクを処理することができます。 典型的な4つのNLPタスクの8つのデータセットの実験では、PlugDによって、さまざまなシナリオにまたがって、複数のドキュメントをエンコードすることが可能である。
  論文  参考訳（メタデータ） (2023-05-28T08:01:40Z)
• Peek Across: Improving Multi-Document Modeling via Cross-Document Question-Answering [49.85790367128085]
  我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。 この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。 分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
  論文  参考訳（メタデータ） (2023-05-24T17:48:40Z)
• PDSum: Prototype-driven Continuous Summarization of Evolving Multi-document Sets Stream [33.68263291948121]
  我々は,新たな要約問題であるマルチドキュメントセットストリーム要約(EMDS)を提案する。 本稿では,プロトタイプ駆動連続要約のアイデアを取り入れた新しい教師なしアルゴリズムPDSumを紹介する。 PDSumは、各マルチドキュメントセットの軽量プロトタイプを構築し、それを利用して、新しいドキュメントに適応する。
  論文  参考訳（メタデータ） (2023-02-10T23:43:46Z)
• MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are Better Dense Retrievers [140.0479479231558]
  本研究では,様々な事前学習タスクをマルチタスク事前学習モデル(MASTER)に統合することを目的とする。 MASTERは共有エンコーダのマルチデコーダアーキテクチャを利用して、タスク全体にわたる豊富なセマンティック情報を高密度ベクトルに圧縮する表現ボトルネックを構築することができる。
  論文  参考訳（メタデータ） (2022-12-15T13:57:07Z)
• Document-aware Positional Encoding and Linguistic-guided Encoding for Abstractive Multi-document Summarization [12.799359904396624]
  多文書要約における重要な課題の1つは、単一文書要約(SDS)と多文書要約(MDS)を区別する入力文書間の関係を捉えることである。 本稿では,MDS用トランスフォーマーアーキテクチャと融合可能な文書認識位置符号化と言語誘導符号化を提案する。
  論文  参考訳（メタデータ） (2022-09-13T12:22:38Z)
• A Multi-Document Coverage Reward for RELAXed Multi-Document Summarization [11.02198476454955]
  本稿では,MDSの基準値と入力文書のカバレッジのバランスをとる報酬を付与したMDSベースラインの微調整を提案する。 Multi-NewsおよびWCEP MDSデータセットに対する実験結果から、ベースライン上での平均ROUGEスコアが+0.95pp、METEORスコアが+3.17ppと大幅に改善された。
  論文  参考訳（メタデータ） (2022-03-06T07:33:01Z)
• Transfer Learning for Sequence Generation: from Single-source to Multi-source [50.34044254589968]
  そこで本研究では,2段階のファイントゥニング手法を提案する。また,MSGタスクにおいて,より優れた表現を学習するための微細エンコーダを備えた新しいMSGモデルを提案する。 提案手法は,WMT17 APE タスクと WMT14 テストセットを用いたマルチソース翻訳タスクにおいて,新たな最先端結果を実現する。
  論文  参考訳（メタデータ） (2021-05-31T09:12:38Z)
• Data Augmentation for Abstractive Query-Focused Multi-Document Summarization [129.96147867496205]
  2つのQMDSトレーニングデータセットを提示し,2つのデータ拡張手法を用いて構築する。 これらの2つのデータセットは相補的な性質を持ち、すなわちQMDSCNNは実際のサマリを持つが、クエリはシミュレートされる。 組み合わせたデータセット上にエンドツーエンドのニューラルネットワークモデルを構築し、DUCデータセットに最新の転送結果をもたらします。
  論文  参考訳（メタデータ） (2021-03-02T16:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。