論文の概要: Absformer: Transformer-based Model for Unsupervised Multi-Document Abstractive Summarization

• arxiv url: http://arxiv.org/abs/2306.04787v1
• Date: Wed, 7 Jun 2023 21:18:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 17:32:49.912564
• Title: Absformer: Transformer-based Model for Unsupervised Multi-Document Abstractive Summarization
• Title（参考訳）: Absformer: Unsupervised Multi-Document Abstractive Summarizationのためのトランスフォーマーベースモデル
• Authors: Mohamed Trabelsi and Huseyin Uzunalioglu
• Abstract要約: MDS(Multi-document summarization)とは、複数の文書のテキストを簡潔な要約に要約する作業である。 抽象MDSは、自然言語生成技術を用いて、複数の文書の一貫性と流動性を備えた要約を生成することを目的としている。 本稿では、教師なし抽象要約生成のためのトランスフォーマーに基づく新しい手法であるAbsformerを提案する。
• 参考スコア（独自算出の注目度）: 1.066048003460524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-document summarization (MDS) refers to the task of summarizing the text in multiple documents into a concise summary. The generated summary can save the time of reading many documents by providing the important content in the form of a few sentences. Abstractive MDS aims to generate a coherent and fluent summary for multiple documents using natural language generation techniques. In this paper, we consider the unsupervised abstractive MDS setting where there are only documents with no groundtruh summaries provided, and we propose Absformer, a new Transformer-based method for unsupervised abstractive summary generation. Our method consists of a first step where we pretrain a Transformer-based encoder using the masked language modeling (MLM) objective as the pretraining task in order to cluster the documents into semantically similar groups; and a second step where we train a Transformer-based decoder to generate abstractive summaries for the clusters of documents. To our knowledge, we are the first to successfully incorporate a Transformer-based model to solve the unsupervised abstractive MDS task. We evaluate our approach using three real-world datasets from different domains, and we demonstrate both substantial improvements in terms of evaluation metrics over state-of-the-art abstractive-based methods, and generalization to datasets from different domains.
• Abstract（参考訳）: MDS(Multi-document summarization)は、複数の文書のテキストを簡潔な要約に要約するタスクである。 生成された要約は、数文の形で重要なコンテンツを提供することで、多くの文書を読む時間を節約できる。 抽象MDSは、自然言語生成技術を用いて複数の文書の一貫性と流動性を備えた要約を生成することを目的としている。 本稿では,接頭辞サマリーが提供されていない文書しか存在しない教師なしの抽象的mds設定を考察し,教師なしの要約サマリ生成のための新しいトランスフォーマを提案する。 本手法は,文書を意味的に類似したグループにクラスタ化するために,マスク付き言語モデリング(MLM)目標を用いてトランスフォーマーベースのエンコーダを事前訓練する第1ステップと,文書クラスタの抽象的な要約を生成するトランスフォーマーベースのデコーダをトレーニングする第2ステップから構成される。 我々の知る限り、トランスフォーマーベースのモデルをうまく組み込んで、教師なし抽象的MDSタスクを解決するのに成功しました。 我々は,異なるドメインの3つの実世界のデータセットを用いてアプローチを評価し,最先端の抽象的手法による評価指標の大幅な改善と,異なるドメインのデータセットへの一般化を実証した。

関連論文リスト

• Unified Multi-Modal Interleaved Document Representation for Information Retrieval [57.65409208879344]
  我々は、異なるモダリティでインターリーブされた文書を均等に埋め込み、より包括的でニュアンスのある文書表現を生成する。 具体的には、テキスト、画像、テーブルの処理と統合を統一されたフォーマットと表現に統合する、近年のビジョン言語モデルの能力を活用して、これを実現する。
  論文  参考訳（メタデータ） (2024-10-03T17:49:09Z)
• Write Summary Step-by-Step: A Pilot Study of Stepwise Summarization [48.57273563299046]
  本稿では,新たな文書が提案されるたびに追加の要約を生成するステップワイド要約の課題を提案する。 追加された要約は、新たに追加されたコンテンツを要約するだけでなく、以前の要約と一貫性を持たなければならない。 SSGは,自動計測と人的評価の両面から,最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2024-06-08T05:37:26Z)
• The Power of Summary-Source Alignments [62.76959473193149]
  多文書要約(MDS)は難しい課題であり、しばしばサリエンスと冗長性検出のサブタスクに分解される。 参照要約とそのソース文書間の対応する文のアライメントを利用して、トレーニングデータを生成する。 本稿では,よりきめ細かな提案スパンレベルで適用することで,要約ソースアライメントフレームワークを拡張することを提案する。
  論文  参考訳（メタデータ） (2024-06-02T19:35:19Z)
• Meta-Task Prompting Elicits Embeddings from Large Language Models [54.757445048329735]
  本稿では,新しい教師なしテキスト埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを紹介する。 モデル微調整を必要とせずに,大規模言語モデルから高品質な文埋め込みを生成する。 提案法は,多種多様なシナリオにまたがって生成を組み込む汎用的で資源効率のよい手法を提供する。
  論文  参考訳（メタデータ） (2024-02-28T16:35:52Z)
• Generating a Structured Summary of Numerous Academic Papers: Dataset and Method [20.90939310713561]
  本稿では,各トピックに関する多数の学術論文の包括的な要約を生成するための,最初の大規模データセットであるBigSurveyを提案する。 我々は,7万件以上の調査論文から対象要約を収集し,その430万件の参考論文の要約を入力文書として活用する。 数十の入力文書から多種多様な内容を整理するために,カテゴリベースアライメント・スパース・トランスフォーマー (CAST) と呼ばれる要約手法を提案する。
  論文  参考訳（メタデータ） (2023-02-09T11:42:07Z)
• ACM -- Attribute Conditioning for Abstractive Multi Document Summarization [0.0]
  本稿では,属性条件付きモジュールを組み込んだモデルを提案する。 このアプローチは、ベースラインのマルチドキュメント要約アプローチよりもROUGEスコアが大きく向上することを示している。
  論文  参考訳（メタデータ） (2022-05-09T00:00:14Z)
• Domain Adaptation with Pre-trained Transformers for Query Focused Abstractive Text Summarization [18.791701342934605]
  Query Focused Text Summarization (QFTS)タスクは、与えられたクエリに基づいてテキストドキュメントの要約を生成するシステムを構築することを目的としている。 この課題に対処する上で重要な課題は、要約モデルをトレーニングするための大きなラベル付きデータの欠如である。 本稿では,一連のドメイン適応手法を探求することによって,この問題に対処する。
  論文  参考訳（メタデータ） (2021-12-22T05:34:56Z)
• HowSumm: A Multi-Document Summarization Dataset Derived from WikiHow Articles [8.53502615629675]
  クエリ中心のマルチドキュメント要約(qMDS)タスクのための,新たな大規模データセットであるHowSummを提案する。 このユースケースは、既存のマルチドキュメント要約(MDS)データセットでカバーされているユースケースと異なり、教育や産業のシナリオに適用できる。 データセットの作成について述べ、他の要約コーパスと区別するユニークな特徴について論じる。
  論文  参考訳（メタデータ） (2021-10-07T04:44:32Z)
• WSL-DS: Weakly Supervised Learning with Distant Supervision for Query Focused Multi-Document Abstractive Summarization [16.048329028104643]
  Query Focused Multi-Document Summarization (QF-MDS)タスクでは、ドキュメントのセットとクエリが与えられ、そこでこれらのドキュメントから要約を生成する。 このタスクの大きな課題のひとつは、ラベル付きトレーニングデータセットの可用性の欠如である。 本稿では,遠隔指導による弱教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T02:02:55Z)
• SummPip: Unsupervised Multi-Document Summarization with Sentence Graph Compression [61.97200991151141]
  SummPipはマルチドキュメント要約のための教師なしの手法である。 元の文書を文グラフに変換し、言語表現と深層表現の両方を考慮に入れます。 次に、スペクトルクラスタリングを適用して複数の文のクラスタを取得し、最後に各クラスタを圧縮して最終的な要約を生成する。
  論文  参考訳（メタデータ） (2020-07-17T13:01:15Z)
• Pre-training via Paraphrasing [96.79972492585112]
  教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。 ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。 例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
  論文  参考訳（メタデータ） (2020-06-26T14:43:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。