Fugu-MT 論文翻訳(概要): Multi-Document Summarization with Centroid-Based Pretraining

論文の概要: Multi-Document Summarization with Centroid-Based Pretraining

arxiv url: http://arxiv.org/abs/2208.01006v1
Date: Mon, 1 Aug 2022 17:28:02 GMT
ステータス: 処理完了
システム内更新日: 2022-08-02 13:35:57.888927
Title: Multi-Document Summarization with Centroid-Based Pretraining
Title（参考訳）: centroid-based pretrainingを用いたマルチドキュメント要約
Authors: Ratish Puduppully and Mark Steedman
Abstract要約: 本稿では,各ドキュメントクラスタのROUGEベースのセントロイドを,その要約のプロキシとして選択する,簡単な事前学習目標を提案する。この目的は人による要約を必要とせず、文書の集合のみを含むデータセットの事前学習に使用できる。
参考スコア（独自算出の注目度）: 16.409162023334197
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In multi-document summarization (MDS), the input is a cluster of documents, and the output is the cluster summary. In this paper, we focus on pretraining objectives for MDS. Specifically, we introduce a simple pretraining objective of choosing the ROUGE-based centroid of each document cluster as a proxy for its summary. Our objective thus does not require human written summaries and can be used for pretraining on a dataset containing only clusters of documents. Through zero-shot and fully supervised experiments on multiple MDS datasets, we show that our model Centrum is better or comparable to a state-of-the-art model. We release our pretrained and finetuned models at https://github.com/ratishsp/centrum.
Abstract（参考訳）: multi-document summarization (mds) では、入力はドキュメントのクラスタであり、出力はクラスタサマリーである。本稿では,mdsの事前学習目標について述べる。具体的には,各文書クラスタのルージュベースのセンタロイドを要約のプロキシとして選択する,簡単な事前学習目標を提案する。この目的は人による要約を必要とせず、文書の集合のみを含むデータセットの事前学習に使用できる。複数のMDSデータセットに対するゼロショットおよび完全教師付き実験を通じて、私たちのモデルであるCentrumは最先端のモデルより優れているか同等であることを示す。私たちはトレーニング済みで微調整されたモデルをhttps://github.com/ratishsp/centrumでリリースしています。

関連論文リスト

Federated Document Visual Question Answering: A Pilot Study [11.157766332838877]
文書は著作権や私的な情報を含む傾向があり、公開を禁止している。本研究では,分散化されたプライベートドキュメントデータに基づく共有モデルの学習方法として,フェデレーション付き学習スキームの利用について検討する。我々は,さまざまなDocVQAデータセットを用いたフェデレーショントレーニングにおいて,事前学習戦略が効果的に学習し,スケールアップ可能であることを示す。
論文参考訳（メタデータ） (2024-05-10T17:53:05Z)
PELMS: Pre-training for Effective Low-Shot Multi-Document Summarization [4.6493060043204535]
PELMSは,簡潔で流動的で忠実な要約を生成する事前学習モデルである。我々は9300万以上のドキュメントを含むマルチドキュメント事前学習コーパスであるMultiPTをコンパイルし、300万以上の未ラベルのトピック中心のドキュメントクラスタを形成する。我々のアプローチは、全体的な情報性、抽象性、一貫性、忠実性に関して、競争比較を一貫して上回る。
論文参考訳（メタデータ） (2023-11-16T12:05:23Z)
Peek Across: Improving Multi-Document Modeling via Cross-Document Question-Answering [49.85790367128085]
我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
論文参考訳（メタデータ） (2023-05-24T17:48:40Z)
How "Multi" is Multi-Document Summarization? [15.574673241564932]
MDSデータセットの参照要約とシステム要約の両方が、実際に分散情報に基づいていることが期待されている。「要約が分散する度合いを評価するための自動測度を提案する。」以上の結果から,MSSデータセットは複数の文書からの情報の組み合わせをほとんど必要とせず,単一の文書が要約内容全体をカバーしていることが示唆された。
論文参考訳（メタデータ） (2022-10-23T10:20:09Z)
Unsupervised Summarization with Customized Granularities [76.26899748972423]
本稿では,最初の教師なし多粒度要約フレームワークであるGranuSumを提案する。異なる数のイベントを入力することで、GranuSumは教師なしの方法で複数の粒度のサマリーを生成することができる。
論文参考訳（メタデータ） (2022-01-29T05:56:35Z)
PRIMER: Pyramid-based Masked Sentence Pre-training for Multi-document Summarization [16.830963601598242]
要約に着目した多文書表現のための事前学習モデルであるPRIMERを提案する。具体的には,マルチドキュメント入力に適した適切な入力変換とグローバルアテンションを備えたLongformerアーキテクチャを採用する。私たちのモデルであるPRIMERは、これらのほとんどの設定において、現在の最先端モデルよりも大きなマージンでパフォーマンスします。
論文参考訳（メタデータ） (2021-10-16T07:22:24Z)
WSL-DS: Weakly Supervised Learning with Distant Supervision for Query Focused Multi-Document Abstractive Summarization [16.048329028104643]
Query Focused Multi-Document Summarization (QF-MDS)タスクでは、ドキュメントのセットとクエリが与えられ、そこでこれらのドキュメントから要約を生成する。このタスクの大きな課題のひとつは、ラベル付きトレーニングデータセットの可用性の欠如である。本稿では,遠隔指導による弱教師付き学習手法を提案する。
論文参考訳（メタデータ） (2020-11-03T02:02:55Z)
SupMMD: A Sentence Importance Model for Extractive Summarization using Maximum Mean Discrepancy [92.5683788430012]
SupMMDは、カーネルの2サンプルテストと最大の相違点に基づく、ジェネリックおよび更新の要約のための新しいテクニックである。 DUC-2004 および TAC-2009 データセット上での現在の技術状況を満たしたり超えたりすることで,SupMMD の総合的および更新的要約タスクにおける有効性を示す。
論文参考訳（メタデータ） (2020-10-06T09:26:55Z)
SummPip: Unsupervised Multi-Document Summarization with Sentence Graph Compression [61.97200991151141]
SummPipはマルチドキュメント要約のための教師なしの手法である。元の文書を文グラフに変換し、言語表現と深層表現の両方を考慮に入れます。次に、スペクトルクラスタリングを適用して複数の文のクラスタを取得し、最後に各クラスタを圧縮して最終的な要約を生成する。
論文参考訳（メタデータ） (2020-07-17T13:01:15Z)
Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
論文参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。