論文の概要: PRIMER: Pyramid-based Masked Sentence Pre-training for Multi-document Summarization

• arxiv url: http://arxiv.org/abs/2110.08499v1
• Date: Sat, 16 Oct 2021 07:22:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-21 15:49:38.651342
• Title: PRIMER: Pyramid-based Masked Sentence Pre-training for Multi-document Summarization
• Title（参考訳）: PRIMER:多文書要約のためのピラミッドベースマスケ文事前学習
• Authors: Wen Xiao, Iz Beltagy, Giuseppe Carenini, Arman Cohan
• Abstract要約: 要約に着目した多文書表現のための事前学習モデルであるPRIMERを提案する。 具体的には,マルチドキュメント入力に適した適切な入力変換とグローバルアテンションを備えたLongformerアーキテクチャを採用する。 私たちのモデルであるPRIMERは、これらのほとんどの設定において、現在の最先端モデルよりも大きなマージンでパフォーマンスします。
• 参考スコア（独自算出の注目度）: 16.830963601598242
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently proposed pre-trained generation models achieve strong performance on single-document summarization benchmarks. However, most of them are pre-trained with general-purpose objectives and mainly aim to process single document inputs. In this paper, we propose PRIMER, a pre-trained model for multi-document representation with focus on summarization that reduces the need for dataset-specific architectures and large amounts of fine-tuning labeled data. Specifically, we adopt the Longformer architecture with proper input transformation and global attention to fit for multi-document inputs, and we use Gap Sentence Generation objective with a new strategy to select salient sentences for the whole cluster, called Entity Pyramid, to teach the model to select and aggregate information across a cluster of related documents. With extensive experiments on 6 multi-document summarization datasets from 3 different domains on the zero-shot, few-shot, and full-supervised settings, our model, PRIMER, outperforms current state-of-the-art models on most of these settings with large margins. Code and pre-trained models are released at https://github.com/allenai/PRIMER
• Abstract（参考訳）: 最近提案された事前学習世代モデルは,単一文書要約ベンチマークにおいて高い性能を示す。 しかし、その多くは汎用目的の事前学習であり、主に単一の文書入力を処理することを目的としている。 本稿では,データセット固有のアーキテクチャと大量のラベル付きデータの必要性を低減し,要約に焦点を当てたマルチドキュメント表現のための事前学習モデル primer を提案する。 具体的には、適切な入力変換とグローバルな注意を多文書入力に当てはめるLongformerアーキテクチャを採用し、Gap Sentence Generationの目的を用いて、エンティティピラミッドと呼ばれるクラスタ全体の健全な文を選択することで、関連するドキュメントのクラスタをまたいだ情報の選択と集約をモデルに教える。 zero-shot, few-shot, full-supervised設定の3つの異なるドメインから6つのマルチドキュメント要約データセットを広範囲に実験した結果、私たちのモデルであるprimerは、これらの設定のほとんどにおいて、現在の最先端のモデルを大きなマージンで上回っている。 コードと事前トレーニングされたモデルはhttps://github.com/allenai/primerでリリース

関連論文リスト

• Peek Across: Improving Multi-Document Modeling via Cross-Document Question-Answering [49.85790367128085]
  我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。 この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。 分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
  論文  参考訳（メタデータ） (2023-05-24T17:48:40Z)
• LMGQS: A Large-scale Dataset for Query-focused Summarization [77.6179359525065]
  我々は4つの一般的な要約ベンチマークを新しいQFSベンチマークデータセットであるLMGQSに変換する。 我々は最先端の要約モデルを用いてベースラインを確立する。 複数の既存のQFSベンチマークにおいて、最先端のゼロショットと教師付きパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-22T14:53:45Z)
• Multi-Document Summarization with Centroid-Based Pretraining [35.8335939654861]
  Multi-Document Summarization (MDS)では、入力は文書の集合としてモデル化することができ、出力はその要約である。 本稿では,各ドキュメントクラスタのROUGEベースのセントロイドを,その要約のプロキシとして選択する,新たな事前学習目標を提案する。 したがって、本研究の目的は、人による要約を必要とせず、文書集合のみからなるデータセットの事前学習に利用することができる。
  論文  参考訳（メタデータ） (2022-08-01T17:28:02Z)
• Large-Scale Multi-Document Summarization with Information Extraction and Compression [31.601707033466766]
  複数の異種文書のラベル付きデータとは無関係に抽象的な要約フレームワークを開発する。 我々のフレームワークは、同じトピックのドキュメントではなく、異なるストーリーを伝えるドキュメントを処理する。 我々の実験は、このより汎用的な設定において、我々のフレームワークが現在の最先端メソッドより優れていることを示した。
  論文  参考訳（メタデータ） (2022-05-01T19:49:15Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• One-shot Key Information Extraction from Document with Deep Partial Graph Matching [60.48651298832829]
  ドキュメントからキー情報抽出(KIE)は、多くの産業シナリオにおいて効率、生産性、セキュリティを改善する。 KIEタスクのための既存の教師付き学習手法は、多数のラベル付きサンプルを供給し、異なる種類の文書の別々のモデルを学ぶ必要がある。 部分グラフマッチングを用いたワンショットKIEのためのディープエンド・ツー・エンド・トレーニング可能なネットワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T07:45:53Z)
• WSL-DS: Weakly Supervised Learning with Distant Supervision for Query Focused Multi-Document Abstractive Summarization [16.048329028104643]
  Query Focused Multi-Document Summarization (QF-MDS)タスクでは、ドキュメントのセットとクエリが与えられ、そこでこれらのドキュメントから要約を生成する。 このタスクの大きな課題のひとつは、ラベル付きトレーニングデータセットの可用性の欠如である。 本稿では,遠隔指導による弱教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T02:02:55Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。