論文の概要: Pre-training for Abstractive Document Summarization by Reinstating Source Text

• arxiv url: http://arxiv.org/abs/2004.01853v4
• Date: Sun, 11 Oct 2020 14:53:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 23:01:27.398139
• Title: Pre-training for Abstractive Document Summarization by Reinstating Source Text
• Title（参考訳）: ソーステキストの復元による要約文書要約のための事前学習
• Authors: Yanyan Zou, Xingxing Zhang, Wei Lu, Furu Wei and Ming Zhou
• Abstract要約: 本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
• 参考スコア（独自算出の注目度）: 105.77348528847337
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Abstractive document summarization is usually modeled as a sequence-to-sequence (Seq2Seq) learning problem. Unfortunately, training large Seq2Seq based summarization models on limited supervised summarization data is challenging. This paper presents three pre-training objectives which allow us to pre-train a Seq2Seq based abstractive summarization model on unlabeled text. The main idea is that, given an input text artificially constructed from a document, a model is pre-trained to reinstate the original document. These objectives include sentence reordering, next sentence generation, and masked document generation, which have close relations with the abstractive document summarization task. Experiments on two benchmark summarization datasets (i.e., CNN/DailyMail and New York Times) show that all three objectives can improve performance upon baselines. Compared to models pre-trained on large-scale data (more than 160GB), our method, with only 19GB text for pre-training, achieves comparable results, which demonstrates its effectiveness.
• Abstract（参考訳）: 抽象文書要約は通常、シーケンス対シーケンス(Seq2Seq)学習問題としてモデル化される。 残念ながら、限定的な教師付き要約データに基づく大規模なSeq2Seqベースの要約モデルのトレーニングは困難である。 本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 主な考え方は、文書から人工的に構築された入力テキストが与えられた場合、元の文書を復元するためにモデルが事前訓練されるということである。 これらの目的には、文書要約タスクと密接な関係を持つ文の再順序付け、次の文生成、マスク文書生成が含まれる。 2つのベンチマーク要約データセット(例えばCNN/DailyMailとNew York Times)の実験では、3つの目的はすべてベースラインのパフォーマンスを改善することができる。 大規模データ(160GB以上)で事前学習したモデルと比較すると,本手法は19GBの事前学習用テキストしか持たないが,本手法の有効性を示す。

関連論文リスト

• A Novel LLM-based Two-stage Summarization Approach for Long Dialogues [9.835499880812646]
  本研究では,長い文書から情報を分割・凝縮する階層的枠組みを提案する。 凝縮段階は、教師なし生成モデルを用いて凝縮データを生成する。 要約段階は、縮合されたデータ上の抽象的な要約モデルを微調整して最終結果を生成する。
  論文  参考訳（メタデータ） (2024-10-09T03:42:40Z)
• Summarization-based Data Augmentation for Document Classification [16.49709049899731]
  文書分類のための簡易かつ効果的な要約型データ拡張であるSUMMaugを提案する。 まず、対象文書分類タスクの学習が容易な例を示す。 次に、生成された擬似例を用いてカリキュラム学習を行う。
  論文  参考訳（メタデータ） (2023-12-01T11:34:37Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• Falsesum: Generating Document-level NLI Examples for Recognizing Factual Inconsistency in Summarization [63.21819285337555]
  高品質なタスク指向の例でトレーニングデータを拡張した場合,NLIモデルがこのタスクに有効であることを示す。 我々は、制御可能なテキスト生成モデルを利用して、人間の注釈付き要約を摂動させるデータ生成パイプラインであるFalsesumを紹介した。 本研究では,Falsesumを付加したNLIデータセットでトレーニングしたモデルにより,4つのベンチマークを用いて,要約における事実整合性を検出することにより,最先端のパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2022-05-12T10:43:42Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Summ^N: A Multi-Stage Summarization Framework for Long Input Dialogues and Documents [13.755637074366813]
  SummNは、典型的な事前訓練されたLMの最大文脈長よりも長いテキストを入力するための、シンプルで柔軟で効果的な多段階フレームワークである。 LMコンテキストサイズを固定したままステージ数を調整することで任意の長さの入力テキストを処理できる。 実験の結果,SummNは従来の最先端手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-10-16T06:19:54Z)
• ARMAN: Pre-training with Semantically Selecting and Reordering of Sentences for Persian Abstractive Summarization [7.16879432974126]
  本稿では,トランスフォーマーをベースとしたエンコーダデコーダモデルARMANを提案する。 ARMANでは、修正されたセマンティックスコアに基づいて文書からの有能な文が選択され、擬似要約を形成する。 提案手法は,ROUGEとBERTScoreで計測された6つの要約タスクに対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-09-09T08:35:39Z)
• Automated News Summarization Using Transformers [4.932130498861987]
  我々は,テキスト要約のためのトランスフォーマーアーキテクチャに基づく事前学習モデルについて,包括的に比較する。 分析と比較のために,要約や人為的な要約に使用できるテキストデータを含むBBCニュースデータセットを用いた。
  論文  参考訳（メタデータ） (2021-04-23T04:22:33Z)
• Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers [107.12125265675483]
  教師なし抽出文書要約は、訓練中にラベル付き要約を用いることなく、文書から重要な文章を選択することを目的としている。 既存の手法は主にグラフベースで、文をノードとして、エッジの重みは文の類似性によって測定される。 教師なし抽出要約のための文のランク付けにはトランスフォーマーの注意が利用できることがわかった。
  論文  参考訳（メタデータ） (2020-10-16T08:44:09Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。