論文の概要: SummaReranker: A Multi-Task Mixture-of-Experts Re-ranking Framework for Abstractive Summarization

• arxiv url: http://arxiv.org/abs/2203.06569v2
• Date: Fri, 26 May 2023 05:48:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 00:25:11.967223
• Title: SummaReranker: A Multi-Task Mixture-of-Experts Re-ranking Framework for Abstractive Summarization
• Title（参考訳）: SummaReranker: 抽象的な要約のためのマルチタスク・ミックス・オブ・エクササイズ・リグレードフレームワーク
• Authors: Mathieu Ravaut, Shafiq Joty, Nancy F. Chen
• Abstract要約: 要約候補の集合上で再ランク付けを行う第2段階モデルを直接訓練することは可能であることを示す。 我々のMix-of-experts SummaRerankerは、より良い候補を選択することを学び、ベースモデルの性能を一貫して改善します。
• 参考スコア（独自算出の注目度）: 26.114829566197976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequence-to-sequence neural networks have recently achieved great success in abstractive summarization, especially through fine-tuning large pre-trained language models on the downstream dataset. These models are typically decoded with beam search to generate a unique summary. However, the search space is very large, and with the exposure bias, such decoding is not optimal. In this paper, we show that it is possible to directly train a second-stage model performing re-ranking on a set of summary candidates. Our mixture-of-experts SummaReranker learns to select a better candidate and consistently improves the performance of the base model. With a base PEGASUS, we push ROUGE scores by 5.44% on CNN-DailyMail (47.16 ROUGE-1), 1.31% on XSum (48.12 ROUGE-1) and 9.34% on Reddit TIFU (29.83 ROUGE-1), reaching a new state-of-the-art. Our code and checkpoints will be available at https://github.com/ntunlp/SummaReranker.
• Abstract（参考訳）: sequence-to-sequenceニューラルネットワークは最近、抽象的な要約、特に下流のデータセットで事前学習された大きな言語モデルを微調整することで、大きな成功を収めている。 これらのモデルは通常ビームサーチでデコードされ、ユニークな要約を生成する。 しかし、探索空間は非常に大きく、露光バイアスがあるため、そのような復号化は最適ではない。 本稿では,サマリ候補のセットで再ランキングを行う2段モデルを直接トレーニングすることが可能であることを示す。 当社のmixed-of-experts summarerankerは、よりよい候補を選ぶことを学び、ベースモデルのパフォーマンスを一貫して改善します。 PEGASUSをベースとしたROUGEスコアは、CNN-DailyMail(47.16 ROUGE-1)で5.44%、XSum(48.12 ROUGE-1)で1.31%、Reddit TIFU(29.83 ROUGE-1)で9.34%、新しい最先端に到達した。 私たちのコードとチェックポイントはhttps://github.com/ntunlp/summarerankerで利用可能です。

関連論文リスト

• Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
  学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。 テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。 LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。 提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
  論文  参考訳（メタデータ） (2024-02-27T14:21:56Z)
• Score Mismatching for Generative Modeling [4.413162309652114]
  そこで我々は,一段階サンプリングを用いた新しいスコアベースモデルを提案する。 我々は、スコアネットワークから逆転した勾配で全ての時間ステップを圧縮するようにスタンドアロンのジェネレータを訓練する。 生成器に有意義な勾配を与えるため、スコアネットワークは実データ分布を同時にマッチングし、偽データ分布を誤マッチするように訓練される。
  論文  参考訳（メタデータ） (2023-09-20T03:47:12Z)
• SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval [92.27387459751309]
  ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。 我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。 SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
  論文  参考訳（メタデータ） (2023-07-19T22:48:02Z)
• Generating EDU Extracts for Plan-Guided Summary Re-Ranking [77.7752504102925]
  要約候補を生成して1つの要約を返す2段階のアプローチでは、標準的な単一ステップアプローチよりもROUGEスコアを改善することができる。 これらの問題に対処する再ランク付け候補を生成するための新しい手法を設計する。 広く使われている単一文書ニュース記事コーパスにおいて,以前に公表された手法よりも大きな関連性を示した。
  論文  参考訳（メタデータ） (2023-05-28T17:22:04Z)
• ReGen: Zero-Shot Text Classification via Training Data Generation with Progressive Dense Retrieval [22.882301169283323]
  一般ドメインの未ラベルコーパスからトレーニングデータを作成するための検索強化フレームワークを提案する。 9つのデータセットの実験では、REGENは最強のベースラインに対して4.3%のゲインを達成し、大きなNLGモデルを使用したベースラインと比較して約70%の時間を節約している。
  論文  参考訳（メタデータ） (2023-05-18T04:30:09Z)
• Towards Summary Candidates Fusion [26.114829566197976]
  サムマフュージョンと呼ばれる第2段階抽象要約における新しいパラダイムを提案する。 いくつかの要約候補を融合させ、新しい抽象的な第2段階の要約を生成する。 本手法は,複数の要約データセットでよく機能し,融解サマリーのROUGEスコアと定性の両方を改善した。
  論文  参考訳（メタデータ） (2022-10-17T06:48:05Z)
• Z-Code++: A Pre-trained Language Model Optimized for Abstractive Summarization [108.09419317477986]
  Z-Code++は、抽象的なテキスト要約に最適化された、新しいトレーニング済み言語モデルである。 このモデルは、まず、言語理解のためのテキストコーパスを用いて事前訓練され、続いて、接地テキスト生成のための要約コーパス上で継続的に事前訓練される。 パラメータ効率はXSumでは600倍のPaLM-540B,SAMSumでは200倍のGPT3-175Bである。
  論文  参考訳（メタデータ） (2022-08-21T01:00:54Z)
• BRIO: Bringing Order to Abstractive Summarization [107.97378285293507]
  非決定論的分布を前提とした新しい学習パラダイムを提案する。 提案手法は, CNN/DailyMail (47.78 ROUGE-1) と XSum (49.07 ROUGE-1) のデータセット上で, 最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-03-31T05:19:38Z)
• Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward [42.925345819778656]
  本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。 本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。 その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
  論文  参考訳（メタデータ） (2020-05-03T18:23:06Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。