論文の概要: Enhancing Abstractiveness of Summarization Models through Calibrated Distillation

• arxiv url: http://arxiv.org/abs/2310.13760v2
• Date: Mon, 4 Dec 2023 06:47:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 21:47:40.339771
• Title: Enhancing Abstractiveness of Summarization Models through Calibrated Distillation
• Title（参考訳）: キャリブレーション蒸留による要約モデルの抽象性向上
• Authors: Hwanjun Song, Igor Shalyminov, Hang Su, Siffi Singh, Kaisheng Yao, Saab Mansour
• Abstract要約: DisCalは、情報を犠牲にすることなく抽象性のレベルを高める新しいアプローチである。 以上の結果から,DisCalは従来の抽象的な要約蒸留法よりも優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 30.199051061633803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequence-level knowledge distillation reduces the size of Seq2Seq models for more efficient abstractive summarization. However, it often leads to a loss of abstractiveness in summarization. In this paper, we propose a novel approach named DisCal to enhance the level of abstractiveness (measured by n-gram overlap) without sacrificing the informativeness (measured by ROUGE) of generated summaries. DisCal exposes diverse pseudo summaries with two supervision to the student model. Firstly, the best pseudo summary is identified in terms of abstractiveness and informativeness and used for sequence-level distillation. Secondly, their ranks are used to ensure the student model to assign higher prediction scores to summaries with higher ranks. Our experiments show that DisCal outperforms prior methods in abstractive summarization distillation, producing highly abstractive and informative summaries.
• Abstract（参考訳）: シーケンスレベルの知識蒸留は、より効率的な抽象要約のためにseq2seqモデルのサイズを減らす。 しかし、しばしば要約において抽象性が失われる。 本稿では,生成した要約のインフォメーション性(ルージュによる測定)を犠牲にすることなく,抽象性(n-gram重なりによる測定)のレベルを高めるために,discalという新しい手法を提案する。 DisCalは学生モデルに2つの監督を持つ多様な擬似要約を公開する。 第一に、最良の擬似要約は、抽象性と情報性の観点から識別され、シーケンスレベルの蒸留に用いられる。 第二に、それらのランクは、生徒モデルがより高いランクの要約に高い予測スコアを割り当てることを保証するために使用される。 実験の結果,DisCalは従来の抽象的要約蒸留法よりも優れており,抽象的かつ情報的な要約が得られていることがわかった。

関連論文リスト

• AugSumm: towards generalizable speech summarization using synthetic labels from large language model [61.73741195292997]
  抽象音声要約(SSUM)は、音声から人間に似た要約を生成することを目的としている。 従来のSSUMモデルは、主に、人間による注釈付き決定論的要約(英語版)を用いて訓練され、評価されている。 AugSummは,人間のアノテータが拡張要約を生成するためのプロキシとして,大規模言語モデル(LLM)を利用する手法である。
  論文  参考訳（メタデータ） (2024-01-10T18:39:46Z)
• Referee: Reference-Free Sentence Summarization with Sharper Controllability through Symbolic Knowledge Distillation [72.70058049274664]
  文献要約のための新しい枠組みであるRefereeについて紹介する(つまり、監督のために金の要約を必要としない)。 我々の研究は、シンボリック知識蒸留の概念的枠組みを通じて、参照不要で制御された文要約が実現可能であることを示す最初のものである。
  論文  参考訳（メタデータ） (2022-10-25T07:07:54Z)
• Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling [56.70682379371534]
  提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。 我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
  論文  参考訳（メタデータ） (2022-10-22T07:16:19Z)
• Salience Allocation as Guidance for Abstractive Summarization [61.31826412150143]
  本稿では, サリエンセ・サリエンス・ガイダンス(SEASON, SaliencE Allocation as Guidance for Abstractive SummarizatiON)を用いた新しい要約手法を提案する。 SEASONは、サリエンス予測の割り当てを利用して抽象的な要約を導き、異なる抽象性のある記事に順応する。
  論文  参考訳（メタデータ） (2022-10-22T02:13:44Z)
• Towards Summary Candidates Fusion [26.114829566197976]
  サムマフュージョンと呼ばれる第2段階抽象要約における新しいパラダイムを提案する。 いくつかの要約候補を融合させ、新しい抽象的な第2段階の要約を生成する。 本手法は,複数の要約データセットでよく機能し,融解サマリーのROUGEスコアと定性の両方を改善した。
  論文  参考訳（メタデータ） (2022-10-17T06:48:05Z)
• Attention Temperature Matters in Abstractive Summarization Distillation [43.12920043942568]
  本稿では,高速な推論と性能損失の最小化のために,大規模なシーケンス・ツー・シーケンス・トランスフォーマーモデルをより小さなモデルに蒸留することを目的とする。 トランスフォーマーの注意温度を単純に操作すれば、学生モデルの擬似ラベルの学習が容易になる。
  論文  参考訳（メタデータ） (2021-06-07T09:18:21Z)
• The Summary Loop: Learning to Write Abstractive Summaries Without Examples [21.85348918324668]
  本研究は,与えられた長さ制約に対するカバレッジとフラエンシの組み合わせを最大化することに基づく,教師なし抽象的要約に対する新しいアプローチを提案する。 主要な用語は元のドキュメントから隠蔽され、現在の生成された要約を使ってカバレッジモデルで満たされなければならない。 一般的なニュース要約データセットでテストすると、従来の教師なし手法よりも2R-1ポイント以上性能が向上する。
  論文  参考訳（メタデータ） (2021-05-11T23:19:46Z)
• Constrained Abstractive Summarization: Preserving Factual Consistency with Constrained Generation [93.87095877617968]
  本稿では,抽象要約の現実的一貫性を保ちつつ,制約付き抽象要約(CAS)を提案する。 我々は、CASを満たすために、一般的に自己回帰生成モデルに適用される語彙制約付き復号法を採用する。 対話的要約において1つの手動制約のみを使用する場合、最大13.8ROUGE-2ゲインを観測する。
  論文  参考訳（メタデータ） (2020-10-24T00:27:44Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。