論文の概要: Meta-Transfer Learning for Low-Resource Abstractive Summarization

• arxiv url: http://arxiv.org/abs/2102.09397v1
• Date: Thu, 18 Feb 2021 14:42:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-19 14:32:38.261009
• Title: Meta-Transfer Learning for Low-Resource Abstractive Summarization
• Title（参考訳）: 低リソース抽象要約のためのメタ伝達学習
• Authors: Yi-Syuan Chen and Hong-Han Shuai
• Abstract要約: Low-Resource Abstractive Summarizationは、過去の経験を活用して、ターゲットコーパスの限られたラベル付き例でパフォーマンスを向上させることを目的としています。 書体や書体が異なる様々な要約コーパスについて広範な実験を行った。 その結果,学習可能なパラメータの0.7%に留まらず,低リソースシナリオで6コーパスの最先端を実現することができた。
• 参考スコア（独自算出の注目度）: 12.757403709439325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural abstractive summarization has been studied in many pieces of literature and achieves great success with the aid of large corpora. However, when encountering novel tasks, one may not always benefit from transfer learning due to the domain shifting problem, and overfitting could happen without adequate labeled examples. Furthermore, the annotations of abstractive summarization are costly, which often demand domain knowledge to ensure the ground-truth quality. Thus, there are growing appeals for Low-Resource Abstractive Summarization, which aims to leverage past experience to improve the performance with limited labeled examples of target corpus. In this paper, we propose to utilize two knowledge-rich sources to tackle this problem, which are large pre-trained models and diverse existing corpora. The former can provide the primary ability to tackle summarization tasks; the latter can help discover common syntactic or semantic information to improve the generalization ability. We conduct extensive experiments on various summarization corpora with different writing styles and forms. The results demonstrate that our approach achieves the state-of-the-art on 6 corpora in low-resource scenarios, with only 0.7% of trainable parameters compared to previous work.
• Abstract（参考訳）: 神経の抽象的要約は多くの文献で研究され、大きなコーパスの助けを借りて大きな成功を収めた。 しかし、新しいタスクに遭遇する場合、ドメインシフト問題による転校学習の恩恵を受けるとは限らないし、十分なラベル付き例がなければ過剰フィッティングが発生する可能性がある。 さらに、抽象的要約の注釈はコストがかかり、しばしばドメイン知識を要求され、基礎的品質が保証される。 したがって、ターゲットコーパスの限られたラベル付き例で、過去の経験を活用してパフォーマンスを向上させることを目的とした低リソースアストロアクティブ要約へのアピールが増加しています。 本稿では,2つの知識豊富な情報源を用いて,大規模事前学習モデルと多種多様な既存コーパスを提案する。 前者は要約タスクに対処する主要な能力を提供し、後者は一般化能力を改善するために一般的な構文情報や意味情報を見つけるのに役立つ。 書体や書体が異なる様々な要約コーパスについて広範な実験を行った。 その結果,学習可能なパラメータの0.7%に留まらず,低リソースシナリオで6コーパスの最先端を実現することができた。

関連論文リスト

• ACLSum: A New Dataset for Aspect-based Summarization of Scientific Publications [10.529898520273063]
  ACLSumは、ドメインの専門家によって慎重に作成され、評価される新しい要約データセットである。 以前のデータセットとは対照的に、ACLSumは科学論文のマルチアスペクト要約を容易にする。
  論文  参考訳（メタデータ） (2024-03-08T13:32:01Z)
• Factually Consistent Summarization via Reinforcement Learning with Textual Entailment Feedback [57.816210168909286]
  我々は,この問題を抽象的な要約システムで解くために,テキストエンテーメントモデルの最近の進歩を活用している。 我々は、事実整合性を最適化するために、レファレンスフリーのテキストエンターメント報酬を用いた強化学習を用いる。 自動測定と人的評価の両結果から,提案手法は生成した要約の忠実さ,サリエンス,簡潔さを著しく向上させることが示された。
  論文  参考訳（メタデータ） (2023-05-31T21:04:04Z)
• Curriculum-Guided Abstractive Summarization [45.57561926145256]
  最近のTransformerベースの要約モデルは、抽象的な要約に有望なアプローチを提供してきた。 これらのモデルには2つの欠点がある:(1)コンテンツ選択が不十分な場合が多く、(2)トレーニング戦略があまり効率的ではないため、モデルの性能が制限される。 本稿では,これらの落とし穴を補うための2つの方法について検討する。まず,デコーダ内に文のクロスアテンションモジュールを配置することでトランスフォーマーネットワークを拡張し,より健全なコンテンツの抽象化を促進する。
  論文  参考訳（メタデータ） (2023-02-02T11:09:37Z)
• OpineSum: Entailment-based self-training for abstractive opinion summarization [6.584115526134759]
  本稿では,抽象的な意見要約のための新しい自己学習手法,OpineSumを提案する。 このアプローチの要約は、テキスト・エンターメントの新たな応用を用いて構築されている。 OpineSumは、両方の設定で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-12-21T06:20:28Z)
• Summary-Oriented Vision Modeling for Multimodal Abstractive Summarization [63.320005222549646]
  マルチモーダル抽象要約(MAS)は、マルチモーダルデータ(テキストとビジョン)から簡潔な要約を作成することを目的としている。 本稿では,要約指向の視覚的特徴によって要約品質を改善することを提案する。 中高、低低、ゼロリソースのシナリオをカバーする44言語の実験は、提案手法の有効性と優位性を検証する。
  論文  参考訳（メタデータ） (2022-12-15T09:05:26Z)
• Salience Allocation as Guidance for Abstractive Summarization [61.31826412150143]
  本稿では, サリエンセ・サリエンス・ガイダンス(SEASON, SaliencE Allocation as Guidance for Abstractive SummarizatiON)を用いた新しい要約手法を提案する。 SEASONは、サリエンス予測の割り当てを利用して抽象的な要約を導き、異なる抽象性のある記事に順応する。
  論文  参考訳（メタデータ） (2022-10-22T02:13:44Z)
• GSum: A General Framework for Guided Neural Abstractive Summarization [102.29593069542976]
  本稿では,様々な外部ガイダンスを入力として効果的に活用できる汎用的かつガイド付き要約フレームワーク(GSum)を提案する。 実験により、このモデルが有効であることが示され、ROUGEによれば、4つの一般的な要約データセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-10-15T20:46:14Z)
• Summarizing Text on Any Aspects: A Knowledge-Informed Weakly-Supervised Approach [89.56158561087209]
  文書に関連する任意の側面を要約する。 監視データがないため、我々は新しい弱い監督構築法とアスペクト・モデリング・スキームを開発した。 実験により,本手法は実文書と合成文書の両方を要約することで,性能の向上を図っている。
  論文  参考訳（メタデータ） (2020-10-14T03:20:46Z)
• What Have We Achieved on Text Summarization? [32.90169694110989]
  我々は,要約システムの強みと細かな構文的・意味的レベルでの限界について,より理解を深めることを目指している。 手動で10の代表的な要約モデルに対して,8つの主要な誤り源を定量化する。
  論文  参考訳（メタデータ） (2020-10-09T12:39:33Z)
• Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
  ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。 テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
  論文  参考訳（メタデータ） (2020-04-21T16:54:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。