論文の概要: Improving Zero and Few-Shot Abstractive Summarization with Intermediate
Fine-tuning and Data Augmentation
- arxiv url: http://arxiv.org/abs/2010.12836v2
- Date: Sun, 11 Apr 2021 13:04:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 13:01:06.419686
- Title: Improving Zero and Few-Shot Abstractive Summarization with Intermediate
Fine-tuning and Data Augmentation
- Title（参考訳）: 中間微調整とデータ拡張によるゼロおよびFew-Shot抽象要約の改善
- Authors: Alexander R. Fabbri, Simeng Han, Haoyuan Li, Haoran Li, Marjan
Ghazvininejad, Shafiq Joty, Dragomir Radev, Yashar Mehdad
- Abstract要約: 大規模テキストコーパス上での自己教師対象による事前学習モデルは、英語テキスト要約タスクにおける最先端のパフォーマンスを達成する。
モデルは通常、数十万のデータポイントで微調整されるが、これは新しいニッチなドメインに要約を適用する際に、実現不可能な要件である。
我々は、教師なし、データセット固有の方法で要約のための訓練済みモデルを微調整するための、WikiTransferと呼ばれる新しい一般化可能な手法を紹介した。
- 参考スコア（独自算出の注目度）: 101.26235068460551
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Models pretrained with self-supervised objectives on large text corpora
achieve state-of-the-art performance on English text summarization tasks.
However, these models are typically fine-tuned on hundreds of thousands of data
points, an infeasible requirement when applying summarization to new, niche
domains. In this work, we introduce a novel and generalizable method, called
WikiTransfer, for fine-tuning pretrained models for summarization in an
unsupervised, dataset-specific manner. WikiTransfer fine-tunes pretrained
models on pseudo-summaries, produced from generic Wikipedia data, which contain
characteristics of the target dataset, such as the length and level of
abstraction of the desired summaries. WikiTransfer models achieve
state-of-the-art, zero-shot abstractive summarization performance on the
CNN-DailyMail dataset and demonstrate the effectiveness of our approach on
three additional diverse datasets. These models are more robust to noisy data
and also achieve better or comparable few-shot performance using 10 and 100
training examples when compared to few-shot transfer from other summarization
datasets. To further boost performance, we employ data augmentation via
round-trip translation as well as introduce a regularization term for improved
few-shot transfer. To understand the role of dataset aspects in transfer
performance and the quality of the resulting output summaries, we further study
the effect of the components of our unsupervised fine-tuning data and analyze
few-shot performance using both automatic and human evaluation.
- Abstract（参考訳）: 大文字コーパスの自己教師付き目標で事前学習されたモデルは、英語テキスト要約タスクで最先端のパフォーマンスを達成する。
しかし、これらのモデルは典型的には数十万のデータポイントで微調整され、新しいニッチなドメインに要約を適用する際には実現不可能な要件である。
本稿では,教師なし,データセットに特有な方法で要約用事前学習モデルの微調整を行うための,wikitransferと呼ばれる新規で一般化可能な手法を提案する。
ウィキトランスファー(WikiTransfer)は、ウィキペディアのデータから作成された擬似サマリーの微調整済みモデルであり、所望のサマリーの長さや抽象化レベルなどのターゲットデータセットの特徴を含んでいる。
ウィキトランスファーモデルは,cnn-dailymailデータセット上で最先端のゼロショット要約性能を実現し,さらに3つの多様なデータセットに対する提案手法の有効性を実証する。
これらのモデルは、ノイズの多いデータに対してより堅牢であり、他の要約データセットからの少数ショット転送と比較して、10と100のトレーニング例を使用して、より良いあるいは同等の数ショットのパフォーマンスを達成する。
性能をさらに高めるため,ラウンドトリップ変換によるデータ拡張を行うとともに,改良されたマイナショット転送のための正規化用語を導入する。
転送性能と出力サマリーの品質におけるデータセットの役割を理解するため,教師なし微調整データのコンポーネントの影響についてさらに検討し,自動評価と人的評価の両方を用いて少数ショットのパフォーマンスを解析した。
関連論文リスト
- A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。
データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。
より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-15T03:00:58Z) - Not All Data Matters: An End-to-End Adaptive Dataset Pruning Framework
for Enhancing Model Performance and Efficiency [9.460023981858319]
本稿では,AdaPruner と呼ばれる適応型 DAtaset PRUNing フレームワークを提案する。
AdaPrunerは、冗長なサンプルを期待プルーニング比率に反復的にプルークする。
トレーニングデータの最大10～30%をプルーニングしても、モデルパフォーマンスを著しく向上させることができる。
論文 参考訳（メタデータ） (2023-12-09T16:01:21Z) - ProGen: Progressive Zero-shot Dataset Generation via In-context Feedback [21.168991554983815]
本稿では,プログレッシブなゼロショットデータセット生成フレームワークであるProGenを提案する。
ProGenは、1%の合成データセットサイズで、オンパーまたは優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-10-22T02:07:10Z) - Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。
共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。
さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
論文 参考訳（メタデータ） (2022-07-08T10:25:47Z) - Efficient Few-Shot Fine-Tuning for Opinion Summarization [83.76460801568092]
抽象的な要約モデルは、典型的には大量のジェネリックテキストで事前訓練され、数万から数十万の注釈付きサンプルで微調整される。
アダプタをベースとした数ショット法では,ドメイン内の知識を容易に保存できることを示す。
この自己教師型アダプタの事前トレーニングにより,AmazonとYelpのデータセット上の2.0および1.3ROUGE-Lポイントの要約品質が向上することを示す。
論文 参考訳（メタデータ） (2022-05-04T16:38:37Z) - MSeg: A Composite Dataset for Multi-domain Semantic Segmentation [100.17755160696939]
セマンティックセグメンテーションデータセットを異なるドメインから統合する合成データセットであるMSegを提案する。
一般化と画素レベルのアノテーションのアライメントを調整し,2万枚以上のオブジェクトマスクを8万枚以上の画像で再現する。
MSegでトレーニングされたモデルは、WildDash-v1のリーダーボードで、トレーニング中にWildDashのデータに触れることなく、堅牢なセマンティックセグメンテーションのためにランク付けされている。
論文 参考訳（メタデータ） (2021-12-27T16:16:35Z) - CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural
Summarization Systems [121.78477833009671]
データセット間設定下での様々な要約モデルの性能について検討する。
異なるドメインの5つのデータセットに対する11の代表的な要約システムに関する包括的な研究は、モデルアーキテクチャと生成方法の影響を明らかにしている。
論文 参考訳（メタデータ） (2020-10-11T02:19:15Z) - Learning to summarize from human feedback [18.964548137315333]
人間の嗜好を最適化するモデルを訓練することで、要約品質を著しく改善できることを示す。
我々は、Reddit投稿のTL;DRデータセットのバージョンに適用し、我々のモデルは、人間の参照サマリーと、教師付き学習だけで微調整されたはるかに大きなモデルの両方を著しく上回っていることを発見した。
我々のモデルは、CNN/DMニュース記事にも移行し、ニュース特有の微調整なしに、人間の参照とほぼ同等の要約を生成する。
論文 参考訳（メタデータ） (2020-09-02T19:54:41Z) - Abstractive Summarization for Low Resource Data using Domain Transfer
and Data Synthesis [1.148539813252112]
本稿では,近年の抽象的な要約手法の性能向上のために,ドメイン転送とデータ合成について検討する。
新聞データに基づいて訓練された美術モデルのチューニング状態は、学生の反射データの性能を高める可能性があることを示す。
トレーニングに組み込むとROUGEスコアがさらに増加するテンプレートベースの新しいデータを合成するモデルを提案する。
論文 参考訳（メタデータ） (2020-02-09T17:49:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。