論文の概要: Curriculum-Guided Abstractive Summarization
- arxiv url: http://arxiv.org/abs/2302.01342v1
- Date: Thu, 2 Feb 2023 11:09:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-06 18:33:57.546490
- Title: Curriculum-Guided Abstractive Summarization
- Title（参考訳）: カリキュラムガイドによる抽象要約
- Authors: Sajad Sotudeh, Hanieh Deilamsalehy, Franck Dernoncourt, Nazli Goharian
- Abstract要約: 最近のTransformerベースの要約モデルは、抽象的な要約に有望なアプローチを提供してきた。
これらのモデルには2つの欠点がある:(1)コンテンツ選択が不十分な場合が多く、(2)トレーニング戦略があまり効率的ではないため、モデルの性能が制限される。
本稿では,これらの落とし穴を補うための2つの方法について検討する。まず,デコーダ内に文のクロスアテンションモジュールを配置することでトランスフォーマーネットワークを拡張し,より健全なコンテンツの抽象化を促進する。
- 参考スコア（独自算出の注目度）: 45.57561926145256
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent Transformer-based summarization models have provided a promising
approach to abstractive summarization. They go beyond sentence selection and
extractive strategies to deal with more complicated tasks such as novel word
generation and sentence paraphrasing. Nonetheless, these models have two
shortcomings: (1) they often perform poorly in content selection, and (2) their
training strategy is not quite efficient, which restricts model performance. In
this paper, we explore two orthogonal ways to compensate for these pitfalls.
First, we augment the Transformer network with a sentence cross-attention
module in the decoder, encouraging more abstraction of salient content. Second,
we include a curriculum learning approach to reweight the training samples,
bringing about an efficient learning procedure. Our second approach to enhance
the training strategy of Transformers networks makes stronger gains as compared
to the first approach. We apply our model on extreme summarization dataset of
Reddit TIFU posts. We further look into three cross-domain summarization
datasets (Webis-TLDR-17, CNN/DM, and XSum), measuring the efficacy of
curriculum learning when applied in summarization. Moreover, a human evaluation
is conducted to show the efficacy of the proposed method in terms of
qualitative criteria, namely, fluency, informativeness, and overall quality.
- Abstract（参考訳）: 最近のトランスフォーマイゼーションモデルは抽象的要約に有望なアプローチを提供している。
文選択や抽出戦略を超越して、新しい単語生成や文言い換えといったより複雑なタスクに対処する。
にもかかわらず、これらのモデルには2つの欠点がある:(1)コンテンツ選択が不十分な場合が多く、(2)トレーニング戦略があまり効率的ではないため、モデルの性能が制限される。
本稿では,これらの落とし穴を補う2つの直交法について検討する。
まず,デコーダ内の文クロスアテンションモジュールでTransformerネットワークを拡張し,適切なコンテンツの抽象化を促進する。
第2に,トレーニングサンプルの重み付けを行い,効率的な学習手順を実現するためのカリキュラム学習手法を提案する。
トランスフォーマーネットワークのトレーニング戦略を強化するための第2のアプローチは,第1のアプローチと比較して,強力な成果を上げています。
我々はReddit TIFUポストの極端な要約データセットに適用する。
さらに3つのドメイン間要約データセット(Webis-TLDR-17, CNN/DM, XSum)を調べ, 要約に適用した場合のカリキュラム学習の有効性を測定した。
さらに,提案手法の有効性を,質的基準,すなわち,流動性,情報性,総合的品質で示すために,人間による評価を行った。
関連論文リスト
- An Active Learning Framework for Inclusive Generation by Large Language Models [32.16984263644299]
大規模言語モデル(LLM)は、多様なサブ集団を表すテキストを生成する。
本稿では,知識蒸留により強化されたクラスタリングに基づくアクティブラーニングフレームワークを提案する。
2つの新しいデータセットをモデルトレーニングと組み合わせて構築し、ベースラインモデルよりも2%-10%の性能向上を示した。
論文 参考訳（メタデータ） (2024-10-17T15:09:35Z) - CLearViD: Curriculum Learning for Video Description [3.5293199207536627]
ビデオ記述は、与えられたビデオの内容をナレーションするコヒーレントな自然言語文を自動的に生成する。
本稿では,ビデオ記述生成のためのトランスフォーマーベースモデルであるCLearViDを紹介する。
ActivityNet CaptionsとYouCook2という2つのデータセットの結果から、CLearViDは精度と多様性の両方の観点から既存の最先端モデルよりも大幅に優れています。
論文 参考訳（メタデータ） (2023-11-08T06:20:32Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Learning with Rejection for Abstractive Text Summarization [42.15551472507393]
本稿では,拒絶学習に基づく抽象的な要約のための学習目標を提案する。
本手法は, 自動評価と人的評価において, 生成した要約の事実性を大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-02-16T19:07:08Z) - An Imitation Learning Curriculum for Text Editing with
Non-Autoregressive Models [22.996178360362734]
機械翻訳のための模倣学習アルゴリズムは、訓練と推論のミスマッチを導入し、編集シナリオの過小評価や一般化に繋がることを示した。
制御可能なテキストの単純化と抽象的な要約という2つの難解な英語編集作業に対して,これらの戦略の有効性を示す。
論文 参考訳（メタデータ） (2022-03-17T17:36:23Z) - Improving Zero and Few-Shot Abstractive Summarization with Intermediate
Fine-tuning and Data Augmentation [101.26235068460551]
大規模テキストコーパス上での自己教師対象による事前学習モデルは、英語テキスト要約タスクにおける最先端のパフォーマンスを達成する。
モデルは通常、数十万のデータポイントで微調整されるが、これは新しいニッチなドメインに要約を適用する際に、実現不可能な要件である。
我々は、教師なし、データセット固有の方法で要約のための訓練済みモデルを微調整するための、WikiTransferと呼ばれる新しい一般化可能な手法を紹介した。
論文 参考訳（メタデータ） (2020-10-24T08:36:49Z) - On Learning Text Style Transfer with Direct Rewards [101.97136885111037]
平行コーパスの欠如により、テキストスタイルの転送タスクの教師付きモデルを直接訓練することは不可能である。
我々は、当初、微調整されたニューラルマシン翻訳モデルに使用されていた意味的類似度指標を活用している。
我々のモデルは、強いベースラインに対する自動評価と人的評価の両方において大きな利益をもたらす。
論文 参考訳（メタデータ） (2020-10-24T04:30:02Z) - Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。
我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。
実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
論文 参考訳（メタデータ） (2020-10-06T02:51:02Z) - Dynamic Data Selection and Weighting for Iterative Back-Translation [116.14378571769045]
本稿では,反復的バックトランスレーションモデルのためのカリキュラム学習戦略を提案する。
我々は、ドメイン適応、低リソース、高リソースMT設定に関するモデルを評価する。
実験の結果,提案手法は競争基準値よりも最大1.8 BLEU点の改善を達成できた。
論文 参考訳（メタデータ） (2020-04-07T19:49:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。