論文の概要: Noisy Self-Knowledge Distillation for Text Summarization
- arxiv url: http://arxiv.org/abs/2009.07032v2
- Date: Tue, 27 Jul 2021 15:38:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 06:07:04.993269
- Title: Noisy Self-Knowledge Distillation for Text Summarization
- Title（参考訳）: テキスト要約のためのノイズ自己知識蒸留
- Authors: Yang Liu, Sheng Shen, Mirella Lapata
- Abstract要約: 我々は, テキスト要約に自己知識蒸留を適用し, 最大習熟時の問題を緩和できると考えている。
学生要約モデルは,学習の正規化を支援するスムーズなラベルを生成する教師の指導によって訓練される。
筆者らは,3つのベンチマークを用いて,事前学習と非事前学習の両方のパフォーマンス向上を実証した。
- 参考スコア（独自算出の注目度）: 83.49809205891496
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we apply self-knowledge distillation to text summarization
which we argue can alleviate problems with maximum-likelihood training on
single reference and noisy datasets. Instead of relying on one-hot annotation
labels, our student summarization model is trained with guidance from a teacher
which generates smoothed labels to help regularize training. Furthermore, to
better model uncertainty during training, we introduce multiple noise signals
for both teacher and student models. We demonstrate experimentally on three
benchmarks that our framework boosts the performance of both pretrained and
non-pretrained summarizers achieving state-of-the-art results.
- Abstract（参考訳）: 本稿では,テキスト要約に自己認識蒸留を応用し,単一参照と雑音データに対する最大類似度トレーニングの問題点を解消する。
学生の要約モデルは,1ホットのアノテーションラベルに頼るのではなく,スムーズなラベルを生成する教師の指導によってトレーニングを行う。
さらに,学習中の不確かさをモデル化するために,教師と生徒の両方に複数のノイズ信号を導入する。
我々は3つのベンチマークを実験的に検証し,このフレームワークが最先端結果を達成する事前学習と非訓練要約の両方のパフォーマンスを向上させることを示した。
関連論文リスト
- Learning with Rejection for Abstractive Text Summarization [42.15551472507393]
本稿では,拒絶学習に基づく抽象的な要約のための学習目標を提案する。
本手法は, 自動評価と人的評価において, 生成した要約の事実性を大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-02-16T19:07:08Z) - Distantly-Supervised Named Entity Recognition with Adaptive Teacher
Learning and Fine-grained Student Ensemble [56.705249154629264]
NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。
本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。
微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
論文 参考訳（メタデータ） (2022-12-13T12:14:09Z) - Distant finetuning with discourse relations for stance classification [55.131676584455306]
そこで本研究では,定位分類のモデルとして,原文から銀ラベルでデータを抽出し,微調整する手法を提案する。
また,様々な段階において微調整に用いるデータのノイズレベルが減少する3段階のトレーニングフレームワークを提案する。
NLPCC 2021共有タスクArgumentative Text Understanding for AI Debaterでは,26の競合チームの中で1位にランクインした。
論文 参考訳（メタデータ） (2022-04-27T04:24:35Z) - CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in
Abstractive Summarization [6.017006996402699]
我々は、与えられた記事に忠実で事実に整合した抽象的な要約を生成することを研究する。
参照要約を正のトレーニングデータとして活用し、誤要約を負のトレーニングデータとして自動生成し、両者を区別し易い要約システムを訓練する、新しいコントラスト学習定式化を提案する。
論文 参考訳（メタデータ） (2021-09-19T20:05:21Z) - Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。
そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
論文 参考訳（メタデータ） (2021-09-09T10:10:29Z) - Alleviating Exposure Bias via Contrastive Learning for Abstractive Text
Summarization [9.70720105464003]
コントラスト学習を活用して,低品質な要約の可能性を低減することを提案する。
提案手法は,異なるデータセット上での最先端モデルの性能を効果的に向上することを示した。
論文 参考訳（メタデータ） (2021-08-26T15:14:44Z) - Robustness of Accuracy Metric and its Inspirations in Learning with
Noisy Labels [51.66448070984615]
十分な数の雑音サンプルに対してトレーニング精度を最大化すると,ほぼ最適な分類器が得られることを示す。
検証のために、ノイズの多い検証セットが信頼できることを証明し、モデル選択のクリティカルな要求に対処する。
理論結果に動機づけられて,ノイズラベルをトレーニングしたモデルの特徴付けを行い,ノイズ検証セットの有用性を検証する。
論文 参考訳（メタデータ） (2020-12-08T03:37:47Z) - Learning Not to Learn in the Presence of Noisy Labels [104.7655376309784]
ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。
この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
論文 参考訳（メタデータ） (2020-02-16T09:12:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。