論文の概要: Noised Consistency Training for Text Summarization

• arxiv url: http://arxiv.org/abs/2105.13635v1
• Date: Fri, 28 May 2021 07:21:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-31 13:40:17.473258
• Title: Noised Consistency Training for Text Summarization
• Title（参考訳）: テキスト要約のための雑音整合性トレーニング
• Authors: Junnan Liu, Qianren Mao, Bang Liu, Hao Peng, Hongdong Zhu, Jianxin Li
• Abstract要約: 整合性トレーニングは半教師付きアプローチによって克服できると主張している。 我々は,大量のラベル付きデータを活用することで,ラベル付きデータセットが不十分な場合の教師あり学習性能が向上することを確認した。
• 参考スコア（独自算出の注目度）: 23.16890559954038
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural abstractive summarization methods often require large quantities of labeled training data. However, labeling large amounts of summarization data is often prohibitive due to time, financial, and expertise constraints, which has limited the usefulness of summarization systems to practical applications. In this paper, we argue that this limitation can be overcome by a semi-supervised approach: consistency training which is to leverage large amounts of unlabeled data to improve the performance of supervised learning over a small corpus. The consistency regularization semi-supervised learning can regularize model predictions to be invariant to small noise applied to input articles. By adding noised unlabeled corpus to help regularize consistency training, this framework obtains comparative performance without using the full dataset. In particular, we have verified that leveraging large amounts of unlabeled data decently improves the performance of supervised learning over an insufficient labeled dataset.
• Abstract（参考訳）: 神経抽象要約法は、しばしば大量のラベル付きトレーニングデータを必要とする。 しかし, 大量の要約データのラベル付けは, 時間, 財務, 専門知識の制約によって禁止されることが多く, 要約システムの実用性に限界がある。 本稿では、この制限を半教師付きアプローチによって克服できると論じる: 大量のラベルのないデータを活用して、教師付き学習の性能を小さなコーパスで向上させる一貫性トレーニングである。 一貫性正規化半教師付き学習は、入力記事に適用される小さな雑音に不変なモデル予測を定式化することができる。 このフレームワークは、一貫性トレーニングを規則化するのに役立つノイズのないコーパスを追加することで、完全なデータセットを使用せずに比較パフォーマンスを得る。 特に,ラベルのない大量のデータを活用することで,ラベル付きデータセットの不足による教師付き学習のパフォーマンスが向上していることを確認した。

関連論文リスト

• Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
  そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。 誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。 ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-26T12:43:25Z)
• Soft Curriculum for Learning Conditional GANs with Noisy-Labeled and Uncurated Unlabeled Data [70.25049762295193]
  本稿では,トレーニング中にノイズラベル付きおよび未処理データを受け入れる条件付き画像生成フレームワークを提案する。 本稿では,ラベルのないデータに新たなラベルを割り当てながら,逆行訓練にインスタンスワイドを割り当てるソフトカリキュラム学習を提案する。 実験により,本手法は,定量および定性性能の両面において,既存の半教師付き・ラベル付きロバストな手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-17T08:31:59Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Controller-Guided Partial Label Consistency Regularization with Unlabeled Data [49.24911720809604]
  本稿では,ラベルレベルと表現レベルの両方において,コントローラ誘導整合正則化を提案する。 信頼度閾値を動的に調整し、整合正則化に参加する各クラスのサンプル数が大まかに等しいようにし、クラス不均衡の問題を緩和する。
  論文  参考訳（メタデータ） (2022-10-20T12:15:13Z)
• An Embarrassingly Simple Approach to Semi-Supervised Few-Shot Learning [58.59343434538218]
  間接学習の観点から、ラベルなしデータの正負の擬似ラベルを正確に予測するための、単純だが非常に効果的な手法を提案する。 私たちのアプローチは、オフザシェルフ操作のみを使用することで、ほんの数行のコードで実装できます。
  論文  参考訳（メタデータ） (2022-09-28T02:11:34Z)
• Contrastive Regularization for Semi-Supervised Learning [46.020125061295886]
  そこで本稿では, ラベルのないデータの特徴量により, 整合正則化の効率性と精度を両立させるために, 対照的な正則化を提案する。 また,提案手法は,ラベルなしデータに分布しないサンプルを含むオープンセット半教師付き学習において,頑健な性能を示す。
  論文  参考訳（メタデータ） (2022-01-17T07:20:11Z)
• Self-Training with Weak Supervision [32.68342091430266]
  最先端のディープニューラルネットワークには、多くのタスクで入手するのに高価な大規模なラベル付きトレーニングデータが必要です。 ドメイン固有のルールの形での弱い監視は、そのような設定で有用であることが示されている。 我々は、与えられたタスクに利用可能なすべてのデータを活用する弱い監視フレームワーク(ASTRA)を開発する。
  論文  参考訳（メタデータ） (2021-04-12T14:45:04Z)
• Learning to Count in the Crowd from Limited Labeled Data [109.2954525909007]
  我々は,限られた数のラベル付きサンプルから参加者を数えることを学ぶことで,アノテーションの努力を減らすことに重点を置いている。 具体的には,未ラベルデータに対する擬似地下真理推定を含むガウス過程に基づく反復学習機構を提案する。
  論文  参考訳（メタデータ） (2020-07-07T04:17:01Z)
• Learning from Imperfect Annotations [15.306536555936692]
  現在、多くの機械学習システムは、大量の人間の注釈付きデータに基づいて訓練されている。 モデルトレーニングとアグリゲーションステップをマージすることを可能にする新しいエンドツーエンドフレームワークを提案する。 アノテーションを集約する現在の最先端アプローチに比べて、精度が最大25%向上していることを示す。
  論文  参考訳（メタデータ） (2020-04-07T15:21:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。