論文の概要: Enhanced Seq2Seq Autoencoder via Contrastive Learning for Abstractive Text Summarization

• arxiv url: http://arxiv.org/abs/2108.11992v1
• Date: Thu, 26 Aug 2021 18:45:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-30 14:19:54.627053
• Title: Enhanced Seq2Seq Autoencoder via Contrastive Learning for Abstractive Text Summarization
• Title（参考訳）: 抽象テキスト要約のためのコントラスト学習によるSeq2Seqオートエンコーダの強化
• Authors: Chujie Zheng, Kunpeng Zhang, Harry Jiannan Wang, Ling Fan, Zhe Wang
• Abstract要約: 抽象テキスト要約のためのコントラスト学習によるシーケンス・ツー・シーケンス(seq2seq)オートエンコーダを提案する。 本モデルは,多層双方向エンコーダと自動回帰デコーダを備えた標準トランスフォーマーアーキテクチャを採用する。 2つのデータセットで実験を行い、我々のモデルが既存のベンチマークより優れていることを示す。
• 参考スコア（独自算出の注目度）: 15.367455931848252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present a denoising sequence-to-sequence (seq2seq) autoencoder via contrastive learning for abstractive text summarization. Our model adopts a standard Transformer-based architecture with a multi-layer bi-directional encoder and an auto-regressive decoder. To enhance its denoising ability, we incorporate self-supervised contrastive learning along with various sentence-level document augmentation. These two components, seq2seq autoencoder and contrastive learning, are jointly trained through fine-tuning, which improves the performance of text summarization with regard to ROUGE scores and human evaluation. We conduct experiments on two datasets and demonstrate that our model outperforms many existing benchmarks and even achieves comparable performance to the state-of-the-art abstractive systems trained with more complex architecture and extensive computation resources.
• Abstract（参考訳）: 本稿では,抽象テキスト要約のためのコントラスト学習を通じて,シークエンシングシーケンス・ツー・シーケンス(seq2seq)オートエンコーダを提案する。 本モデルは,多層双方向エンコーダと自動回帰デコーダを備えた標準トランスフォーマーアーキテクチャを採用する。 そこで本研究では,自己指導型コントラスト学習と文レベルの文書拡張を併用する。 これら2つのコンポーネント、seq2seqオートエンコーダとコントラスト学習は、微調整によって共同で訓練され、ルージュスコアと人間評価に関するテキスト要約のパフォーマンスが向上する。 2つのデータセットの実験を行い、我々のモデルは既存のベンチマークよりも優れており、より複雑なアーキテクチャと広範な計算資源で訓練された最先端の抽象システムに匹敵するパフォーマンスを達成できることを示した。

関連論文リスト

• Sequence Shortening for Context-Aware Machine Translation [5.803309695504831]
  マルチエンコーダアーキテクチャの特殊な場合において,コントラストデータセットの精度が向上することを示す。 遅延グループと遅延選択という2つの新しい手法を導入し、ネットワークはトークンをグループ化するか、コンテキストとしてキャッシュされるトークンを選択する。
  論文  参考訳（メタデータ） (2024-02-02T13:55:37Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• UnitY: Two-pass Direct Speech-to-speech Translation with Discrete Units [64.61596752343837]
  本稿では,まずテキスト表現を生成し,離散音響単位を予測する2パス直接S2STアーキテクチャであるUnitYを提案する。 第1パスデコーダのサブワード予測によりモデル性能を向上させる。 提案手法は,第2パスのスペクトルを予測しても性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-12-15T18:58:28Z)
• E2S2: Encoding-Enhanced Sequence-to-Sequence Pretraining for Language Understanding and Generation [95.49128988683191]
  シークエンス・ツー・シークエンス(seq2seq)学習は、大規模事前学習言語モデルにおいて一般的な方法である。 本稿では,エンコーディング強化のseq2seq事前学習戦略,すなわちE2S2を提案する。 E2S2は、より効率的な自己教師付き情報をエンコーダに統合することで、Seq2seqモデルを改善する。
  論文  参考訳（メタデータ） (2022-05-30T08:25:36Z)
• Hierarchical Sketch Induction for Paraphrase Generation [79.87892048285819]
  本稿では、高密度符号化の分解を学習するHRQ-VAE(Hierarchical Refinement Quantized Variational Autoencoders)を紹介する。 HRQ-VAEを用いて、入力文の構文形式を階層化の経路としてエンコードすることで、テスト時の構文スケッチをより容易に予測できる。
  論文  参考訳（メタデータ） (2022-03-07T15:28:36Z)
• On Adversarial Robustness of Synthetic Code Generation [1.2559148369195197]
  本論文は, 逆数例の異なるクラスを通して, 有意なデータセットバイアスの存在を示す。 バイアスを低減し,有効性を示すために,いくつかのデータセット拡張手法を提案する。
  論文  参考訳（メタデータ） (2021-06-22T09:37:48Z)
• Sequence-to-Sequence Contrastive Learning for Text Recognition [29.576864819760498]
  本稿では,視覚表現のシーケンス間コントラスト学習(seqclr)のためのフレームワークを提案する。 手書きテキストとシーンテキストの実験では,学習した表現に基づいてテキストデコーダを訓練すると,非逐次コントラスト法よりも優れることを示す。
  論文  参考訳（メタデータ） (2020-12-20T09:07:41Z)
• Keyphrase Extraction with Dynamic Graph Convolutional Networks and Diversified Inference [50.768682650658384]
  キーワード抽出(KE)は、ある文書でカバーされている概念やトピックを正確に表現するフレーズの集合を要約することを目的としている。 最近のシークエンス・ツー・シークエンス(Seq2Seq)ベースの生成フレームワークはKEタスクで広く使われ、様々なベンチマークで競合性能を得た。 本稿では,この2つの問題を同時に解くために,動的グラフ畳み込みネットワーク(DGCN)を採用することを提案する。
  論文  参考訳（メタデータ） (2020-10-24T08:11:23Z)
• EASTER: Efficient and Scalable Text Recognizer [0.0]
  本稿では,機械印刷版と手書き版の両方で光学文字認識を行うための高能率かつスケーラブルなTExt認識器(EASTER)を提案する。 このモデルでは1次元畳み込み層を再帰なく利用し,データ量を大幅に削減した並列トレーニングを実現している。 また、オフライン手書きテキスト認識タスクにおいて、現在の最良の結果よりも改善点を示す。
  論文  参考訳（メタデータ） (2020-08-18T10:26:03Z)
• Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
  シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
  論文  参考訳（メタデータ） (2020-05-16T20:00:39Z)
• Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward [42.925345819778656]
  本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。 本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。 その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
  論文  参考訳（メタデータ） (2020-05-03T18:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。