論文の概要: s2s-ft: Fine-Tuning Pretrained Transformer Encoders for Sequence-to-Sequence Learning

• arxiv url: http://arxiv.org/abs/2110.13640v1
• Date: Tue, 26 Oct 2021 12:45:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-27 15:01:48.414633
• Title: s2s-ft: Fine-Tuning Pretrained Transformer Encoders for Sequence-to-Sequence Learning
• Title（参考訳）: s2s-ft:シーケンス列学習のための微調整事前学習トランスエンコーダ
• Authors: Hangbo Bao, Li Dong, Wenhui Wang, Nan Yang, Furu Wei
• Abstract要約: 条件付き生成タスクに予めトレーニングされたトランスフォーマーを採用するシーケンス・ツー・シーケンスの微調整ツールキット s2s-ft を提案する。 S2s-ftは抽象的な要約と質問生成のベンチマークで高い性能を達成する。
• 参考スコア（独自算出の注目度）: 47.30689555136054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained bidirectional Transformers, such as BERT, have achieved significant improvements in a wide variety of language understanding tasks, while it is not straightforward to directly apply them for natural language generation. In this paper, we present a sequence-to-sequence fine-tuning toolkit s2s-ft, which adopts pretrained Transformers for conditional generation tasks. Inspired by UniLM, we implement three sequence-to-sequence fine-tuning algorithms, namely, causal fine-tuning, masked fine-tuning, and pseudo-masked fine-tuning. By leveraging the existing pretrained bidirectional Transformers, experimental results show that s2s-ft achieves strong performance on several benchmarks of abstractive summarization, and question generation. Moreover, we demonstrate that the package s2s-ft supports both monolingual and multilingual NLG tasks. The s2s-ft toolkit is available at https://github.com/microsoft/unilm/tree/master/s2s-ft.
• Abstract（参考訳）: BERTのような事前訓練された双方向トランスフォーマーは、様々な言語理解タスクにおいて大幅に改善されているが、自然言語生成に直接適用することは容易ではない。 本稿では,条件付き生成タスクにプリトレーニングトランスを用いたs2s-ftについて述べる。 unilmに触発され,因果的微調整,マスク付き微調整,擬似マスク微調整という3つの逐次的微調整アルゴリズムを実装した。 既存の事前訓練された双方向変換器を利用することで、s2s-ftは抽象的な要約と質問生成のベンチマークで高い性能を発揮することを示す。 さらに、s2s-ftパッケージは単言語および多言語NLGタスクの両方をサポートすることを示した。 s2s-ftツールキットはhttps://github.com/microsoft/unilm/tree/master/s2s-ftで入手できる。

関連論文リスト

• Generative Pretrained Structured Transformers: Unsupervised Syntactic Language Models at Scale [36.584680344291556]
  原文のスクラッチから事前学習が可能な大規模教師なしSLM(Generative Pretrained Structured Transformers, GPST)を提案する。 GPSTは、ゴールドツリーやシーケンシャルトレーニングなど、以前のSLMの制限を回避している。 GPSTは、左から右への文法誘導において、既存の教師なしSLMを著しく上回る。
  論文  参考訳（メタデータ） (2024-03-13T06:54:47Z)
• TranSFormer: Slow-Fast Transformer for Machine Translation [52.12212173775029]
  本稿では,TrantextbfSFormerと呼ばれる2ストリーム学習モデルを提案する。 我々のTranSFormerは、複数の機械翻訳ベンチマークにおいて、BLEUの一貫性のある改善(BLEU点よりも大きい)を示す。
  論文  参考訳（メタデータ） (2023-05-26T14:37:38Z)
• Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
  マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。 次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
  論文  参考訳（メタデータ） (2022-05-02T21:41:14Z)
• Transformer over Pre-trained Transformer for Neural Text Segmentation with Enhanced Topic Coherence [6.73258176462356]
  それは、事前訓練されたトランスフォーマーを用いたボトムレベル文エンコーダと、文埋め込みに基づく上位レベルのトランスフォーマーベースのセグメンテーションモデルである。 実験の結果、Transformer$2$は、一般的に使われているセマンティックコヒーレンス尺度によって、最先端のテキストセグメンテーションモデルを超えていることがわかった。
  論文  参考訳（メタデータ） (2021-10-14T05:26:39Z)
• Duplex Sequence-to-Sequence Learning for Reversible Machine Translation [53.924941333388155]
  機械翻訳のようなシーケンス・ツー・シーケンス(seq2seq)問題は双方向である。 我々は、em二重化seq2seqニューラルネットワークを提案し、機械翻訳に適用する。 広く使用されている機械翻訳ベンチマークの実験は、REDERがリバーシブル機械翻訳の最初の成功を達成することを検証します。
  論文  参考訳（メタデータ） (2021-05-07T18:21:57Z)
• Adapting Pretrained Transformer to Lattices for Spoken Language Understanding [39.50831917042577]
  ASR(Automatic Speech Recognitionr)が生成した1-best結果とは対照的に格子の符号化により,音声言語理解(SLU)の性能が向上することが示されている。 本稿では,事前学習したトランスフォーマーを格子入力に適用し,音声言語に特化して理解タスクを実行することを目的とする。
  論文  参考訳（メタデータ） (2020-11-02T07:14:34Z)
• Incremental Processing in the Age of Non-Incremental Encoders: An Empirical Assessment of Bidirectional Models for Incremental NLU [19.812562421377706]
  双方向LSTMとTransformerは、エンコードされるシーケンスがフルである、と仮定する。 インクリメンタルなインタフェースの下でどのように振る舞うかを、部分的な出力が提供される必要があるか検討する。 その結果,非インクリメンタルな品質を維持しつつ,双方向エンコーダをインクリメンタルモードで使用することが可能になった。
  論文  参考訳（メタデータ） (2020-10-11T19:51:21Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)
• Multi-level Head-wise Match and Aggregation in Transformer for Textual Sequence Matching [87.97265483696613]
  そこで本研究では,複数のレベルにおける頭部のマッチング表現を学習することで,Transformerとのシーケンスペアマッチングを新たに提案する。 実験の結果,提案手法は複数のタスクにおいて新しい最先端性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2020-01-20T20:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。