論文の概要: CoNT: Contrastive Neural Text Generation
- arxiv url: http://arxiv.org/abs/2205.14690v1
- Date: Sun, 29 May 2022 15:18:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-31 16:19:40.416869
- Title: CoNT: Contrastive Neural Text Generation
- Title（参考訳）: CoNT: 対照的なニューラルテキスト生成
- Authors: Chenxin An, Jiangtao Feng, Kai Lv, Lingpeng Kong, Xipeng Qiu and
Xuanjing Huang
- Abstract要約: 対照的なニューラルテキスト生成フレームワークであるCoNTが紹介される。
CoNTは、コントラスト学習が生成タスクで広く採用されるのを防ぐボトルネックに対処する。
我々は,機械翻訳,要約,コードコメント生成,データ-テキスト生成,コモンセンス生成を含む10のベンチマークを用いて,CoNTを5世代タスクで検証する。
- 参考スコア（独自算出の注目度）: 83.06110291932751
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, contrastive learning attracts increasing interests in neural text
generation as a new solution to alleviate the exposure bias problem. It
introduces a sequence-level training signal which is crucial to generation
tasks that always rely on auto-regressive decoding. However, previous methods
using contrastive learning in neural text generation usually lead to inferior
performance. In this paper, we analyse the underlying reasons and propose a new
Contrastive Neural Text generation framework, CoNT. CoNT addresses bottlenecks
that prevent contrastive learning from being widely adopted in generation tasks
from three aspects -- the construction of contrastive examples, the choice of
the contrastive loss, and the strategy in decoding. We validate CoNT on five
generation tasks with ten benchmarks, including machine translation,
summarization, code comment generation, data-to-text generation and commonsense
generation. Experimental results show that CoNT clearly outperforms the
conventional training framework on all the ten benchmarks with a convincing
margin. Especially, CoNT surpasses previous the most competitive contrastive
learning method for text generation, by 1.50 BLEU on machine translation and
1.77 ROUGE-1 on summarization, respectively. It achieves new state-of-the-art
on summarization, code comment generation (without external data) and
data-to-text generation.
- Abstract（参考訳）: 近年、露出バイアス問題を緩和する新たなソリューションとして、コントラスト学習がニューラルテキスト生成への関心を高めている。
自動回帰復号に常に依存するタスクを生成するのに不可欠なシーケンスレベルのトレーニング信号を導入する。
しかしながら、ニューラルテキスト生成におけるコントラスト学習を用いた従来の手法は、通常、性能が劣る。
本稿では,その基礎となる理由を分析し,新しいコントラスト型ニューラルテキスト生成フレームワークであるCoNTを提案する。
CoNTは、コントラスト学習が生成タスクにおいて3つの側面から広く採用されるのを防ぐボトルネック、すなわち、コントラスト的な例の構築、コントラスト的な損失の選択、デコーディングの戦略に対処する。
我々は,機械翻訳,要約,コードコメント生成,データ-テキスト生成,コモンセンス生成を含む10のベンチマークを用いて,CoNTを5世代タスクで検証する。
実験結果から、CoNTは従来のトレーニングフレームワークよりも、説得力のあるマージンを持つ10のベンチマークで明らかに優れていた。
特に、CoNTは、機械翻訳における1.50 BLEUと要約における1.77 ROUGE-1という、テキスト生成における最も競争力のあるコントラスト学習手法をそれぞれ上回っている。
要約、コードコメント生成(外部データなし)、データ対テキスト生成に関する新たな最先端を実現する。
関連論文リスト
- Unsupervised Text Embedding Space Generation Using Generative
Adversarial Networks for Text Synthesis [0.43512163406551996]
本稿では,テキスト埋め込み空間生成支援ネットワーク(TESGAN)を提案する。
TESGANは、トレーニングデータのテキストを直接参照しない教師なし学習を行い、データの記憶問題を克服する。
論文 参考訳（メタデータ） (2023-06-19T10:22:12Z) - KEST: Kernel Distance Based Efficient Self-Training for Improving
Controllable Text Generation [24.47531522553703]
我々は,これらの問題に対処するための,新規かつ効率的な自己学習フレームワークであるKESTを提案する。
KESTは、標準的なクロスエントロピーではなくカーネルベースの損失を利用して、共有非自己回帰生成器によって生成されたソフトな擬似テキストから学習する。
3つの制御可能な生成タスクの実験により、KESTは、複数の強いベースラインに対して、同等のテキスト流速と生成の多様性を維持しながら、制御精度を著しく向上することを示した。
論文 参考訳（メタデータ） (2023-06-17T19:40:57Z) - MOCHA: A Multi-Task Training Approach for Coherent Text Generation from
Cognitive Perspective [22.69509556890676]
本稿では,文章の認知理論に基づくコヒーレントテキスト生成のための新しいマルチタスク学習戦略を提案する。
我々は,物語生成,ニュース記事作成,議論生成という3つのオープンエンド世代タスクに対して,我々のモデルを広範囲に評価する。
論文 参考訳（メタデータ） (2022-10-26T11:55:41Z) - A Contrastive Framework for Neural Text Generation [46.845997620234265]
モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。
モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
論文 参考訳（メタデータ） (2022-02-13T21:46:14Z) - Decoding Methods for Neural Narrative Generation [74.37264021226308]
ナラティブ生成(英: Narrative generation)とは、モデルがプロンプトを与えられたストーリーを生成するオープンエンドのNLPタスクである。
ニューラル・ナラティブ・ジェネレーションに対するニューラル・レスポンス・ジェネレーションのためのデコード手法の適用と評価を行った。
論文 参考訳（メタデータ） (2020-10-14T19:32:56Z) - Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。
テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。
提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
論文 参考訳（メタデータ） (2020-10-12T19:42:25Z) - Learning Implicit Text Generation via Feature Matching [31.782724169557703]
生成的特徴マッチングネットワーク(GFMN)は、画像の暗黙的生成モデルを訓練するためのアプローチである。
逐次データに有効な新しいGFMNの定式化を提案する。
論文 参考訳（メタデータ） (2020-05-07T16:16:24Z) - POINTER: Constrained Progressive Text Generation via Insertion-based
Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。
提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。
結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文 参考訳（メタデータ） (2020-05-01T18:11:54Z) - PALM: Pre-training an Autoencoding&Autoregressive Language Model for
Context-conditioned Generation [92.7366819044397]
自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。
本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。
広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
論文 参考訳（メタデータ） (2020-04-14T06:25:36Z) - TextGAIL: Generative Adversarial Imitation Learning for Text Generation [68.3579946817937]
本稿では,大規模な事前学習言語モデルを用いて,より信頼性の高い報酬ガイダンスを提供するテキスト生成のための生成逆模倣学習フレームワークを提案する。
提案手法では, テキスト生成性能の安定化と向上のために, コントラスト判別器とPPOを用いた。
論文 参考訳（メタデータ） (2020-04-07T00:24:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。