論文の概要: Improving Language Generation with Sentence Coherence Objective

• arxiv url: http://arxiv.org/abs/2009.06358v1
• Date: Mon, 7 Sep 2020 06:10:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 02:04:07.378792
• Title: Improving Language Generation with Sentence Coherence Objective
• Title（参考訳）: 文コヒーレンス目標による言語生成の改善
• Authors: Ruixiao Sun, Jie Yang, Mehrdad Yousefzadeh
• Abstract要約: 既存のモデルは、与えられたプロンプトから徐々に分岐するテキストの段落を出力する傾向がある。 このプロジェクトの目的は、言語生成モデルにおける文間の一貫性と一貫性を改善することである。
• 参考スコア（独自算出の注目度）: 4.997730662279843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conditional story generation and contextual text continuation have become increasingly popular topics in NLP community. Existing models are often prone to output paragraphs of texts that gradually diverge from the given prompt. Although the generated text may have a reasonable perplexity and diversity, it could easily be identified by human as gibberish. The goal of our project is to improve the coherence and consistency across sentences in a language-generation model. We aim to solve this issue by first training a sentence pair coherence classifier with GPT-2 pretrained model, and then co-train the GPT-2 language model with this new coherence objective using a method analogous to the REINFORCE algorithm. This fine-tuned language model is able to generate lengthy paragraph conditioned on a given topic without diverging too much. The simplicity of this model allows it to be applicable to a variety of underlying language model architecture since it only modifies the final layer of the pre-trained model.
• Abstract（参考訳）: 条件付きストーリー生成と文脈テキスト継続は、NLPコミュニティでますます人気が高まっている。 既存のモデルは、与えられたプロンプトから徐々に逸脱するテキストの段落を出力する傾向がある。 生成されたテキストは合理的なパープレキシティと多様性を持っているかもしれないが、人間によって簡単にギブベリッシュと識別できる。 私たちのプロジェクトの目標は、言語生成モデルにおける文間の一貫性と一貫性を改善することです。 本稿では,まずGPT-2事前学習モデルを用いて文対コヒーレンス分類器を訓練し,次にREINFORCEアルゴリズムに類似した手法を用いて,新たなコヒーレンス目標を用いてGPT-2言語モデルを訓練する。 この微調整された言語モデルは、あまり分岐することなく、あるトピックで条件付けられた長い段落を生成することができる。 このモデルの単純さは、事前訓練されたモデルの最終層だけを変更するため、様々な基礎となる言語モデルアーキテクチャに適用することができる。

関連論文リスト

• Pre-trained Language Models Do Not Help Auto-regressive Text-to-Image Generation [82.5217996570387]
  我々は,自動回帰テキスト・画像生成のための事前学習言語モデルを適用した。 事前訓練された言語モデルは限られた助けを提供する。
  論文  参考訳（メタデータ） (2023-11-27T07:19:26Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• TopNet: Learning from Neural Topic Model to Generate Long Stories [43.5564336855688]
  Long Story Generation (LSG) は自然言語処理における目標の1つである。 短い入力を補完する高品質なスケルトン語を得るために,emphTopNetを提案する。 提案手法は骨格語選択に極めて有効であり, 自動評価と人的評価の両方において最先端のモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-12-14T09:47:53Z)
• Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence [59.51720326054546]
  本稿では,デコード処理における文レベルと談話レベルにおけるプレフィックス文を表現可能な長文生成モデルを提案する。 我々のモデルは最先端のベースラインよりも一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2021-05-19T07:29:08Z)
• Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models [62.41139712595334]
  中国語のための新しい事前学習パラダイムであるLattice-BERTを提案する。 文中の文字や単語から格子グラフを構築し、これらすべてのテキスト単位をトランスフォーマーに供給します。 本モデルが12層設定で平均1.5%の増加をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-04-15T02:36:49Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。