論文の概要: GENIE: Large Scale Pre-training for Text Generation with Diffusion Model

• arxiv url: http://arxiv.org/abs/2212.11685v1
• Date: Thu, 22 Dec 2022 13:17:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-23 13:51:52.413367
• Title: GENIE: Large Scale Pre-training for Text Generation with Diffusion Model
• Title（参考訳）: GENIE:拡散モデルによるテキスト生成のための大規模事前学習
• Authors: Zhenghao Lin, Yeyun Gong, Yelong Shen, Tong Wu, Zhihao Fan, Chen Lin, Weizhu Chen, Nan Duan
• Abstract要約: GENIEは、Transformerと拡散を組み合わせたシーケンス・ツー・シーケンスのテキスト生成モデルである。 本研究では,拡散モデルの特徴を基礎として,連続段落認知という新しい事前学習手法を提案する。
• 参考スコア（独自算出の注目度）: 86.2022500090247
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a large-scale language pre-training for text GENeration using dIffusion modEl, which is named GENIE. GENIE is a pre-training sequence-to-sequence text generation model which combines Transformer and diffusion. The diffusion model accepts the latent information from the encoder, which is used to guide the denoising of the current time step. After multiple such denoise iterations, the diffusion model can restore the Gaussian noise to the diverse output text which is controlled by the input text. Moreover, such architecture design also allows us to adopt large scale pre-training on the GENIE. We propose a novel pre-training method named continuous paragraph denoise based on the characteristics of the diffusion model. Extensive experiments on the XSum, CNN/DailyMail, and Gigaword benchmarks shows that GENIE can achieves comparable performance with various strong baselines, especially after pre-training, the generation quality of GENIE is greatly improved. We have also conduct a lot of experiments on the generation diversity and parameter impact of GENIE. The code for GENIE will be made publicly available.
• Abstract（参考訳）: 本稿では,拡散モデルを用いたテキスト生成のための大規模言語としてgenieを提案する。 GENIEは、Transformerと拡散を組み合わせた、トレーニング済みのシーケンスからシーケンスまでのテキスト生成モデルである。 拡散モデルはエンコーダからの潜在情報を受け取り、現在の時間ステップの切り下げを導くために使用される。 このような繰り返しを複数繰り返すと、拡散モデルはガウスノイズを入力テキストによって制御される多様な出力テキストに復元することができる。 さらに、このようなアーキテクチャ設計により、GENIE上での大規模事前学習も可能となる。 拡散モデルの特徴に基づいて, 連続段落音化という新しい事前学習法を提案する。 XSum, CNN/DailyMail, Gigawordベンチマークの大規模な実験により、GENIEは様々な強力なベースラインで同等のパフォーマンスを達成できることが示されている。 我々はまた、GENIEの生成多様性とパラメータの影響について多くの実験を行った。 GENIEのコードは一般公開される予定だ。

関連論文リスト

• DIAGen: Diverse Image Augmentation with Generative Models [9.79392997282545]
  本稿では,コンピュータビジョンモデルにおける意味的多様性を高めるためにDIAGenを提案する。 本研究では,テキストからテキストへの生成モデルの一般的な知識を活用し,拡散モデルのイメージ生成を導く。 その結果,DIAGenは意味的多様性を高めるだけでなく,その後の分類器の性能も向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-26T19:09:13Z)
• Enforcing Paraphrase Generation via Controllable Latent Diffusion [60.82512050963046]
  textitLatent textitDiffusion textitParaphraser(LDP)を提案する。 実験により, LDPはベースラインに比べて改良され, 多様なパラフレーズ生成を達成できることが示された。
  論文  参考訳（メタデータ） (2024-04-13T09:24:32Z)
• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• SeqDiffuSeq: Text Diffusion with Encoder-Decoder Transformers [50.90457644954857]
  本研究では,拡散モデルを用いてシーケンス・ツー・シーケンスのテキスト生成を行う。 シーケンス・ツー・シーケンス生成のためのテキスト拡散モデルであるSeqDiffuSeqを提案する。 実験結果は、テキストの品質と推論時間の観点から、シーケンス・ツー・シーケンス生成の優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-20T15:16:24Z)
• Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
  CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
  論文  参考訳（メタデータ） (2022-04-14T08:16:28Z)
• Text Generation with Deep Variational GAN [16.3190206770276]
  原則的アプローチによるモード崩壊問題に対処するために,GANベースのジェネリックフレームワークを提案する。 私たちのモデルは高い多様性で現実的なテキストを生成できることを示します。
  論文  参考訳（メタデータ） (2021-04-27T21:42:13Z)
• Topical Language Generation using Transformers [4.795530213347874]
  本稿では,事前学習したLMとトピックモデリング情報を組み合わせることで,トピック言語生成(TLG)の新しいアプローチを提案する。 我々は,新しいパラメータと関数を導入して,生成したテキストに提示される話題特徴量に影響を与えるモデルを拡張する。 実験結果から,復号化の高速化とともに,コヒーレンシー,多様性,流線型性の向上が得られた。
  論文  参考訳（メタデータ） (2021-03-11T03:45:24Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• ERNIE-GEN: An Enhanced Multi-Flow Pre-training and Fine-tuning Framework for Natural Language Generation [44.21363470798758]
  ERNIE-GENは、シーケンス事前トレーニングと微調整のための拡張されたマルチフローシーケンスである。 学習と推論の相違を、補充生成機構とノイズ認識生成方式で橋渡しする。 単語単位で予測するのではなく、意味論的に完全であるスパンを連続的に予測するようにモデルを訓練する。
  論文  参考訳（メタデータ） (2020-01-26T02:54:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。