論文の概要: Diffusion Models for Non-autoregressive Text Generation: A Survey

• arxiv url: http://arxiv.org/abs/2303.06574v1
• Date: Sun, 12 Mar 2023 05:11:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 18:04:02.745188
• Title: Diffusion Models for Non-autoregressive Text Generation: A Survey
• Title（参考訳）: 非自己回帰テキスト生成のための拡散モデル:調査
• Authors: Yifan Li, Kun Zhou, Wayne Xin Zhao, Ji-Rong Wen
• Abstract要約: 非自己回帰(NAR)テキスト生成は自然言語処理の分野で大きな注目を集めている。 近年、拡散モデルがNARテキスト生成に導入され、生成品質が向上した。
• 参考スコア（独自算出の注目度）: 94.4634088113513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-autoregressive (NAR) text generation has attracted much attention in the field of natural language processing, which greatly reduces the inference latency but has to sacrifice the generation accuracy. Recently, diffusion models, a class of latent variable generative models, have been introduced into NAR text generation, showing improved generation quality. In this survey, we review the recent progress in diffusion models for NAR text generation. As the background, we first present the general definition of diffusion models and the text diffusion models, and then discuss their merits for NAR generation. As the core content, we further introduce two mainstream diffusion models in existing text diffusion works, and review the key designs of the diffusion process. Moreover, we discuss the utilization of pre-trained language models (PLMs) for text diffusion models and introduce optimization techniques for text data. Finally, we discuss several promising directions and conclude this paper. Our survey aims to provide researchers with a systematic reference of related research on text diffusion models for NAR generation.
• Abstract（参考訳）: 非自己回帰(NAR)テキスト生成は、推論遅延を大幅に低減するが、生成精度を犠牲にする自然言語処理の分野で大きな注目を集めている。 近年,narテキスト生成に潜伏型可変生成モデルのクラスである拡散モデルが導入され,生成品質が向上している。 本稿では,NARテキスト生成における拡散モデルの最近の進歩を概観する。 背景として,まず拡散モデルとテキスト拡散モデルの一般定義を提示し,ナル生成のメリットについて考察する。 コアコンテンツとして,既存のテキスト拡散作業において2つの主流拡散モデルを導入し,拡散過程の重要な設計について検討する。 さらに,テキスト拡散モデルにおける事前学習言語モデル(PLM)の利用について検討し,テキストデータの最適化手法を導入する。 最後に,いくつかの有望な方向性について議論し,本論文をまとめる。 本研究の目的は,NAR生成のためのテキスト拡散モデルに関する研究の体系的な参照を提供することである。

関連論文リスト

• InfoDiffusion: Information Entropy Aware Diffusion Process for Non-Autoregressive Text Generation [33.52794666968048]
  本稿では,非自己回帰的テキスト拡散モデルであるInfoDiffusionを提案する。 提案手法は「キーフォファースト」生成戦略を導入し,テキスト情報量に基づいてノイズスケジュールを組み込む。 実験結果から,InfoDiffusionは生成品質と多様性の点でベースラインモデルより優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-18T14:01:39Z)
• A Survey of Diffusion Models in Natural Language Processing [11.233768932957771]
  拡散モデルは、ネットワークや多様体にまたがる情報や信号の拡散を捉える。 本稿は,NLPで使用される拡散モデルの異なる定式化,その強度と限界,それらの応用について論じる。
  論文  参考訳（メタデータ） (2023-05-24T03:25:32Z)
• TESS: Text-to-Text Self-Conditioned Simplex Diffusion [56.881170312435444]
  テキストからテキストへの自己条件付きSimplex Diffusionは、新しい形式のセルフコンディショニングを採用し、学習された埋め込み空間ではなく、ロジット単純空間に拡散プロセスを適用する。 我々は、TESSが最先端の非自己回帰モデルより優れており、性能の低下を最小限に抑えた拡散ステップを少なくし、事前訓練された自己回帰列列列列モデルと競合することを示した。
  論文  参考訳（メタデータ） (2023-05-15T06:33:45Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)
• Text-to-image Diffusion Models in Generative AI: A Survey [86.11421833017693]
  本調査は,テキストから画像を生成する際の拡散モデルの進展を概観する。 ビデオなどの様々なモダリティのためのテキスト誘導生成や、テキスト誘導画像編集など、画像生成以外の応用について論じる。
  論文  参考訳（メタデータ） (2023-03-14T13:49:54Z)
• Diffusion Models in NLP: A Survey [1.5138755188783584]
  拡散モデルは深層生成モデルの強力なファミリーとなり、多くのアプリケーションで記録的な性能を発揮している。 本稿ではまず,拡散モデルの基本理論の概要と導出を行い,自然言語処理分野における拡散モデルの研究成果について概説する。
  論文  参考訳（メタデータ） (2023-03-14T01:53:49Z)
• DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models [81.84866217721361]
  DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。 本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。 非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-11-28T03:25:49Z)
• Self-conditioned Embedding Diffusion for Text Generation [28.342735885752493]
  自己条件埋め込み拡散(Self-conditioned Embedding Diffusion)は、トークンの埋め込みで動作する連続拡散機構である。 テキスト拡散モデルでは,標準自己回帰言語モデルに匹敵するサンプルを生成する。
  論文  参考訳（メタデータ） (2022-11-08T13:30:27Z)
• A Survey on Generative Diffusion Model [75.93774014861978]
  拡散モデルは、深層生成モデルの新たなクラスである。 時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。 本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
  論文  参考訳（メタデータ） (2022-09-06T16:56:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。