論文の概要: TESS: Text-to-Text Self-Conditioned Simplex Diffusion

• arxiv url: http://arxiv.org/abs/2305.08379v1
• Date: Mon, 15 May 2023 06:33:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 15:49:32.629396
• Title: TESS: Text-to-Text Self-Conditioned Simplex Diffusion
• Title（参考訳）: TESS: テキストからテキストへの自己定義型Simplex拡散
• Authors: Rabeeh Karimi Mahabadi, Jaesung Tae, Hamish Ivison, James Henderson, Iz Beltagy, Matthew E. Peters, Arman Cohan
• Abstract要約: Text-to-text Self-conditioned Simplex Diffusion (TESS) は完全に非自己回帰的なテキスト拡散モデルである。 我々は、TESSが最先端の非自己回帰モデルより優れており、事前訓練された自己回帰シーケンス対シーケンスモデルと競合することを示した。
• 参考スコア（独自算出の注目度）: 45.873821452181836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have emerged as a powerful paradigm for generation, obtaining strong performance in various domains with continuous-valued inputs. Despite the promises of fully non-autoregressive text generation, applying diffusion models to natural language remains challenging due to its discrete nature. In this work, we propose Text-to-text Self-conditioned Simplex Diffusion (TESS), a text diffusion model that is fully non-autoregressive, employs a new form of self-conditioning, and applies the diffusion process on the logit simplex space rather than the typical learned embedding space. Through extensive experiments on natural language understanding and generation tasks including summarization, text simplification, paraphrase generation, and question generation, we demonstrate that TESS outperforms state-of-the-art non-autoregressive models and is competitive with pretrained autoregressive sequence-to-sequence models.
• Abstract（参考訳）: 拡散モデルは生成のための強力なパラダイムとして登場し、連続的な値の入力を持つ様々な領域で強力なパフォーマンスを得る。 完全に自己回帰的なテキスト生成の約束にもかかわらず、自然言語への拡散モデルの適用は、その離散的な性質のため、依然として困難である。 本研究では,完全自己回帰型テキスト拡散モデルであるtext-to-text self-conditioned simplex diffusion (tess)を提案する。 要約, テキスト単純化, パラフレーズ生成, 質問生成などの自然言語理解および生成タスクに関する広範な実験を通じて, TESSは最先端の非自己回帰モデルより優れ, 事前訓練された自己回帰配列列列列モデルと競合することを示した。

関連論文リスト

• Text Diffusion with Reinforced Conditioning [92.17397504834825]
  本稿では,テキスト拡散モデルを完全に解析し,トレーニング中の自己条件の劣化と,トレーニングとサンプリングのミスアライメントの2つの重要な限界を明らかにする。 そこで本研究では, TRECと呼ばれる新しいテキスト拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:24:02Z)
• InfoDiffusion: Information Entropy Aware Diffusion Process for Non-Autoregressive Text Generation [33.52794666968048]
  本稿では,非自己回帰的テキスト拡散モデルであるInfoDiffusionを提案する。 提案手法は「キーフォファースト」生成戦略を導入し,テキスト情報量に基づいてノイズスケジュールを組み込む。 実験結果から,InfoDiffusionは生成品質と多様性の点でベースラインモデルより優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-18T14:01:39Z)
• PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
  本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。 意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
  論文  参考訳（メタデータ） (2023-06-05T01:36:39Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)
• Diffusion Models for Non-autoregressive Text Generation: A Survey [94.4634088113513]
  非自己回帰(NAR)テキスト生成は自然言語処理の分野で大きな注目を集めている。 近年、拡散モデルがNARテキスト生成に導入され、テキスト生成品質が向上した。
  論文  参考訳（メタデータ） (2023-03-12T05:11:09Z)
• SeqDiffuSeq: Text Diffusion with Encoder-Decoder Transformers [50.90457644954857]
  本研究では,拡散モデルを用いてシーケンス・ツー・シーケンスのテキスト生成を行う。 シーケンス・ツー・シーケンス生成のためのテキスト拡散モデルであるSeqDiffuSeqを提案する。 実験結果は、テキストの品質と推論時間の観点から、シーケンス・ツー・シーケンス生成の優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-20T15:16:24Z)
• Self-conditioned Embedding Diffusion for Text Generation [28.342735885752493]
  自己条件埋め込み拡散(Self-conditioned Embedding Diffusion)は、トークンの埋め込みで動作する連続拡散機構である。 テキスト拡散モデルでは,標準自己回帰言語モデルに匹敵するサンプルを生成する。
  論文  参考訳（メタデータ） (2022-11-08T13:30:27Z)
• eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [87.52504764677226]
  大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。 eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
  論文  参考訳（メタデータ） (2022-11-02T17:43:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。