論文の概要: TESS: Text-to-Text Self-Conditioned Simplex Diffusion

• arxiv url: http://arxiv.org/abs/2305.08379v2
• Date: Wed, 21 Feb 2024 00:06:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 21:18:33.561893
• Title: TESS: Text-to-Text Self-Conditioned Simplex Diffusion
• Title（参考訳）: TESS: テキストからテキストへの自己定義型Simplex拡散
• Authors: Rabeeh Karimi Mahabadi, Hamish Ivison, Jaesung Tae, James Henderson, Iz Beltagy, Matthew E. Peters, Arman Cohan
• Abstract要約: テキストからテキストへの自己条件付きSimplex Diffusionは、新しい形式のセルフコンディショニングを採用し、学習された埋め込み空間ではなく、ロジット単純空間に拡散プロセスを適用する。 我々は、TESSが最先端の非自己回帰モデルより優れており、性能の低下を最小限に抑えた拡散ステップを少なくし、事前訓練された自己回帰列列列列モデルと競合することを示した。
• 参考スコア（独自算出の注目度）: 56.881170312435444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have emerged as a powerful paradigm for generation, obtaining strong performance in various continuous domains. However, applying continuous diffusion models to natural language remains challenging due to its discrete nature and the need for a large number of diffusion steps to generate text, making diffusion-based generation expensive. In this work, we propose Text-to-text Self-conditioned Simplex Diffusion (TESS), a text diffusion model that is fully non-autoregressive, employs a new form of self-conditioning, and applies the diffusion process on the logit simplex space rather than the learned embedding space. Through extensive experiments on natural language understanding and generation tasks including summarization, text simplification, paraphrase generation, and question generation, we demonstrate that TESS outperforms state-of-the-art non-autoregressive models, requires fewer diffusion steps with minimal drop in performance, and is competitive with pretrained autoregressive sequence-to-sequence models. We publicly release our codebase at https://github.com/allenai/tess-diffusion.
• Abstract（参考訳）: 拡散モデルは生成の強力なパラダイムとして登場し、様々な連続した領域で強い性能を得る。 しかし、自然言語への連続拡散モデルの適用は、その離散的性質とテキストを生成するために大量の拡散ステップを必要とするため、依然として困難であり、拡散ベースの生成は高価である。 本研究では,完全自己回帰的でないテキスト拡散モデルであるText-to-text Self-conditioned Simplex Diffusion (TESS)を提案する。 要約,テキスト簡易化,パラフレーズ生成,質問生成など,自然言語理解と生成タスクに関する広範な実験を通じて,tessが最先端の非自己回帰モデルよりも優れており,性能の低下を最小限に抑えるための拡散ステップが少なく,事前学習された自己回帰シーケンス対シーケンスモデルと競合することを実証する。 コードベースはhttps://github.com/allenai/tess-diffusionで公開しています。

関連論文リスト

• Text Diffusion with Reinforced Conditioning [92.17397504834825]
  本稿では,テキスト拡散モデルを完全に解析し,トレーニング中の自己条件の劣化と,トレーニングとサンプリングのミスアライメントの2つの重要な限界を明らかにする。 そこで本研究では, TRECと呼ばれる新しいテキスト拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:24:02Z)
• InfoDiffusion: Information Entropy Aware Diffusion Process for Non-Autoregressive Text Generation [33.52794666968048]
  本稿では,非自己回帰的テキスト拡散モデルであるInfoDiffusionを提案する。 提案手法は「キーフォファースト」生成戦略を導入し,テキスト情報量に基づいてノイズスケジュールを組み込む。 実験結果から,InfoDiffusionは生成品質と多様性の点でベースラインモデルより優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-18T14:01:39Z)
• PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
  本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。 意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
  論文  参考訳（メタデータ） (2023-06-05T01:36:39Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)
• Diffusion Models for Non-autoregressive Text Generation: A Survey [94.4634088113513]
  非自己回帰(NAR)テキスト生成は自然言語処理の分野で大きな注目を集めている。 近年、拡散モデルがNARテキスト生成に導入され、テキスト生成品質が向上した。
  論文  参考訳（メタデータ） (2023-03-12T05:11:09Z)
• SeqDiffuSeq: Text Diffusion with Encoder-Decoder Transformers [50.90457644954857]
  本研究では,拡散モデルを用いてシーケンス・ツー・シーケンスのテキスト生成を行う。 シーケンス・ツー・シーケンス生成のためのテキスト拡散モデルであるSeqDiffuSeqを提案する。 実験結果は、テキストの品質と推論時間の観点から、シーケンス・ツー・シーケンス生成の優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-20T15:16:24Z)
• Self-conditioned Embedding Diffusion for Text Generation [28.342735885752493]
  自己条件埋め込み拡散(Self-conditioned Embedding Diffusion)は、トークンの埋め込みで動作する連続拡散機構である。 テキスト拡散モデルでは,標準自己回帰言語モデルに匹敵するサンプルを生成する。
  論文  参考訳（メタデータ） (2022-11-08T13:30:27Z)
• eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [87.52504764677226]
  大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。 eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
  論文  参考訳（メタデータ） (2022-11-02T17:43:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。