論文の概要: InfoDiffusion: Information Entropy Aware Diffusion Process for Non-Autoregressive Text Generation

• arxiv url: http://arxiv.org/abs/2310.11976v1
• Date: Wed, 18 Oct 2023 14:01:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-19 16:28:52.394059
• Title: InfoDiffusion: Information Entropy Aware Diffusion Process for Non-Autoregressive Text Generation
• Title（参考訳）: 情報拡散:非自己回帰テキスト生成のための情報エントロピー認識拡散プロセス
• Authors: Renzhi Wang, Jing Li, Piji Li
• Abstract要約: 本稿では,非自己回帰的テキスト拡散モデルであるInfoDiffusionを提案する。 提案手法は「キーフォファースト」生成戦略を導入し,テキスト情報量に基づいてノイズスケジュールを組み込む。 実験結果から,InfoDiffusionは生成品質と多様性の点でベースラインモデルより優れていることがわかった。
• 参考スコア（独自算出の注目度）: 33.52794666968048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have garnered considerable interest in the field of text generation. Several studies have explored text diffusion models with different structures and applied them to various tasks, including named entity recognition and summarization. However, there exists a notable disparity between the "easy-first" text generation process of current diffusion models and the "keyword-first" natural text generation process of humans, which has received limited attention. To bridge this gap, we propose InfoDiffusion, a non-autoregressive text diffusion model. Our approach introduces a "keyinfo-first" generation strategy and incorporates a noise schedule based on the amount of text information. In addition, InfoDiffusion combines self-conditioning with a newly proposed partially noising model structure. Experimental results show that InfoDiffusion outperforms the baseline model in terms of generation quality and diversity, as well as exhibiting higher sampling efficiency.
• Abstract（参考訳）: 拡散モデルはテキスト生成の分野でかなりの関心を集めている。 いくつかの研究は異なる構造を持つテキスト拡散モデルを調査し、名前付きエンティティ認識や要約を含む様々なタスクに適用している。 しかし、現在の拡散モデルの「簡単な第一」テキスト生成プロセスと人間の「キーワード第一」自然テキスト生成プロセスとの間には、注目すべき相違がある。 このギャップを埋めるため,非自己回帰的テキスト拡散モデルであるInfoDiffusionを提案する。 提案手法は「キー情報優先」生成戦略を導入し,テキスト情報量に基づくノイズスケジュールを取り入れている。 さらに、infodiffusionは、新しく提案された部分的ノイズモデル構造と自己コンディショニングを組み合わせる。 実験結果から,InfoDiffusionは生成品質と多様性の点でベースラインモデルより優れており,サンプリング効率も高いことがわかった。

関連論文リスト

• Enforcing Paraphrase Generation via Controllable Latent Diffusion [60.82512050963046]
  textitLatent textitDiffusion textitParaphraser(LDP)を提案する。 実験により, LDPはベースラインに比べて改良され, 多様なパラフレーズ生成を達成できることが示された。
  論文  参考訳（メタデータ） (2024-04-13T09:24:32Z)
• DiffDis: Empowering Generative Diffusion Model with Cross-Modal Discrimination Capability [75.9781362556431]
  本稿では,拡散過程下での1つのフレームワークに,モダクティブと差別的事前学習を統一するDiffDisを提案する。 DiffDisは画像生成タスクと画像テキスト識別タスクの両方において単一タスクモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T05:03:48Z)
• PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
  本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。 意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
  論文  参考訳（メタデータ） (2023-06-05T01:36:39Z)
• TESS: Text-to-Text Self-Conditioned Simplex Diffusion [56.881170312435444]
  テキストからテキストへの自己条件付きSimplex Diffusionは、新しい形式のセルフコンディショニングを採用し、学習された埋め込み空間ではなく、ロジット単純空間に拡散プロセスを適用する。 我々は、TESSが最先端の非自己回帰モデルより優れており、性能の低下を最小限に抑えた拡散ステップを少なくし、事前訓練された自己回帰列列列列モデルと競合することを示した。
  論文  参考訳（メタデータ） (2023-05-15T06:33:45Z)
• Diffusion Models for Non-autoregressive Text Generation: A Survey [94.4634088113513]
  非自己回帰(NAR)テキスト生成は自然言語処理の分野で大きな注目を集めている。 近年、拡散モデルがNARテキスト生成に導入され、テキスト生成品質が向上した。
  論文  参考訳（メタデータ） (2023-03-12T05:11:09Z)
• A Reparameterized Discrete Diffusion Model for Text Generation [42.620568198168826]
  本研究は, 離散拡散確率モデルと自然言語生成への応用に関する研究である。 離散拡散過程からサンプリングの代替的かつ等価な定式化を導出する。 本研究では,既存の拡散モデルに対して,テキスト生成能力を評価するための広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-02-11T16:26:57Z)
• SeqDiffuSeq: Text Diffusion with Encoder-Decoder Transformers [50.90457644954857]
  本研究では,拡散モデルを用いてシーケンス・ツー・シーケンスのテキスト生成を行う。 シーケンス・ツー・シーケンス生成のためのテキスト拡散モデルであるSeqDiffuSeqを提案する。 実験結果は、テキストの品質と推論時間の観点から、シーケンス・ツー・シーケンス生成の優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-20T15:16:24Z)
• DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models [81.84866217721361]
  DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。 本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。 非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-11-28T03:25:49Z)
• Self-conditioned Embedding Diffusion for Text Generation [28.342735885752493]
  自己条件埋め込み拡散(Self-conditioned Embedding Diffusion)は、トークンの埋め込みで動作する連続拡散機構である。 テキスト拡散モデルでは,標準自己回帰言語モデルに匹敵するサンプルを生成する。
  論文  参考訳（メタデータ） (2022-11-08T13:30:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。