論文の概要: DiffusionDialog: A Diffusion Model for Diverse Dialog Generation with Latent Space

• arxiv url: http://arxiv.org/abs/2404.06760v1
• Date: Wed, 10 Apr 2024 05:56:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 15:19:53.053507
• Title: DiffusionDialog: A Diffusion Model for Diverse Dialog Generation with Latent Space
• Title（参考訳）: DiffusionDialog:潜時空間を持つ拡散ダイアログ生成のための拡散モデル
• Authors: Jianxiang Xiang, Zhenhua Liu, Haodong Liu, Yin Bai, Jia Cheng, Wenliang Chen,
• Abstract要約: 現実の会話では、内容は多様であり、多種多様な世代を必要とする一対多の問題が存在する。 以前の研究では、離散型あるいはガウス型連続潜伏変数を導入し、一対多の問題に対処しようとした。 拡散モデルの助けを借りて対話生成の多様性を高める新しい手法であるDiffusionDialogを提案する。
• 参考スコア（独自算出の注目度）: 7.131920232495329
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In real-life conversations, the content is diverse, and there exists the one-to-many problem that requires diverse generation. Previous studies attempted to introduce discrete or Gaussian-based continuous latent variables to address the one-to-many problem, but the diversity is limited. Recently, diffusion models have made breakthroughs in computer vision, and some attempts have been made in natural language processing. In this paper, we propose DiffusionDialog, a novel approach to enhance the diversity of dialogue generation with the help of diffusion model. In our approach, we introduce continuous latent variables into the diffusion model. The problem of using latent variables in the dialog task is how to build both an effective prior of the latent space and an inferring process to obtain the proper latent given the context. By combining the encoder and latent-based diffusion model, we encode the response's latent representation in a continuous space as the prior, instead of fixed Gaussian distribution or simply discrete ones. We then infer the latent by denoising step by step with the diffusion model. The experimental results show that our model greatly enhances the diversity of dialog responses while maintaining coherence. Furthermore, in further analysis, we find that our diffusion model achieves high inference efficiency, which is the main challenge of applying diffusion models in natural language processing.
• Abstract（参考訳）: 現実の会話では、内容は多様であり、多種多様な世代を必要とする一対多の問題が存在する。 従来の研究では、個別あるいはガウスに基づく連続潜伏変数を導入して、一対多の問題に対処しようとしたが、多様性は限られている。 近年、拡散モデルはコンピュータビジョンにおいて画期的であり、自然言語処理ではいくつかの試みがなされている。 本稿では,拡散モデルの助けを借りて対話生成の多様性を高める新しい手法であるDiffusionDialogを提案する。 本稿では,拡散モデルに連続潜伏変数を導入する。 ダイアログタスクで潜在変数を使用する場合の問題は、潜在空間の有効先行と推論プロセスの両方を構築して、与えられた適切な潜在変数を得る方法である。 エンコーダとラテントベース拡散モデルを組み合わせることで、応答の潜在表現をガウス分布や単に離散分布ではなく、連続空間を前としてエンコードする。 次に,拡散モデルを用いて段階的に遅延を推定する。 実験結果から,コヒーレンスを維持しながら対話応答の多様性を大幅に向上することが示された。 さらに,さらなる解析において,我々の拡散モデルは高い推論効率を達成でき,これは自然言語処理に拡散モデルを適用する上での大きな課題である。

関連論文リスト

• AdjointDEIS: Efficient Gradients for Diffusion Models [2.0795007613453445]
  拡散SDEに対する連続随伴方程式は、実際には単純なODEに単純化されていることを示す。 また, 顔形態形成問題の形で, 対向攻撃による誘導生成に対するAdjointDEISの有効性を実証した。
  論文  参考訳（メタデータ） (2024-05-23T19:51:33Z)
• Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models [100.53662473219806]
  Diffusion-of-Thought (DoT) は、拡散モデルとChain-of-Thoughtを統合する新しいアプローチである。 DoTは、拡散言語モデルを通じて、時間とともに推論ステップが拡散することを可能にする。 本研究は,多桁乗算,論理学,小学校数学におけるDoTの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-12T16:23:28Z)
• Smooth Diffusion: Crafting Smooth Latent Spaces in Diffusion Models [82.8261101680427]
  滑らかな潜伏空間は、入力潜伏空間上の摂動が出力画像の定常的な変化に対応することを保証している。 この特性は、画像の反転、反転、編集を含む下流タスクにおいて有益である。 スムース拡散(Smooth Diffusion, Smooth Diffusion)は, 高速かつスムーズな拡散モデルである。
  論文  参考訳（メタデータ） (2023-12-07T16:26:23Z)
• Dior-CVAE: Pre-trained Language Models and Diffusion Priors for Variational Dialog Generation [70.2283756542824]
  Dior-CVAEは階層型条件変分オートエンコーダ(CVAE)である。 拡散モデルを用いて、従来の分布の複雑さを増大させ、PLMが生成した分布との整合性を高める。 2つのオープンドメインダイアログデータセットを対象とした実験により,大規模ダイアログ事前学習を必要とせずに,より多様な応答を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-05-24T11:06:52Z)
• A Survey of Diffusion Models in Natural Language Processing [11.233768932957771]
  拡散モデルは、ネットワークや多様体にまたがる情報や信号の拡散を捉える。 本稿は,NLPで使用される拡散モデルの異なる定式化,その強度と限界,それらの応用について論じる。
  論文  参考訳（メタデータ） (2023-05-24T03:25:32Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)
• Continuous diffusion for categorical data [42.60475010640669]
  時間空間と入力空間の両方で連続的な拡散モデルを用いて分類データをモデル化するCDCDを提案する。 いくつかの言語モデリングタスクにおいて,その有効性を示す。
  論文  参考訳（メタデータ） (2022-11-28T06:08:54Z)
• Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance [95.12230117950232]
  関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。 テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:53:52Z)
• Diffusion Models in Vision: A Survey [80.82832715884597]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。