論文の概要: Continuous diffusion for categorical data
- arxiv url: http://arxiv.org/abs/2211.15089v1
- Date: Mon, 28 Nov 2022 06:08:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 15:20:50.963683
- Title: Continuous diffusion for categorical data
- Title(参考訳): カテゴリーデータに対する連続拡散
- Authors: Sander Dieleman, Laurent Sartran, Arman Roshannai, Nikolay Savinov,
Yaroslav Ganin, Pierre H. Richemond, Arnaud Doucet, Robin Strudel, Chris
Dyer, Conor Durkan, Curtis Hawthorne, R\'emi Leblond, Will Grathwohl, Jonas
Adler
- Abstract要約: 時間空間と入力空間の両方で連続的な拡散モデルを用いて分類データをモデル化するCDCDを提案する。
いくつかの言語モデリングタスクにおいて,その有効性を示す。
- 参考スコア(独自算出の注目度): 42.60475010640669
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models have quickly become the go-to paradigm for generative
modelling of perceptual signals (such as images and sound) through iterative
refinement. Their success hinges on the fact that the underlying physical
phenomena are continuous. For inherently discrete and categorical data such as
language, various diffusion-inspired alternatives have been proposed. However,
the continuous nature of diffusion models conveys many benefits, and in this
work we endeavour to preserve it. We propose CDCD, a framework for modelling
categorical data with diffusion models that are continuous both in time and
input space. We demonstrate its efficacy on several language modelling tasks.
- Abstract(参考訳): 拡散モデルは、反復的洗練による知覚信号(画像や音など)の生成のパラダイムとして急速に発展してきた。
彼らの成功は、基礎となる物理現象が連続しているという事実にかかっている。
言語のような本質的に離散的で分類的なデータに対して、様々な拡散にインスパイアされた代替案が提案されている。
しかし、拡散モデルの連続的な性質は多くの利点をもたらしており、この研究ではそれを保存しようと努力する。
時間空間と入力空間の両方で連続的な拡散モデルを用いて分類データをモデル化するCDCDを提案する。
いくつかの言語モデリングタスクにおいて有効性を示す。
関連論文リスト
- Convergence Analysis of Discrete Diffusion Model: Exact Implementation
through Uniformization [17.535229185525353]
連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。
我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
論文 参考訳(メタデータ) (2024-02-12T22:26:52Z) - Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。
本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-14T11:19:11Z) - A Survey of Diffusion Models in Natural Language Processing [11.233768932957771]
拡散モデルは、ネットワークや多様体にまたがる情報や信号の拡散を捉える。
本稿は,NLPで使用される拡散モデルの異なる定式化,その強度と限界,それらの応用について論じる。
論文 参考訳(メタデータ) (2023-05-24T03:25:32Z) - A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。
具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。
我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
論文 参考訳(メタデータ) (2023-04-10T17:58:42Z) - A Reparameterized Discrete Diffusion Model for Text Generation [42.620568198168826]
本研究は, 離散拡散確率モデルと自然言語生成への応用に関する研究である。
離散拡散過程からサンプリングの代替的かつ等価な定式化を導出する。
本研究では,既存の拡散モデルに対して,テキスト生成能力を評価するための広範囲な実験を行った。
論文 参考訳(メタデータ) (2023-02-11T16:26:57Z) - Self-conditioned Embedding Diffusion for Text Generation [28.342735885752493]
自己条件埋め込み拡散(Self-conditioned Embedding Diffusion)は、トークンの埋め込みで動作する連続拡散機構である。
テキスト拡散モデルでは,標準自己回帰言語モデルに匹敵するサンプルを生成する。
論文 参考訳(メタデータ) (2022-11-08T13:30:27Z) - Unifying Diffusion Models' Latent Space, with Applications to
CycleDiffusion and Guidance [95.12230117950232]
関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。
テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
論文 参考訳(メタデータ) (2022-10-11T15:53:52Z) - Diffusion Models in Vision: A Survey [80.82832715884597]
拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。
拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
論文 参考訳(メタデータ) (2022-09-10T22:00:30Z) - A Survey on Generative Diffusion Model [75.93774014861978]
拡散モデルは、深層生成モデルの新たなクラスである。
時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。
本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
論文 参考訳(メタデータ) (2022-09-06T16:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。