論文の概要: Continuous diffusion for categorical data
- arxiv url: http://arxiv.org/abs/2211.15089v1
- Date: Mon, 28 Nov 2022 06:08:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 15:20:50.963683
- Title: Continuous diffusion for categorical data
- Title(参考訳): カテゴリーデータに対する連続拡散
- Authors: Sander Dieleman, Laurent Sartran, Arman Roshannai, Nikolay Savinov,
Yaroslav Ganin, Pierre H. Richemond, Arnaud Doucet, Robin Strudel, Chris
Dyer, Conor Durkan, Curtis Hawthorne, R\'emi Leblond, Will Grathwohl, Jonas
Adler
- Abstract要約: 時間空間と入力空間の両方で連続的な拡散モデルを用いて分類データをモデル化するCDCDを提案する。
いくつかの言語モデリングタスクにおいて,その有効性を示す。
- 参考スコア(独自算出の注目度): 42.60475010640669
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models have quickly become the go-to paradigm for generative
modelling of perceptual signals (such as images and sound) through iterative
refinement. Their success hinges on the fact that the underlying physical
phenomena are continuous. For inherently discrete and categorical data such as
language, various diffusion-inspired alternatives have been proposed. However,
the continuous nature of diffusion models conveys many benefits, and in this
work we endeavour to preserve it. We propose CDCD, a framework for modelling
categorical data with diffusion models that are continuous both in time and
input space. We demonstrate its efficacy on several language modelling tasks.
- Abstract(参考訳): 拡散モデルは、反復的洗練による知覚信号(画像や音など)の生成のパラダイムとして急速に発展してきた。
彼らの成功は、基礎となる物理現象が連続しているという事実にかかっている。
言語のような本質的に離散的で分類的なデータに対して、様々な拡散にインスパイアされた代替案が提案されている。
しかし、拡散モデルの連続的な性質は多くの利点をもたらしており、この研究ではそれを保存しようと努力する。
時間空間と入力空間の両方で連続的な拡散モデルを用いて分類データをモデル化するCDCDを提案する。
いくつかの言語モデリングタスクにおいて有効性を示す。
関連論文リスト
- Continuous Diffusion Model for Language Modeling [57.396578974401734]
離散データに対する既存の連続拡散モデルは、離散的アプローチと比較して性能が限られている。
本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
論文 参考訳(メタデータ) (2025-02-17T08:54:29Z) - Non-Markovian Discrete Diffusion with Causal Language Models [21.671397884779154]
CaDDiは、逐次的および時間的モデリングを統一する因果離散拡散モデルである。
CaDDiは、自然言語と生物配列のタスクにおいて、最先端の離散拡散モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2025-02-13T20:51:25Z) - Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。
本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-14T11:19:11Z) - A Survey of Diffusion Models in Natural Language Processing [11.233768932957771]
拡散モデルは、ネットワークや多様体にまたがる情報や信号の拡散を捉える。
本稿は,NLPで使用される拡散モデルの異なる定式化,その強度と限界,それらの応用について論じる。
論文 参考訳(メタデータ) (2023-05-24T03:25:32Z) - A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。
具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。
我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
論文 参考訳(メタデータ) (2023-04-10T17:58:42Z) - Self-conditioned Embedding Diffusion for Text Generation [28.342735885752493]
自己条件埋め込み拡散(Self-conditioned Embedding Diffusion)は、トークンの埋め込みで動作する連続拡散機構である。
テキスト拡散モデルでは,標準自己回帰言語モデルに匹敵するサンプルを生成する。
論文 参考訳(メタデータ) (2022-11-08T13:30:27Z) - Diffusion Models in Vision: A Survey [73.10116197883303]
拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。
拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
論文 参考訳(メタデータ) (2022-09-10T22:00:30Z) - A Survey on Generative Diffusion Model [75.93774014861978]
拡散モデルは、深層生成モデルの新たなクラスである。
時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。
本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
論文 参考訳(メタデータ) (2022-09-06T16:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。