論文の概要: A Cheaper and Better Diffusion Language Model with Soft-Masked Noise
- arxiv url: http://arxiv.org/abs/2304.04746v1
- Date: Mon, 10 Apr 2023 17:58:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 14:05:08.415260
- Title: A Cheaper and Better Diffusion Language Model with Soft-Masked Noise
- Title(参考訳): ソフトマッシュノイズを用いた安価でより良い拡散言語モデル
- Authors: Jiaao Chen, Aston Zhang, Mu Li, Alex Smola, Diyi Yang
- Abstract要約: Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。
具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。
我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
- 参考スコア(独自算出の注目度): 62.719656543880596
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Diffusion models that are based on iterative denoising have been recently
proposed and leveraged in various generation tasks like image generation.
Whereas, as a way inherently built for continuous data, existing diffusion
models still have some limitations in modeling discrete data, e.g., languages.
For example, the generally used Gaussian noise can not handle the discrete
corruption well, and the objectives in continuous spaces fail to be stable for
textual data in the diffusion process especially when the dimension is high. To
alleviate these issues, we introduce a novel diffusion model for language
modeling, Masked-Diffuse LM, with lower training cost and better performances,
inspired by linguistic features in languages. Specifically, we design a
linguistic-informed forward process which adds corruptions to the text through
strategically soft-masking to better noise the textual data. Also, we directly
predict the categorical distribution with cross-entropy loss function in every
diffusion step to connect the continuous space and discrete space in a more
efficient and straightforward way. Through experiments on 5 controlled
generation tasks, we demonstrate that our Masked-Diffuse LM can achieve better
generation quality than the state-of-the-art diffusion models with better
efficiency.
- Abstract(参考訳): 近年,反復的復調に基づく拡散モデルが提案され,画像生成などの様々な世代タスクに活用されている。
しかし、本質的に連続データのために構築される方法として、既存の拡散モデルは、言語などの離散データモデリングにおいていくつかの制限がある。
例えば、一般的に用いられるガウス雑音は離散的腐敗をうまく扱えないし、連続空間の目的が拡散過程におけるテクストデータに対して特に次元が高い場合には安定ではない。
そこで本研究では, 言語モデルのための新しい拡散モデルであるマスキング拡散lmを導入し, 学習コストの低減, 性能の向上, 言語の言語的特徴に着想を得た。
具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。
また、各拡散ステップにおけるクロスエントロピー損失関数によるカテゴリー分布を直接予測し、連続空間と離散空間をより効率的かつ簡単な方法で接続する。
5つの制御された生成タスクの実験を通じて、マスク拡散lmは、最先端の拡散モデルよりも優れた生成品質を、効率良く達成できることを実証する。
関連論文リスト
- EraseDiff: Erasing Data Influence in Diffusion Models [54.95692559939673]
拡散モデルのためのアンラーニングアルゴリズムを提案する。
提案アルゴリズムは, 広範に普及している拡散モデルから除去しながら, モデルの有用性, 有効性, 効率を保たせることを示す。
論文 参考訳(メタデータ) (2024-01-11T09:30:36Z) - DiffS2UT: A Semantic Preserving Diffusion Model for Textless Direct
Speech-to-Speech Translation [10.984745439751489]
本稿では,テキスト連続表現空間における拡散前処理を適用して,新しい拡散モデルを提案する。
このようにして、拡散過程における連続音声表現空間の意味構造を保存し、連続拡散モデルと離散拡散モデルを統合する。
そこで,提案手法は,計算集約的な自己回帰ベースラインに匹敵する結果が得られる。
論文 参考訳(メタデータ) (2023-10-26T16:58:14Z) - Denoising Diffusion Bridge Models [54.87947768074036]
拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。
画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。
本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
論文 参考訳(メタデータ) (2023-09-29T03:24:24Z) - Diffusion Language Models Can Perform Many Tasks with Scaling and
Instruction-Finetuning [56.03057119008865]
拡散言語モデルを拡張することで、強力な言語学習者が効果的に学習できることが示される。
大規模データから知識を最初に取得することで,大規模に有能な拡散言語モデルを構築する。
実験により、拡散言語モデルのスケーリングは、下流言語タスクにおけるパフォーマンスを一貫して改善することが示された。
論文 参考訳(メタデータ) (2023-08-23T16:01:12Z) - TESS: Text-to-Text Self-Conditioned Simplex Diffusion [56.881170312435444]
テキストからテキストへの自己条件付きSimplex Diffusionは、新しい形式のセルフコンディショニングを採用し、学習された埋め込み空間ではなく、ロジット単純空間に拡散プロセスを適用する。
我々は、TESSが最先端の非自己回帰モデルより優れており、性能の低下を最小限に抑えた拡散ステップを少なくし、事前訓練された自己回帰列列列列モデルと競合することを示した。
論文 参考訳(メタデータ) (2023-05-15T06:33:45Z) - Latent Diffusion for Language Generation [26.620353485679892]
言語への拡散を適応しようとする最近の試みは、既存の言語モデルの代替として拡散を提示している。
我々は,エンコーダ-デコーダ言語モデルを用いて,高品質なオートエンコーダを効率的に学習できることを実証した。
非条件, クラス条件, シーケンス・ツー・シーケンス言語生成に対する提案手法の有効性を検証する。
論文 参考訳(メタデータ) (2022-12-19T13:57:06Z) - DiffusionBERT: Improving Generative Masked Language Models with
Diffusion Models [81.84866217721361]
DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。
本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。
非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
論文 参考訳(メタデータ) (2022-11-28T03:25:49Z) - Self-conditioned Embedding Diffusion for Text Generation [28.342735885752493]
自己条件埋め込み拡散(Self-conditioned Embedding Diffusion)は、トークンの埋め込みで動作する連続拡散機構である。
テキスト拡散モデルでは,標準自己回帰言語モデルに匹敵するサンプルを生成する。
論文 参考訳(メタデータ) (2022-11-08T13:30:27Z) - Structured Denoising Diffusion Models in Discrete State-Spaces [15.488176444698404]
本稿では離散化拡散確率モデル(D3PM)を離散データに適用する。
遷移行列の選択は、画像およびテキスト領域における結果の改善につながる重要な設計決定である。
テキストでは、このモデルクラスは、LM1B上の大きな語彙にスケールしながら、文字レベルのテキスト生成に強い結果をもたらす。
論文 参考訳(メタデータ) (2021-07-07T04:11:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。