論文の概要: A Cheaper and Better Diffusion Language Model with Soft-Masked Noise

• arxiv url: http://arxiv.org/abs/2304.04746v1
• Date: Mon, 10 Apr 2023 17:58:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 14:05:08.415260
• Title: A Cheaper and Better Diffusion Language Model with Soft-Masked Noise
• Title（参考訳）: ソフトマッシュノイズを用いた安価でより良い拡散言語モデル
• Authors: Jiaao Chen, Aston Zhang, Mu Li, Alex Smola, Diyi Yang
• Abstract要約: Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
• 参考スコア（独自算出の注目度）: 62.719656543880596
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Diffusion models that are based on iterative denoising have been recently proposed and leveraged in various generation tasks like image generation. Whereas, as a way inherently built for continuous data, existing diffusion models still have some limitations in modeling discrete data, e.g., languages. For example, the generally used Gaussian noise can not handle the discrete corruption well, and the objectives in continuous spaces fail to be stable for textual data in the diffusion process especially when the dimension is high. To alleviate these issues, we introduce a novel diffusion model for language modeling, Masked-Diffuse LM, with lower training cost and better performances, inspired by linguistic features in languages. Specifically, we design a linguistic-informed forward process which adds corruptions to the text through strategically soft-masking to better noise the textual data. Also, we directly predict the categorical distribution with cross-entropy loss function in every diffusion step to connect the continuous space and discrete space in a more efficient and straightforward way. Through experiments on 5 controlled generation tasks, we demonstrate that our Masked-Diffuse LM can achieve better generation quality than the state-of-the-art diffusion models with better efficiency.
• Abstract（参考訳）: 近年,反復的復調に基づく拡散モデルが提案され,画像生成などの様々な世代タスクに活用されている。 しかし、本質的に連続データのために構築される方法として、既存の拡散モデルは、言語などの離散データモデリングにおいていくつかの制限がある。 例えば、一般的に用いられるガウス雑音は離散的腐敗をうまく扱えないし、連続空間の目的が拡散過程におけるテクストデータに対して特に次元が高い場合には安定ではない。 そこで本研究では, 言語モデルのための新しい拡散モデルであるマスキング拡散lmを導入し, 学習コストの低減, 性能の向上, 言語の言語的特徴に着想を得た。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 また、各拡散ステップにおけるクロスエントロピー損失関数によるカテゴリー分布を直接予測し、連続空間と離散空間をより効率的かつ簡単な方法で接続する。 5つの制御された生成タスクの実験を通じて、マスク拡散lmは、最先端の拡散モデルよりも優れた生成品質を、効率良く達成できることを実証する。

関連論文リスト

• Discrete Copula Diffusion [44.96934660818884]
  離散拡散モデルがより少ないステップで強い性能を達成するのを防ぐ基本的な制限を同定する。 我々は,コプラモデルと呼ばれる別の深層生成モデルを導入することで,欠落した依存情報を補うための一般的なアプローチを提案する。 本手法は拡散モデルとコプラモデルの両方を微調整する必要はないが, 高い品質のサンプル生成が可能であり, 分解ステップが著しく少ない。
  論文  参考訳（メタデータ） (2024-10-02T18:51:38Z)
• Simple and Effective Masked Diffusion Language Models [48.68198363304619]
  単純なマスク付き離散拡散は以前考えられていたよりも性能が高いことを示す。 私たちの目標はシンプルなフォーム -- 古典的なマスキング言語モデリング損失の混合です。 言語モデリングベンチマークでは、現代のエンジニアリングプラクティスで訓練された様々なマスク付き拡散モデルが、新しい最先端技術を実現している。
  論文  参考訳（メタデータ） (2024-06-11T17:51:40Z)
• LaDiC: Are Diffusion Models Really Inferior to Autoregressive Counterparts for Image-to-Text Generation? [10.72249123249003]
  我々は拡散モデルを再検討し、全体論的文脈モデリングと並列復号化の能力を強調した。 本稿では,分割BERTを用いた新しいアーキテクチャLaDiCを導入し,キャプション専用のラテント空間を創出する。 LaDiCは、38.2 BLEU@4と126.2 CIDErのMSデータセット上で拡散ベースのメソッドの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-04-16T17:47:16Z)
• Language Rectified Flow: Advancing Diffusion Language Generation with Probabilistic Flows [53.31856123113228]
  本稿では,言語認識フロー (ours) を提案する。 本手法は, 標準確率流モデルの再構成に基づく。 実験およびアブレーション実験により,本手法は多くのNLPタスクに対して汎用的,効果的,有益であることが示されている。
  論文  参考訳（メタデータ） (2024-03-25T17:58:22Z)
• DiffS2UT: A Semantic Preserving Diffusion Model for Textless Direct Speech-to-Speech Translation [10.984745439751489]
  本稿では,テキスト連続表現空間における拡散前処理を適用して,新しい拡散モデルを提案する。 このようにして、拡散過程における連続音声表現空間の意味構造を保存し、連続拡散モデルと離散拡散モデルを統合する。 そこで,提案手法は,計算集約的な自己回帰ベースラインに匹敵する結果が得られる。
  論文  参考訳（メタデータ） (2023-10-26T16:58:14Z)
• Denoising Diffusion Bridge Models [54.87947768074036]
  拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。 画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。 本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T03:24:24Z)
• TESS: Text-to-Text Self-Conditioned Simplex Diffusion [56.881170312435444]
  テキストからテキストへの自己条件付きSimplex Diffusionは、新しい形式のセルフコンディショニングを採用し、学習された埋め込み空間ではなく、ロジット単純空間に拡散プロセスを適用する。 我々は、TESSが最先端の非自己回帰モデルより優れており、性能の低下を最小限に抑えた拡散ステップを少なくし、事前訓練された自己回帰列列列列モデルと競合することを示した。
  論文  参考訳（メタデータ） (2023-05-15T06:33:45Z)
• DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models [81.84866217721361]
  DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。 本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。 非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-11-28T03:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。