論文の概要: Towards Latent Diffusion Suitable For Text

• arxiv url: http://arxiv.org/abs/2601.16220v1
• Date: Wed, 07 Jan 2026 20:50:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 02:21:38.451491
• Title: Towards Latent Diffusion Suitable For Text
• Title（参考訳）: テキストに適した潜時拡散に向けて
• Authors: Nesta Midavaine, Christian A. Naesseth, Grigory Bartosh,
• Abstract要約: NFDMの拡張である言語生成のためのニューラルフロー拡散モデルを導入し、離散状態空間への連続拡散モデルの直接適用を可能にする。 本モデルでは, 従来の潜伏拡散モデルに匹敵する試料品質を達成しつつ, 自己回帰モデルと同一サイズの自己回帰モデルとの差を大幅に低減する。
• 参考スコア（独自算出の注目度）: 7.293508593001522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language diffusion models aim to improve sampling speed and coherence over autoregressive LLMs. We introduce Neural Flow Diffusion Models for language generation, an extension of NFDM that enables the straightforward application of continuous diffusion models to discrete state spaces. NFDM learns a multivariate forward process from the data, ensuring that the forward process and generative trajectory are a good fit for language modeling. Our model substantially reduces the likelihood gap with autoregressive models of the same size, while achieving sample quality comparable to that of previous latent diffusion models.
• Abstract（参考訳）: 言語拡散モデルは,自己回帰型LLMよりもサンプリング速度とコヒーレンスを向上させることを目的としている。 NFDMの拡張である言語生成のためのニューラルフロー拡散モデルを導入し、離散状態空間への連続拡散モデルの直接適用を可能にする。 NFDMはデータから多変量フォワードプロセスを学び、フォワードプロセスと生成軌道が言語モデリングに適していることを保証する。 本モデルでは, 従来の潜伏拡散モデルに匹敵する試料品質を達成しつつ, 自己回帰モデルと同一サイズの自己回帰モデルとの差を大幅に低減する。

関連論文リスト

• Continuous Diffusion Model for Language Modeling [64.7425225935854]
  離散的データに対する既存の連続拡散モデルは離散的手法と比較して性能が劣る。 本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。 本手法は,既存の離散拡散モデルより優れ,自己回帰モデルの性能にアプローチする。
  論文  参考訳（メタデータ） (2025-02-17T08:54:29Z)
• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• A Survey of Diffusion Models in Natural Language Processing [11.233768932957771]
  拡散モデルは、ネットワークや多様体にまたがる情報や信号の拡散を捉える。 本稿は,NLPで使用される拡散モデルの異なる定式化,その強度と限界,それらの応用について論じる。
  論文  参考訳（メタデータ） (2023-05-24T03:25:32Z)
• A Reparameterized Discrete Diffusion Model for Text Generation [39.0145272152805]
  本研究は, 離散拡散確率モデルと自然言語生成への応用に関する研究である。 離散拡散過程からサンプリングの代替的かつ等価な定式化を導出する。 本研究では,既存の拡散モデルに対して,テキスト生成能力を評価するための広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-02-11T16:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。