論文の概要: ELF: Embedded Language Flows

• arxiv url: http://arxiv.org/abs/2605.10938v1
• Date: Mon, 11 May 2026 17:59:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:51.063641
• Title: ELF: Embedded Language Flows
• Title（参考訳）: ELF: 組み込み言語フロー
• Authors: Keya Hu, Linlu Qiu, Yiyang Lu, Hanhong Zhao, Tianhong Li, Yoon Kim, Jacob Andreas, Kaiming He,
• Abstract要約: 連続言語モデルは離散領域への最小適応で有効にすることができることを示す。 連続埋め込み空間における拡散モデルのクラスである埋め込み言語フロー(ELF)を提案する。 ELFは離散的かつ連続的なDLMよりも大幅に優れ、サンプリングステップを少なくして生成品質が向上する。
• 参考スコア（独自算出の注目度）: 76.80499600969769
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion and flow-based models have become the de facto approaches for generating continuous data, e.g., in domains such as images and videos. Their success has attracted growing interest in applying them to language modeling. Unlike their image-domain counterparts, today's leading diffusion language models (DLMs) primarily operate over discrete tokens. In this paper, we show that continuous DLMs can be made effective with minimal adaptation to the discrete domain. We propose Embedded Language Flows (ELF), a class of diffusion models in continuous embedding space based on continuous-time Flow Matching. Unlike existing DLMs, ELF predominantly stays within the continuous embedding space until the final time step, where it maps to discrete tokens using a shared-weight network. This formulation makes it straightforward to adapt established techniques from image-domain diffusion models, e.g., classifier-free guidance (CFG). Experiments show that ELF substantially outperforms leading discrete and continuous DLMs, achieving better generation quality with fewer sampling steps. These results suggest that ELF offers a promising path toward effective continuous DLMs.
• Abstract（参考訳）: 拡散モデルやフローベースモデルは、画像やビデオなどの領域で連続データを生成するデファクトアプローチとなっている。 彼らの成功は言語モデリングに適用することへの関心が高まっている。 イメージドメインとは違って、今日の主要な拡散言語モデル(DLM)は、主に離散トークン上で動作している。 本稿では,連続DLMを離散領域への最小適応で有効にすることができることを示す。 本研究では,連続時間フローマッチングに基づく連続埋め込み空間における拡散モデルのクラスであるEmbedded Language Flows (ELF)を提案する。 既存のDLMとは異なり、ELFは最終段階まで連続的な埋め込み空間に留まり、共有重みネットワークを使用して離散トークンにマップされる。 この定式化により、画像領域拡散モデル(例えば、分類器フリーガイダンス(CFG))から確立された技術に容易に適応できる。 実験により、ELFは離散的かつ連続的なDLMよりも大幅に優れており、サンプリングステップを少なくして生成品質が向上することが示された。 これらの結果から,ELFは実効連続DLMへの道のりとして有望であることが示唆された。

関連論文リスト

• How to Train Your Latent Diffusion Language Model Jointly With the Latent Space [76.9057986588963]
  遅延拡散モデルは、非自己回帰テキスト生成のための離散拡散の魅力的な代替手段を提供する。 本稿では、潜在エンコーダ、拡散モデル、デコーダを共同で訓練する潜在拡散言語モデル(LDLM)を提案する。 OpenWebTextとLM1Bでは、LDLMは既存の離散および連続拡散言語モデルよりも優れた生成性能を達成する。
  論文  参考訳（メタデータ） (2026-05-08T16:05:19Z)
• LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling [39.014850192441656]
  連続拡散言語モデル(DLM)は、スパースデータ空間と未探索の設計空間により、離散的な言語モデルよりも遅れている。 LangFlowは、組み込み空間のDLMを、Bregmanの発散を介してFlow Matchingに接続する。 LangFlowはperplexity (PPL) とgenerative perplexity (Gen. PPL) の両方で上位のDLMと競合する 7つのベンチマークのうち4つは、ゼロショット転送において自己回帰ベースラインを超えている。
  論文  参考訳（メタデータ） (2026-04-13T17:21:41Z)
• One-step Language Modeling via Continuous Denoising [36.18484491074519]
  本研究では,フローベース連続デノゲーションを利用した言語モデルが,品質と速度の両面で離散拡散よりも優れていることを示す。 我々の研究は、離散拡散過程は離散モダリティ上の生成的モデリングに必要である、という広く支持されている仮説に疑問を投げかける。
  論文  参考訳（メタデータ） (2026-02-18T19:23:07Z)
• Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner [66.86440230599656]
  拡散言語モデルは必ずしも離散空間にある必要はないと主張する。 特に、連続拡散モデルが離散拡散やループ変換器よりも強い表現性を持つことを示す。 本稿では,連続表現空間と離散トークン空間の結合に関する共同多モード拡散過程を定義する共進化連続拡散法(CCDD)を提案する。
  論文  参考訳（メタデータ） (2025-10-03T17:44:41Z)
• DLM-One: Diffusion Language Models for One-Step Sequence Generation [63.43422118066493]
  DLM-Oneは連続拡散言語モデルを用いた1ステップシーケンス生成のためのスコア蒸留ベースのフレームワークである。 DLM-Oneが言語モデリングにおけるサンプリング効率を大幅に向上できるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-05-30T22:42:23Z)
• Multimodal Latent Language Modeling with Next-Token Diffusion [111.93906046452125]
  マルチモーダル生成モデルは、離散データ(テキストやコードなど)と連続データ(画像、オーディオ、ビデオなど)の両方を扱う統一的なアプローチを必要とする。 因果変換器を用いて連続データと離散データをシームレスに統合する潜在言語モデリング(LatentLM)を提案する。
  論文  参考訳（メタデータ） (2024-12-11T18:57:32Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。