論文の概要: One Latent, Many Tokens: Jointly Learning Compressed Embeddings for Efficient Language Diffusion

• arxiv url: http://arxiv.org/abs/2609.33698v1
• Date: Sun, 27 Sep 2026 16:00:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 17:34:06.753792
• Title: One Latent, Many Tokens: Jointly Learning Compressed Embeddings for Efficient Language Diffusion
• Title（参考訳）: 高速言語拡散のための圧縮埋め込みの連成学習
• Abstract要約: 本稿では,圧縮機,フローマッチングモデル,復号モジュールを共同で訓練するJPEG-DLMを紹介する。 より構造化され、拡散でモデル化しやすく、確実にトークンにデオード可能な圧縮埋め込みを学ぶ。 LM1B および OWT 上の近年の拡散流モデルの中では,Gen-PPL の平均値とスループットが最も低い。
• 参考スコア（独自算出の注目度）: 13.514451981668207
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Most continuous diffusion language models process one latent position per token at each sampling step, making generation expensive. Two-stage methods lower the cost by reducing the latent length, but they fix the compressed embedding space before training the diffusion model. Embeddings from the fixed space can be difficult to model with diffusion and decode reliably into tokens, which limits generation quality after compression. To address this problem, we introduce JPEG-DLM (Joint-embedding Prediction for Efficient Generation with Diffusion Language Model), which jointly trains a compressor, a flow matching model and a decoding module. With joint-embedding prediction, JPEG-DLM learns compressed embeddings that are more structured, easier to model with diffusion and reliably decodable into tokens. JPEG-DLM achieves the lowest mean Gen-PPL and highest throughput among recent diffusion and flow models on LM1B and OWT. At a compression rate of 0.5 on OWT, it reaches a Gen-PPL of 34.52 and approximately 2.3 times ELF's throughput. These results suggest that jointly learning compressed embeddings offers a promising path toward efficient diffusion language modeling. Code will be released soon.
• Abstract（参考訳）: ほとんどの連続拡散言語モデルは、各サンプリングステップでトークンごとに1つの潜在位置を処理し、生成コストを高くする。 2段階の手法は潜伏長を減らしてコストを下げるが、拡散モデルを訓練する前に圧縮された埋め込み空間を固定する。 固定空間からの埋め込みは拡散でモデル化することは困難であり、圧縮後の生成品質を制限するトークンに確実にデコードする。 そこで本研究では,圧縮機,フローマッチングモデル,デコードモジュールを共同で訓練するJPEG-DLM(Joint-embedding Prediction for Efficient Generation with Diffusion Language Model)を提案する。 JPEG-DLMは共同埋め込み予測によって、より構造化され、拡散してモデル化しやすく、トークンに確実にデオード可能な圧縮埋め込みを学習する。 JPEG-DLM は LM1B および OWT 上の近年の拡散流モデルの中で, 平均Gen-PPL と最高スループットを達成している。 OWTでは0.5の圧縮速度で34.52のGen-PPLに達し、ALFのスループットの約2.3倍に達する。 これらの結果は,圧縮埋め込みを共同学習することで,効率的な拡散言語モデリングへの道が開かれることを示唆している。 コードはまもなくリリースされる。

関連論文リスト

• AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
  AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。 AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
  論文  参考訳（メタデータ） (2026-08-03T17:59:50Z)
• DiffusionGemma Technical Report [72.10570774996219]
  DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。 DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。 私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
  論文  参考訳（メタデータ） (2026-07-31T16:11:46Z)
• How to Train Your Latent Diffusion Language Model Jointly With the Latent Space [76.9057986588963]
  遅延拡散モデルは、非自己回帰テキスト生成のための離散拡散の魅力的な代替手段を提供する。 本稿では、潜在エンコーダ、拡散モデル、デコーダを共同で訓練する潜在拡散言語モデル(LDLM)を提案する。 OpenWebTextとLM1Bでは、LDLMは既存の離散および連続拡散言語モデルよりも優れた生成性能を達成する。
  論文  参考訳（メタデータ） (2026-05-08T16:05:19Z)
• LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling [39.014850192441656]
  連続拡散言語モデル(DLM)は、スパースデータ空間と未探索の設計空間により、離散的な言語モデルよりも遅れている。 LangFlowは、組み込み空間のDLMを、Bregmanの発散を介してFlow Matchingに接続する。 LangFlowはperplexity (PPL) とgenerative perplexity (Gen. PPL) の両方で上位のDLMと競合する 7つのベンチマークのうち4つは、ゼロショット転送において自己回帰ベースラインを超えている。
  論文  参考訳（メタデータ） (2026-04-13T17:21:41Z)
• Sequential Diffusion Language Models [110.06562906987052]
  拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。 次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。 本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:15Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)
• LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models [22.06402870816756]
  大きな言語モデル(LLM)は、その驚くべき能力のために様々なアプリケーションに適用されている。 本稿では,意味的整合性を維持するための予算制御を伴う粗大なプロンプト圧縮手法であるLLMLinguaを提案する。 提案手法により,最先端性能が得られ,最大20倍圧縮が可能であり,性能損失が少ないことを示す。
  論文  参考訳（メタデータ） (2023-10-09T14:10:21Z)
• LLM-grounded Diffusion: Enhancing Prompt Understanding of Text-to-Image Diffusion Models with Large Language Models [62.75006608940132]
  本研究は,テキストから画像への拡散モデルにおいて,迅速な理解能力を高めることを提案する。 提案手法は,新たな2段階プロセスにおいて,事前訓練された大規模言語モデルを用いてグラウンドド生成を行う。 提案手法は,画像の正確な生成において,ベース拡散モデルといくつかの強いベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2023-05-23T03:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。