論文の概要: Denoising Hierarchical Representations: Joint Continuous Diffusion for Language Modeling
- arxiv url: http://arxiv.org/abs/2610.08738v1
- Date: Tue, 06 Oct 2026 17:38:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:30.152758
- Title: Denoising Hierarchical Representations: Joint Continuous Diffusion for Language Modeling
- Title（参考訳）: 階層表現の認知:言語モデリングのための連立連続拡散
- Abstract要約: 拡散言語モデル(DLM)は、順序に依存しない並列テキスト生成の約束を保持する。
H-CDLM(Hierarchical Continuous Diffusion Language Models:階層型連続拡散言語モデル)を導入する。
データセットエントロピーでは、H-CoBitはMAUVEを改善し、LM1Bで49.4、OWTで50.4の生成パープレキシティ(GenPPL)に到達し、ベースラインを24.2と20.7ポイント改善し、同じ大きさのDLMも上回っている。
- 参考スコア（独自算出の注目度）: 4.873082097238421
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion Language Models (DLMs) hold the promise of order-agnostic, parallel text generation. Recently, continuous diffusion and flow matching models have seen substantial gains, driven by carefully crafted token representations and diffusion/flow spaces. In this work, we introduce Hierarchical Continuous Diffusion Language Models (H-CDLMs), a simple framework that further improves continuous DLMs with minimal compute and parameter overhead. Drawing on the discrete DLM and continuous image diffusion literature on joint diffusion, we diffuse multiple modalities in parallel. These modalities represent tokens at different semantic granularities: in our instantiation, the tokens themselves and coarser clusters obtained by clustering pretrained token embeddings. We propose a general setup that allows per-modality samplers and schedules to enhance the interplay between modalities. Applied to CoBit, this yields H-CoBit, which delivers large empirical gains across benchmarks. At dataset entropy, H-CoBit improves MAUVE and reaches a generative perplexity (GenPPL) of 49.4 on LM1B and 50.4 on OWT, improving on the baseline by 24.2 and 20.7 points and surpassing even discrete DLMs of comparable size. On GSM8K, it reaches 27.4% accuracy, outperforming prior continuous diffusion and flow-based models. We further apply H-CDLM to the flow matching model FLM, obtaining consistent gains with H-FLM and demonstrating that the framework generalizes across continuous generative paradigms. Our code will be made publicly available at https://github.com/matol-16/HCDLM.git .
- Abstract（参考訳）: 拡散言語モデル(DLM)は、順序に依存しない並列テキスト生成の約束を保持する。
近年, 連続拡散・流れマッチングモデルでは, 慎重に構成されたトークン表現や拡散/フロー空間によって, かなりの利得が得られている。
本稿では,計算量とパラメータのオーバーヘッドを最小限に抑えながら連続DLMをさらに改善するシンプルなフレームワークである階層型連続拡散言語モデル(H-CDLM)を紹介する。
関節拡散に関する離散DLMと連続画像拡散文献に基づいて,複数のモーダルを並列に拡散する。
インスタンス化では、トークン自身と、事前訓練されたトークン埋め込みをクラスタリングすることで得られる粗いクラスタが表現されます。
本稿では,モダリティごとのサンプルとスケジュールがモダリティ間の相互作用を高めるための一般的な設定を提案する。
CoBitに適用すると、ベンチマーク間で大きな経験的利益をもたらすH-CoBitが得られる。
データセットエントロピーでは、H-CoBitはMAUVEを改善し、LM1Bで49.4、OWTで50.4の生成パープレキシティ(GenPPL)に到達し、ベースラインを24.2と20.7ポイント改善し、同じ大きさのDLMも上回っている。
GSM8Kでは27.4%の精度に達し、従来の連続拡散モデルやフローベースモデルよりも優れている。
さらにH-CDLMをフローマッチングモデルFLMに適用し,H-FLMと一貫した利得を得るとともに,連続的な生成パラダイムをまたいだフレームワークの一般化を実証する。
私たちのコードはhttps://github.com/matol-16/HCDLM.gitで公開されます。
関連論文リスト
- Representation-Space MMD for Diffusion Language Models [15.375628891899437]
平均最大離散性(MMD)を最小化する拡散言語モデル(DLM)のポストトレーニング手法を提案する。
我々は、離散モデルに対するポリシー勾配と、連続モデルに対する生成されたラテントによる直接微分を用いて、この目的を最適化する。
実験では、OpenWebText上での同等エントロピーにおける生成パープレキシティの低下と、GSM8K上での精度計算のトレードオフの改善が示されている。
論文 参考訳（メタデータ） (2026-10-05T16:28:29Z) - Hierarchical Continuous Diffusion Language Models [50.34180702812139]
階層型連続拡散言語モデル(HC-DLM)を提案する。
HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。
これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
論文 参考訳（メタデータ） (2026-10-01T17:59:39Z) - AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。
AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
論文 参考訳（メタデータ） (2026-08-03T17:59:50Z) - Continuous Diffusion Scales Competitively with Discrete Diffusion for Language [48.290726603587444]
確率ベース連続拡散言語モデル(DLM)としてRePlaidを構築する。
自己回帰モデルと比較すると,RePlaidの計算ギャップは20ドル程度であることがわかった。
また、可能性に基づくトレーニングの利点を理解するための理論的洞察も提供します。
論文 参考訳（メタデータ） (2026-05-18T15:15:24Z) - ELF: Embedded Language Flows [76.80499600969769]
連続言語モデルは離散領域への最小適応で有効にすることができることを示す。
連続埋め込み空間における拡散モデルのクラスである埋め込み言語フロー(ELF)を提案する。
ELFは離散的かつ連続的なDLMよりも大幅に優れ、サンプリングステップを少なくして生成品質が向上する。
論文 参考訳（メタデータ） (2026-05-11T17:59:29Z) - How to Train Your Latent Diffusion Language Model Jointly With the Latent Space [76.9057986588963]
遅延拡散モデルは、非自己回帰テキスト生成のための離散拡散の魅力的な代替手段を提供する。
本稿では、潜在エンコーダ、拡散モデル、デコーダを共同で訓練する潜在拡散言語モデル(LDLM)を提案する。
OpenWebTextとLM1Bでは、LDLMは既存の離散および連続拡散言語モデルよりも優れた生成性能を達成する。
論文 参考訳（メタデータ） (2026-05-08T16:05:19Z) - Locally Coherent Parallel Decoding in Diffusion Language Models [6.620088179445404]
拡散言語モデル(DLM)は、線形生成遅延と双方向機能を提供する。
標準DLMは条件付き境界分布とは独立してトークンをサンプリングする。
並列サンプリングを局所的依存モデルと照合する手法であるCoDiLAを紹介する。
論文 参考訳（メタデータ） (2026-03-03T09:56:53Z) - CRoCoDiL: Continuous and Robust Conditioned Diffusion for Language [21.764828393078886]
Masked Diffusion Models (MDMs) は自己回帰生成の効率的な非因果的代替手段を提供する。
拡散過程を連続的な文レベルの意味空間にシフトすることで、これらの制限に対処する。
論文 参考訳（メタデータ） (2026-03-02T12:50:55Z) - Multimodal Latent Language Modeling with Next-Token Diffusion [111.93906046452125]
マルチモーダル生成モデルは、離散データ(テキストやコードなど)と連続データ(画像、オーディオ、ビデオなど)の両方を扱う統一的なアプローチを必要とする。
因果変換器を用いて連続データと離散データをシームレスに統合する潜在言語モデリング(LatentLM)を提案する。
論文 参考訳（メタデータ） (2024-12-11T18:57:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。