論文の概要: Designing Transformers for Continuous Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.22330v1
• Date: Thu, 15 Oct 2026 17:52:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.267754
• Title: Designing Transformers for Continuous Diffusion Language Models
• Title（参考訳）: 連続拡散言語モデルのための変圧器の設計
• Abstract要約: LangDiTは、マッチしたLangFlow比較における生成パープレキシティを著しく低減する。 プラグアンドプレイバックボーンとしてのLangDiTは、21.72の世代パープレキシティ(GenPPL)を1024のNFEと44.72のGenPPLを128のNFEで使用する新しい最先端モデルへと導いた。 プラスミド型CDLMに適合すると、LangDiTは1024個のNFEを用いて11.33個の新しいリードGenPPL、27.51個のNFEを128個のNFEを用いて生成する。
• 参考スコア（独自算出の注目度）: 25.324133131129006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continuous diffusion language models (CDLMs) offer an alternative approach to parallel language generation; however, most existing studies directly use transformer architectures from either causal large language models (LLMs) or Diffusion Transformers (DiTs) for image generation, which were not optimized for CDLMs. In this paper, we conduct a systematic study on Transformer architectures for CDLMs and introduce Language Diffusion Transformer (LangDiT), combining feature and query-key normalization, wider noise conditioning, likelihood-shortcut gradient routing and calibration, and confidence-gated training self-conditioning. LangDiT significantly reduces generation perplexity in matched LangFlow comparisons, establishing a new state of the art in continuous language generation across different model formulations. Using LangFlow as a representative CDLM, LangDiT as a plug-and-play backbone leads to a new state-of-the-art model with a generation perplexity (GenPPL) of 21.72 using 1024 NFEs and 44.72 GenPPL using 128 NFEs on the unconditional generation of 1024-token sequences on the OpenWebText dataset. When adapted to Plaid-style CDLM formulations, LangDiT results in a new leading GenPPL of 11.33 using 1024 denoising NFEs, and 27.51 GenPPL using 128 denoising NFEs. These gains are achieved while retaining each model's underlying representation, training objective, and inference sampler, isolating transformer architecture as a fundamental source of improvement. Our study identifies architectural design as an important source of improvement in continuous diffusion language models.
• Abstract（参考訳）: 連続拡散言語モデル(CDLM)は並列言語生成に代替的なアプローチを提供するが、既存の研究の多くは、CDLMに最適化されていない画像生成のために、因果大言語モデル(LLM)または拡散トランスフォーマー(Diffusion Transformer、DiT)のトランスフォーマーアーキテクチャを直接使用している。 本稿では,CDLMのトランスフォーマーアーキテクチャを体系的に研究し,言語拡散変換(LangDiT)を導入し,特徴とクエリキーの正規化,より広い雑音条件,確率ショートカット勾配のルーティングとキャリブレーション,自信に満ちた自己条件について述べる。 LangDiTは、マッチしたLangFlow比較における生成の難易度を著しく低減し、異なるモデル定式化における連続言語生成における新しい最先端を確立する。 LangFlowを代表CDLMとして使用し、LangDiTをプラグアンドプレイバックボーンとして使用することで、21.72の世代パープレクティリティ(GenPPL)を持つ新しい最先端モデルが、OpenWebTextデータセット上の1024トークンシーケンスの無条件生成に128のNFEを使用する1024 NFEと44.72 GenPPLを使用する。 プラスミド型CDLMに適合すると、LangDiTは1024個のNFEを用いて11.33個の新しいリードGenPPL、27.51個のNFEを128個のNFEを用いて生成する。 これらの利得は、各モデルの基盤となる表現、トレーニング目標、推論サンプルを保ちながら達成され、トランスフォーマーアーキテクチャを改善の根源として分離する。 本研究は,アーキテクチャ設計を連続拡散言語モデルの改良の重要な源とみなす。

関連論文リスト

• AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
  AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。 AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
  論文  参考訳（メタデータ） (2026-08-03T17:59:50Z)
• TextLDM: Language Modeling with Continuous Latent Diffusion [89.69255520673248]
  拡散変換器(DiT)は、VAEラテント空間におけるフローマッチングで訓練され、画像やビデオ間で統一された視覚生成を行う。 最小限のアーキテクチャ変更で視覚的潜伏拡散のレシピをテキスト生成に転送するTextLDMを提案する。
  論文  参考訳（メタデータ） (2026-05-08T13:54:34Z)
• Don't Retrain, Align: Adapting Autoregressive LMs to Diffusion LMs via Representation Alignment [46.75006425771645]
  拡散言語モデル(DLM)は、最近、標準自己回帰(AR)モデルを補完する機能を実証した。 我々は,AR-to-DLM変換中に,次点予測によって学習した内部表現幾何を明示的に保存できるかを問う。 本稿では,事前訓練されたARモデルから表現を再利用するために,双方向マスク拡散モデルを適用する表現アライメント対象であるREPR-ALIGNを紹介する。
  論文  参考訳（メタデータ） (2026-05-07T19:35:48Z)
• State Fourier Diffusion Language Model (SFDLM): A Scalable, Novel Iterative Approach to Language Modeling [0.0]
  本稿では,変圧器や大きな畳み込みモジュールを使わずに構築した完全拡散駆動離散テキスト生成モデルを提案する。 ローカルな状態空間の更新をグローバルなFourierベースのミキシングと組み合わせることで、このアプローチはショートおよびロングレンジの依存関係を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2025-03-16T02:17:40Z)
• Multimodal Latent Language Modeling with Next-Token Diffusion [111.93906046452125]
  マルチモーダル生成モデルは、離散データ(テキストやコードなど)と連続データ(画像、オーディオ、ビデオなど)の両方を扱う統一的なアプローチを必要とする。 因果変換器を用いて連続データと離散データをシームレスに統合する潜在言語モデリング(LatentLM)を提案する。
  論文  参考訳（メタデータ） (2024-12-11T18:57:32Z)
• Demystifying the Communication Characteristics for Distributed Transformer Models [2.849208476795592]
  本稿ではトランスモデルの通信挙動について検討する。 我々はGPTに基づく言語モデルをトランスフォーマーアーキテクチャの汎用性によるケーススタディとして用いている。 高いレベルでは、我々の分析により、より小さなメッセージポイントツーポイント通信を最適化する必要性が明らかになる。
  論文  参考訳（メタデータ） (2024-08-19T17:54:29Z)
• DiffiT: Diffusion Vision Transformers for Image Generation [88.08529836125399]
  ViT(Vision Transformer)は、特に認識タスクにおいて、強力なモデリング機能とスケーラビリティを実証している。 拡散型生成学習におけるViTの有効性について検討し、拡散ビジョン変換器(DiffiT)と呼ばれる新しいモデルを提案する。 DiffiTはパラメータ効率が大幅に向上した高忠実度画像を生成するのに驚くほど効果的である。
  論文  参考訳（メタデータ） (2023-12-04T18:57:01Z)
• DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models [81.84866217721361]
  DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。 本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。 非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-11-28T03:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。