論文の概要: How To Build A Modern Diffusion Language Model

• arxiv url: http://arxiv.org/abs/2610.33391v1
• Date: Sat, 24 Oct 2026 01:50:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.318051
• Title: How To Build A Modern Diffusion Language Model
• Title（参考訳）: 現代拡散言語モデルの構築方法
• Abstract要約: 離散拡散モデルは、ノイズのあるシーケンスから始まり、一連のデノナイジングステップで出力全体を反復的に精製するトークンを並列に生成する。 本稿では、離散拡散における鍵となる考え方と、近代拡散LDMの構築方法の高レベルな紹介について述べる。
• 参考スコア（独自算出の注目度）: 18.476537086099622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The frontier of large language model (LLM) performance has advanced rapidly in recent years, fueled by scaling laws for pretraining on large text corpora. However, mainstream LLMs have fundamental limitations: they generate text autoregressively, producing outputs sequentially from left to right one token at a time. This sequential process leaves parallel GPU hardware underutilized during inference--a bottleneck that has grown acute as progress shifts toward scaling post-training and inference-time compute--and commits irreversibly to each token without the ability to revise earlier mistakes. Discrete diffusion models address these limitations by generating tokens in parallel, starting from a noisy or masked sequence and iteratively refining the entire output over a series of denoising steps. This parallel generative process enables speeds of thousands of tokens per second, provides a new axis of inference-time compute scaling, and supports built-in error correction and controllable generation. Over the past two years, discrete diffusion has scaled to billions of parameters across biological sequence modeling and natural language, with open-weights and commercial releases from leading labs. This article provides a survey of key ideas in discrete diffusion and a high-level introduction to how modern diffusion LLMs are built, covering their foundations, core algorithmic and architectural building blocks, applications in biology and language, and implications for future LLM scaling laws.
• Abstract（参考訳）: 大規模言語モデル(LLM)のパフォーマンスのフロンティアは近年急速に進歩し、大規模テキストコーパスでの事前学習の法則のスケーリングによって加速している。 テキストを自動回帰的に生成し、左から右のトークンを一度に逐次出力する。 このシーケンシャルなプロセスは、推論中に使用されていない並列GPUハードウェアを残します — トレーニング後の計算と推論時間のスケーリングへと進むにつれて、ボトルネックが急速に増加します — そして、以前のミスを修正できないまま、各トークンに不可逆的にコミットします。 離散拡散モデルは、ノイズまたはマスキングシーケンスから始まるトークンを並列に生成し、一連のデノナイジングステップで出力全体を反復的に精製することでこれらの制限に対処する。 この並列生成プロセスは、毎秒数千のトークンの速度を可能にし、推論時間計算の新たな軸を提供し、組み込みエラー補正と制御可能な生成をサポートする。 過去2年間で、離散拡散は生物配列モデリングや自然言語にまたがって数十億のパラメータに拡大し、オープンウェイトや主要な研究室からの商業的リリースも行われている。 本稿では、離散拡散における重要な考え方と、それらの基盤、アルゴリズムとアーキテクチャの構成要素、生物学と言語への応用、および将来のLLMスケーリング法則への含意について、最新の拡散LLMの構築方法に関する高レベルな紹介を提供する。

関連論文リスト

• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
  AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。 AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
  論文  参考訳（メタデータ） (2026-08-03T17:59:50Z)
• BitLM: Unlocking Multi-Token Language Generation with Bitwise Continuous Diffusion [47.110252169791075]
  BitLMは、各トークンを固定長バイナリコードとして表現する言語モデルである。 大語彙のソフトマックスをビットワイズデノイングに置き換えることで、BitLMはトークン生成をコンパクトなバイナリ空間における反復的なコミットメントとして再設定する。
  論文  参考訳（メタデータ） (2026-05-12T06:02:59Z)
• Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models [82.87985794856803]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにおいて最先端のパフォーマンスを達成した。 最近、Diffusion Language Models (DLM) が有望な代替アーキテクチャとして登場した。
  論文  参考訳（メタデータ） (2025-10-05T10:50:52Z)
• Fast and Fluent Diffusion Language Models via Convolutional Decoding and Rejective Fine-tuning [23.58934174168992]
  Autoregressive (AR)言語モデルでは、テキストを1つずつ生成することで、推論速度が制限される。 ハードセグメンテーションなしでデコードウインドウを狭める正規化法である畳み込み復号法(Conv)を提案する。 Rejecting Rule-based Fine-Tuning (R2FT)も導入しています。
  論文  参考訳（メタデータ） (2025-09-18T17:48:21Z)
• Beyond Fixed: Training-Free Variable-Length Denoising for Diffusion Large Language Models [74.15250326312179]
  拡散大言語モデルは効率的な並列生成とグローバルモデリングを提供する。 DLLMの主流の応用は、静的に事前定義された生成長の必要性によって妨げられている。 DAEDALは,動的適応長拡張を可能にする新しい学習自由化戦略である。
  論文  参考訳（メタデータ） (2025-08-01T17:56:07Z)
• Generative Multimodal Pretraining with Discrete Diffusion Timestep Tokens [66.02261367232256]
  MLLM(Multimodal Large Language Models)は、視覚的理解と生成を統一することを目的としている。 既存のアプローチは空間的トークンに依存しており、画像パッチは空間的順序に応じてエンコードされ配置される。 本稿では,個別の視覚トークンを学習するために拡散時間ステップを再構成し,適切な視覚言語を構築する。
  論文  参考訳（メタデータ） (2025-04-20T16:14:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。