論文の概要: dLLM: Simple Diffusion Language Modeling

• arxiv url: http://arxiv.org/abs/2602.22661v1
• Date: Thu, 26 Feb 2026 06:26:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.556409
• Title: dLLM: Simple Diffusion Language Modeling
• Title（参考訳）: dLLM: 単純な拡散言語モデリング
• Authors: Zhanhui Zhou, Lingjie Chen, Hanghang Tong, Dawn Song,
• Abstract要約: dLLMは拡散言語モデリングのコアコンポーネントを統合するオープンソースフレームワークである。 dLLMを使用すると、ユーザはLLaDAやDreamといったオープンソースの大規模DLMを再現、微調整、デプロイ、評価することができる。
• 参考スコア（独自算出の注目度）: 84.88927902712176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although diffusion language models (DLMs) are evolving quickly, many recent models converge on a set of shared components. These components, however, are distributed across ad-hoc research codebases or lack transparent implementations, making them difficult to reproduce or extend. As the field accelerates, there is a clear need for a unified framework that standardizes these common components while remaining flexible enough to support new methods and architectures. To address this gap, we introduce dLLM, an open-source framework that unifies the core components of diffusion language modeling -- training, inference, and evaluation -- and makes them easy to customize for new designs. With dLLM, users can reproduce, finetune, deploy, and evaluate open-source large DLMs such as LLaDA and Dream through a standardized pipeline. The framework also provides minimal, reproducible recipes for building small DLMs from scratch with accessible compute, including converting any BERT-style encoder or autoregressive LM into a DLM. We also release the checkpoints of these small DLMs to make DLMs more accessible and accelerate future research.
• Abstract（参考訳）: 拡散言語モデル(DLM)は急速に進化しているが、近年のモデルの多くは共有コンポーネントの集合に収束している。 しかしながら、これらのコンポーネントは、アドホックな研究コードベースに分散したり、透過的な実装が欠如しているため、再現や拡張が困難である。 フィールドが加速するにつれて、これらの共通コンポーネントを標準化し、新しいメソッドやアーキテクチャをサポートするのに十分な柔軟性を維持しながら、統一されたフレームワークの必要性が明らかになる。 このギャップに対処するために、拡散言語モデリング(トレーニング、推論、評価)のコアコンポーネントを統合するオープンソースのフレームワークであるdLLMを紹介します。 dLLMを使えば、LLaDAやDreamといったオープンソースの大規模なDLMを、標準化されたパイプラインで再現、微調整、デプロイ、評価することができる。 このフレームワークはまた、BERTスタイルのエンコーダや自己回帰型LMをDLMに変換することを含む、スクラッチから小さなDLMを構築するための最小限の再現可能なレシピも提供する。 また、これらの小さなDLMのチェックポイントを公開し、DLMをよりアクセスしやすくし、将来の研究を加速する。

関連論文リスト

• Discrete Diffusion in Large Language and Multimodal Models: A Survey [61.86669998363359]
  離散拡散言語モデル(dLLMs)と離散拡散多モード言語モデル(dMLLMs)の体系的調査を行う。 自己回帰(AR)モデルとは異なり、dLLMsとdMLLMsはマルチトークンの並列デコーディングパラダイムを採用しており、フルアテンションとデノナイジングに基づく生成戦略を採用している。 我々は、dLLMとdMLLMの歴史的発展を辿り、基礎となる数学的枠組みを定式化し、一般的なモデリング手法を列挙し、代表モデルを分類する。
  論文  参考訳（メタデータ） (2025-06-16T17:59:08Z)
• Prior Knowledge Integration via LLM Encoding and Pseudo Event Regulation for Video Moment Retrieval [23.94611751368491]
  本稿では,大言語モデル(LLM)を一般知識の統合に活用し,擬似イベントを時間的コンテンツ配信の先駆けとして活用する可能性について検討する。 これらの制限を克服するために,デコーダの代わりにLLMエンコーダを提案する。 LLMエンコーダを既存のVMRアーキテクチャ、特に核融合モジュールに組み込むための一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-21T04:39:06Z)
• ECLM: Entity Level Language Model for Spoken Language Understanding with Chain of Intent [20.3491383818583]
  大きな言語モデル(LLM)は、言語生成と一般的なタスクパフォーマンスにおいて印象的な能力を示している。 本稿では,エンティティ認識タスクとしてスロットフィリングを再構成するエンティティレベル言語モデル(ECLM)フレームワークを提案する。 ECLMはUni-MISのような強力なベースラインをはるかに上回り、MixATISでは3.7%、MixSNIPSでは3.1%を達成している。
  論文  参考訳（メタデータ） (2024-03-07T13:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。