論文の概要: dLLM: Simple Diffusion Language Modeling
- arxiv url: http://arxiv.org/abs/2602.22661v1
- Date: Thu, 26 Feb 2026 06:26:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-27 18:41:22.556409
- Title: dLLM: Simple Diffusion Language Modeling
- Title（参考訳）: dLLM: 単純な拡散言語モデリング
- Authors: Zhanhui Zhou, Lingjie Chen, Hanghang Tong, Dawn Song,
- Abstract要約: dLLMは拡散言語モデリングのコアコンポーネントを統合するオープンソースフレームワークである。
dLLMを使用すると、ユーザはLLaDAやDreamといったオープンソースの大規模DLMを再現、微調整、デプロイ、評価することができる。
- 参考スコア（独自算出の注目度）: 84.88927902712176
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although diffusion language models (DLMs) are evolving quickly, many recent models converge on a set of shared components. These components, however, are distributed across ad-hoc research codebases or lack transparent implementations, making them difficult to reproduce or extend. As the field accelerates, there is a clear need for a unified framework that standardizes these common components while remaining flexible enough to support new methods and architectures. To address this gap, we introduce dLLM, an open-source framework that unifies the core components of diffusion language modeling -- training, inference, and evaluation -- and makes them easy to customize for new designs. With dLLM, users can reproduce, finetune, deploy, and evaluate open-source large DLMs such as LLaDA and Dream through a standardized pipeline. The framework also provides minimal, reproducible recipes for building small DLMs from scratch with accessible compute, including converting any BERT-style encoder or autoregressive LM into a DLM. We also release the checkpoints of these small DLMs to make DLMs more accessible and accelerate future research.
- Abstract（参考訳）: 拡散言語モデル(DLM)は急速に進化しているが、近年のモデルの多くは共有コンポーネントの集合に収束している。
しかしながら、これらのコンポーネントは、アドホックな研究コードベースに分散したり、透過的な実装が欠如しているため、再現や拡張が困難である。
フィールドが加速するにつれて、これらの共通コンポーネントを標準化し、新しいメソッドやアーキテクチャをサポートするのに十分な柔軟性を維持しながら、統一されたフレームワークの必要性が明らかになる。
このギャップに対処するために、拡散言語モデリング(トレーニング、推論、評価)のコアコンポーネントを統合するオープンソースのフレームワークであるdLLMを紹介します。
dLLMを使えば、LLaDAやDreamといったオープンソースの大規模なDLMを、標準化されたパイプラインで再現、微調整、デプロイ、評価することができる。
このフレームワークはまた、BERTスタイルのエンコーダや自己回帰型LMをDLMに変換することを含む、スクラッチから小さなDLMを構築するための最小限の再現可能なレシピも提供する。
また、これらの小さなDLMのチェックポイントを公開し、DLMをよりアクセスしやすくし、将来の研究を加速する。
関連論文リスト
- A Structure-Agnostic Co-Tuning Framework for LLMs and SLMs in Cloud-Edge Systems [20.267719677908683]
Co-PLMsは、大規模および小規模言語モデルの協調トレーニングのための新しいフレームワークである。
構造に依存しない相互学習のプロセスを統合し、異種言語モデル間の知識交換を実現する。
その結果、Co-PLMsは最先端の手法より優れており、Roge-Lでは平均5.38%、EMでは4.88%の上昇を達成している。
論文 参考訳（メタデータ） (2025-11-12T01:16:17Z) - Discrete Diffusion in Large Language and Multimodal Models: A Survey [61.86669998363359]
離散拡散言語モデル(dLLMs)と離散拡散多モード言語モデル(dMLLMs)の体系的調査を行う。
自己回帰(AR)モデルとは異なり、dLLMsとdMLLMsはマルチトークンの並列デコーディングパラダイムを採用しており、フルアテンションとデノナイジングに基づく生成戦略を採用している。
我々は、dLLMとdMLLMの歴史的発展を辿り、基礎となる数学的枠組みを定式化し、一般的なモデリング手法を列挙し、代表モデルを分類する。
論文 参考訳（メタデータ） (2025-06-16T17:59:08Z) - Large Language Models are Good Relational Learners [55.40941576497973]
本稿では,グラフニューラルネットワーク(GNN)に基づくエンコーダを用いて,大規模言語モデル(LLM)のための構造化リレーショナルプロンプトを生成する新しいアーキテクチャであるRel-LLMを紹介する。
従来のテキストベースのシリアライズ手法とは異なり,本手法はデータベース固有の関係構造を保ちながら,LLMが複雑なエンティティ関係を処理・推論することを可能にする。
論文 参考訳（メタデータ） (2025-06-06T04:07:55Z) - LatentLLM: Attention-Aware Joint Tensor Compression [50.33925662486034]
大規模言語モデル(LLM)と大規模マルチモーダルモデル(LMM)は膨大な計算量とメモリ資源を必要とする。
本稿では,LLM/LMMを低次元潜在構造に変換するための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-23T22:39:54Z) - DiffLM: Controllable Synthetic Data Generation via Diffusion Language Models [38.59653405736706]
可変オートエンコーダ(VAE)に基づく制御可能なデータ合成フレームワークDiffLMを紹介する。
DiffLMは高品質なデータを生成し、ダウンストリームタスクのパフォーマンスが実際のデータよりも2%～7%向上していることを示す。
論文 参考訳（メタデータ） (2024-11-05T16:47:53Z) - LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [72.68665884790002]
本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。
本稿では,教師モデルの頑健な表現を視覚的,言語的両面で伝達するために,MDist(Multimodal Distillation)を導入する。
また,提案した蒸留戦略の可能性をフル活用するための3段階学習手法を提案する。
論文 参考訳（メタデータ） (2024-10-21T17:41:28Z) - Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。
In-Context Learning (ICL) など。
効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。
下流タスクへのLLM。
我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文 参考訳（メタデータ） (2024-09-30T10:48:20Z) - Prior Knowledge Integration via LLM Encoding and Pseudo Event Regulation for Video Moment Retrieval [23.94611751368491]
本稿では,大言語モデル(LLM)を一般知識の統合に活用し,擬似イベントを時間的コンテンツ配信の先駆けとして活用する可能性について検討する。
これらの制限を克服するために,デコーダの代わりにLLMエンコーダを提案する。
LLMエンコーダを既存のVMRアーキテクチャ、特に核融合モジュールに組み込むための一般的なフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-21T04:39:06Z) - Exploring the Role of Large Language Models in Prompt Encoding for Diffusion Models [42.891427362223176]
デコーダのみの変換器をベースとした大規模言語モデル(LLM)は、優れたテキスト理解能力を示している。
LLMの能力をフル活用するための新しいフレームワークを提案する。
さらに, LLM-Infused Diffusion Transformer (LI-DiT) を設計した。
論文 参考訳（メタデータ） (2024-06-17T17:59:43Z) - ECLM: Entity Level Language Model for Spoken Language Understanding with Chain of Intent [20.3491383818583]
大きな言語モデル(LLM)は、言語生成と一般的なタスクパフォーマンスにおいて印象的な能力を示している。
本稿では,エンティティ認識タスクとしてスロットフィリングを再構成するエンティティレベル言語モデル(ECLM)フレームワークを提案する。
ECLMはUni-MISのような強力なベースラインをはるかに上回り、MixATISでは3.7%、MixSNIPSでは3.1%を達成している。
論文 参考訳（メタデータ） (2024-03-07T13:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。