論文の概要: Diffusion Language Models: An Experimental Analysis

• arxiv url: http://arxiv.org/abs/2606.19475v2
• Date: Mon, 22 Jun 2026 16:35:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 16:10:14.802303
• Title: Diffusion Language Models: An Experimental Analysis
• Title（参考訳）: 拡散言語モデル:実験分析
• Authors: Thomas Bertolani, Davide Bucciarelli, Leonardo Zini, Marcella Cornia, Lorenzo Baraldi,
• Abstract要約: 拡散言語モデル(Diffusion Language Models)は、次から次へと予測するよりも反復的な記述を通じてテキストを生成する。 我々は、推論、コーディング、翻訳、知識、構造化問題解決にまたがる8つのベンチマークで、最先端の8つのDLMを評価した。 DLMの挙動は世代毎の設計選択の影響を強く受けており,性能と計算効率のトレードオフが顕著であることを示す。
• 参考スコア（独自算出の注目度）: 21.773483524326362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have revolutionized language modeling through autoregressive generation, enabling strong performance across a wide range of tasks. Recently, Diffusion Language Models (DLMs) have emerged as an alternative paradigm that generates text through iterative denoising rather than next-token prediction, allowing parallel refinement of entire sequences. While numerous diffusion-based architectures have been proposed, differences in evaluation protocols, datasets, inference budgets, and generation hyperparameters make it difficult to compare their capabilities and understand the trade-offs they offer. In this work, we present a systematic experimental analysis of modern DLMs. Specifically, we evaluate eight state-of-the-art DLMs across eight benchmarks spanning reasoning, coding, translation, knowledge, and structured problem solving, while explicitly considering both generation quality and computational efficiency. Beyond downstream evaluation, we analyze the impact of key inference-time factors, including denoising steps, context length, block size, and parallel unmasking strategies, and complement large-scale experiments with controlled comparisons of smaller models trained under identical conditions. Our analysis highlights the strengths and limitations of diffusion-based language modeling across different tasks, architectures, and inference budgets. We show that the behavior of DLMs is strongly influenced by generation-time design choices, leading to distinct trade-offs between performance and computational efficiency. Overall, our study provides practical insights into the capabilities and deployment characteristics of contemporary DLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自動回帰生成を通じて言語モデリングに革命をもたらし、幅広いタスクにわたって強力なパフォーマンスを実現している。 近年, 拡散言語モデル (DLM) は, 逐次予測よりも反復的推論によってテキストを生成する代替パラダイムとして登場し, シーケンス全体の並列化を実現している。 多くの拡散ベースのアーキテクチャが提案されているが、評価プロトコル、データセット、推論予算、生成ハイパーパラメータの違いは、それらの能力を比較し、それらが提供するトレードオフを理解するのを困難にしている。 本研究では,現代のDLMの系統的解析について述べる。 具体的には、推論、コーディング、翻訳、知識、構造化問題解決にまたがる8つのベンチマークの8つの最先端DLMを評価し、生成品質と計算効率の両方を明示的に検討した。 ダウンストリーム評価以外にも,ステップ,コンテキスト長,ブロックサイズ,並列アンマスキング戦略などの重要推論時間要因の影響を分析し,同一条件下で訓練された小型モデルの制御比較による大規模実験を補完する。 我々の分析は、様々なタスク、アーキテクチャ、推論予算にまたがる拡散に基づく言語モデリングの長所と短所を強調している。 DLMの挙動は世代毎の設計選択の影響を強く受けており,性能と計算効率のトレードオフが顕著であることを示す。 本研究は,現代のDLMの能力と展開特性に関する実践的な知見を提供する。

関連論文リスト

• Reproducing and Dissecting Denoising Language Models for Speech Recognition [31.91567892562116]
  音声認識(ASR)のための従来の言語モデル(LM)に代わる強力な代替手段として、DLM(Denoising Language Model)が提案されている。 本稿では,DLMの大規模独立研究について述べる。
  論文  参考訳（メタデータ） (2025-12-15T17:33:22Z)
• A Survey on Diffusion Language Models [30.00199970146068]
  拡散言語モデル(DLM)は、支配的な自己回帰(AR)パラダイムの代替である。 DLMは、推論遅延を減らし、双方向のコンテキストをキャプチャすることに固有の利点がある。 近年の進歩により、DLMは自己回帰に匹敵する性能を示すようになった。
  論文  参考訳（メタデータ） (2025-08-14T17:47:22Z)
• Discrete Diffusion in Large Language and Multimodal Models: A Survey [61.86669998363359]
  離散拡散言語モデル(dLLMs)と離散拡散多モード言語モデル(dMLLMs)の体系的調査を行う。 自己回帰(AR)モデルとは異なり、dLLMsとdMLLMsはマルチトークンの並列デコーディングパラダイムを採用しており、フルアテンションとデノナイジングに基づく生成戦略を採用している。 我々は、dLLMとdMLLMの歴史的発展を辿り、基礎となる数学的枠組みを定式化し、一般的なモデリング手法を列挙し、代表モデルを分類する。
  論文  参考訳（メタデータ） (2025-06-16T17:59:08Z)
• A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
  復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。 本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。 その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-10T11:14:53Z)
• Can Large Language Models Understand Context? [17.196362853457412]
  本稿では,生成モデルの評価に適合する既存のデータセットを適応させることにより,文脈理解ベンチマークを提案する。 実験結果から, 事前学習された高密度モデルでは, 最先端の微調整モデルと比較して, よりニュアンスな文脈特徴の理解に苦慮していることが明らかとなった。 LLM圧縮は研究と実世界のアプリケーションの両方において重要度が高くなっているため、文脈学習環境下での量子化モデルの文脈理解を評価する。
  論文  参考訳（メタデータ） (2024-02-01T18:55:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。