論文の概要: How Efficient Are Diffusion Language Models? A Critical Examination of Efficiency Evaluation Practices

• arxiv url: http://arxiv.org/abs/2510.18480v2
• Date: Thu, 30 Oct 2025 08:46:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 13:50:54.698532
• Title: How Efficient Are Diffusion Language Models? A Critical Examination of Efficiency Evaluation Practices
• Title（参考訳）: 拡散言語モデルがどの程度効率的か? : 効率評価手法の批判的検討
• Authors: Han Peng, Peiyu Liu, Zican Dong, Daixuan Cheng, Junyi Li, Yiru Tang, Shuo Wang, Wayne Xin Zhao,
• Abstract要約: 拡散言語モデル(DLM)は、長期支配的自己回帰(AR)パラダイムに代わる有望な代替として登場した。 しかし、現在のオープンソースのDLMは、しばしばARの速度よりも優れており、現実のユーティリティを制限している。 本研究はDLMの効率に関する系統的研究であり, 先行評価手法の問題点を同定する。
• 参考スコア（独自算出の注目度）: 81.85465545346266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models (DLMs) have emerged as a promising alternative to the long-dominant autoregressive (AR) paradigm, offering a parallelable decoding process that could yield greater efficiency. Yet, in practice, current open-source DLMs often underperform their AR counterparts in speed, limiting their real-world utility. This work presents a systematic study of DLM efficiency, identifying key issues in prior evaluation methods. Through empirical benchmarking and a roofline-based theoretical analysis, we demonstrate that AR models generally achieve higher throughput, while DLMs consistently lag. We also investigate acceleration strategies, finding that techniques like dual cache and parallel decoding mainly offer gains at small batch sizes, with their benefits diminishing upon scaling. Our findings underscore the necessity of robust evaluation methods and improved acceleration strategies to advance research on DLMs.
• Abstract（参考訳）: 拡散言語モデル (DLMs) は、より効率のよい並列デコードプロセスを提供する、長期支配の自己回帰(AR)パラダイムに代わる有望な代替品として登場した。 しかし、実際には、現在のオープンソースのDLMは、現実のユーティリティを制限して、ARの速度を過小評価することが多い。 本研究はDLMの効率に関する系統的研究であり, 先行評価手法の問題点を同定する。 実証的なベンチマークと屋上モデルに基づく理論的解析により、ARモデルが一般的に高いスループットを達成するのに対し、DLMは一貫して遅延することを示した。 また,2つのキャッシュや並列復号化といった手法が,小規模バッチサイズで主に利益をもたらし,スケーリング時のメリットが低下していることから,加速戦略についても検討する。 本研究は,DLMの研究を進めるために,ロバストな評価手法の必要性と高速化戦略の必要性を明らかにするものである。

関連論文リスト

• Saber: An Efficient Sampling with Adaptive Acceleration and Backtracking Enhanced Remasking for Diffusion Language Model [98.35868970993232]
  拡散言語モデル(DLM)は、支配的な自己回帰パラダイムに代わる強力で有望な選択肢として現れています。 コード生成における推論速度と出力品質の向上を実現するために,適応加速度を用いた効率的なサンプリングとバックトラック強化リマッシング(セイバー)を導入する。
  論文  参考訳（メタデータ） (2025-10-20T23:38:12Z)
• d2: Improved Techniques for Training Reasoning Diffusion Language Models [18.84834746600858]
  マスク拡散言語モデル(DLM)に適した推論フレームワークであるd2を導入する。 我々のフレームワークの中心は、サンプリング軌道の確率を正確に推定するためにマスキングの特性に依存する新しいポリシー勾配アルゴリズムである。 実験的に、d2はRLのみを使用した従来の拡散推論フレームワークよりも大幅に改善される。
  論文  参考訳（メタデータ） (2025-09-25T19:40:36Z)
• A Survey on Diffusion Language Models [30.00199970146068]
  拡散言語モデル(DLM)は、支配的な自己回帰(AR)パラダイムの代替である。 DLMは、推論遅延を減らし、双方向のコンテキストをキャプチャすることに固有の利点がある。 近年の進歩により、DLMは自己回帰に匹敵する性能を示すようになった。
  論文  参考訳（メタデータ） (2025-08-14T17:47:22Z)
• EffiVLM-BENCH: A Comprehensive Benchmark for Evaluating Training-Free Acceleration in Large Vision-Language Models [19.344130974979503]
  LVLM(Large Vision-Language Models)は大きな成功をおさめたが、その大きな計算要求は実際の展開を妨げている。 EffiVLM-Benchは絶対的な性能だけでなく、一般化や忠誠心も評価するための統一的なフレームワークである。 我々の実験と深部分析は、LVLMの加速のための最適戦略に関する洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-31T09:10:43Z)
• d1: Scaling Reasoning in Diffusion Large Language Models via Reinforcement Learning [31.531278643184656]
  最近の大規模言語モデル(LLM)は、オンライン強化学習(RL)の恩恵を受ける強力な推論能力を示している。 教師付きファインタニング(SFT)とRLの組み合わせにより,事前学習したマスク付きdLLMを推論モデルに適応するフレームワークであるd1を提案する。 d1は最高の性能を示し、最先端のdLLMの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-04-16T16:08:45Z)
• Do We Truly Need So Many Samples? Multi-LLM Repeated Sampling Efficiently Scales Test-Time Compute [54.22256089592864]
  本稿では,テスト時間計算のスケールアップによるLCM性能向上のための,シンプルで効果的で費用効率のよい手法を提案する。 当社の戦略は,複数のモデルを組み込んで,補完的な強みを活用するという,新たなツイストによって,繰り返しサンプリングされる投票フレームワークを基盤としています。
  論文  参考訳（メタデータ） (2025-04-01T13:13:43Z)
• Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
  大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。 しかし、その大きなサイズは推論を遅く、計算的に高価にする。 最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-28T04:07:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。