論文の概要: Energy Consumption Analysis of Discrete Diffusion and Autoregressive Language Models

• arxiv url: http://arxiv.org/abs/2610.19855v1
• Date: Wed, 14 Oct 2026 09:21:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.067695
• Title: Energy Consumption Analysis of Discrete Diffusion and Autoregressive Language Models
• Title（参考訳）: 離散拡散と自己回帰言語モデルのエネルギー消費分析
• Abstract要約: 拡散言語モデル(DLLM)は、並列トークン生成が可能な有望な代替手段として登場した。 モデルアーキテクチャ、KV-cache最適化、Joules-per-token効率のトレードオフを分析する。
• 参考スコア（独自算出の注目度）: 5.543220407902112
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As Large Language Models (LLMs) continue to scale, their energy consumption during inference has become a critical concern. While Autoregressive (AR) models are the industry standard, Diffusion Language Models (DLLMs) have emerged as a promising alternative capable of parallel token generation. In this paper, we perform a comparative energy benchmark of diffusion models (LLaDA-8B, Dream-7B) against AR counterparts (Llama-3.1-8B, Qwen-2.5-7B). We analyze the trade-offs between model architecture, KV-cache optimization, and Joules-per-token efficiency. Our results show that at longer sequences (200--600 tokens), diffusion models achieve 2.5--2.7 J/token, approximately 2$\times$ more efficient than AR models with KV-cache (5.3--5.7 J/token). KV-cache provides substantial benefits for AR models at longer sequences (50--70\% energy reduction).
• Abstract（参考訳）: 大規模言語モデル (LLM) の規模が拡大するにつれて, 推論時のエネルギー消費が重要な問題となっている。 Autoregressive(AR)モデルは業界標準であるが、Diffusion Language Models(DLLM)は、並列トークン生成が可能な有望な代替手段として登場した。 本稿では,AR(Llama-3.1-8B, Qwen-2.5-7B)に対する拡散モデルの比較エネルギーベンチマーク(LLaDA-8B, Dream-7B)を行う。 モデルアーキテクチャ、KV-cache最適化、Joules-per-token効率のトレードオフを分析する。 以上の結果から,より長いシーケンス (200-600トークン), 拡散モデルでは2.5--2.7 J/token, 約2$\times$KV-cache (5.3--5.7 J/token) が得られた。 KV-cacheは、より長いシーケンス(50-70-%のエネルギー削減)でARモデルに多大な利益をもたらす。

関連論文リスト

• LLaDA-MoE: A Sparse MoE Diffusion Language Model [88.96960440635992]
  LLaDA-MoEはMixture-of-Experts (MoE)アーキテクチャを持つ大規模言語拡散モデルである。 LLaDA-MoEは計算オーバーヘッドを大幅に削減して競合性能を達成する。 この結果から,マスク拡散言語モデルの学習目標に疎結合したMoEアーキテクチャを組み込むことで,MoEの強みがもたらされることが示唆された。
  論文  参考訳（メタデータ） (2025-09-29T07:38:59Z)
• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Scaling Diffusion Language Models via Adaptation from Autoregressive Models [105.70889434492143]
  拡散言語モデル(DLM)は、テキスト生成モデルのための将来性のある新しいパラダイムとして登場した。 170Mから7BまでのARモデルをDiffuGPTとDiffuLLaMAの拡散モデルに変換し、200B未満のトークンでトレーニングできることを示す。 実験の結果,これらのモデルは初期のDLMよりも優れており,ARと競合していることがわかった。
  論文  参考訳（メタデータ） (2024-10-23T14:04:22Z)
• Enhancing Inference Efficiency of Large Language Models: Investigating Optimization Strategies and Architectural Innovations [0.0]
  この論文はモデル圧縮の手法を探求する。 モデル圧縮の有効な方法として,トランスフォーマーLLMにおいて,後続の注意サブレイヤをスキップする簡単な手法を実証的に示す。 その結果,Llama 2 7Bでは21%の高速化が見られた。
  論文  参考訳（メタデータ） (2024-04-02T19:53:54Z)
• Energy-Based Models For Speech Synthesis [6.769420049627968]
  本稿では、エネルギーベースモデル(EBMs)と呼ばれる別のメンバーで利用可能な非ARモデルの範囲を広げる。 高性能なARモデルの使用を含む、効果的な負のサンプルを生成するための多くの戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-19T14:10:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。