論文の概要: Neuromorphic Diffusion Language Models: Addressing Compute and Memory Bottlenecks via Sparsity and Block Denoising

• arxiv url: http://arxiv.org/abs/2607.24841v1
• Date: Fri, 24 Jul 2026 11:14:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.545617
• Title: Neuromorphic Diffusion Language Models: Addressing Compute and Memory Bottlenecks via Sparsity and Block Denoising
• Title（参考訳）: ニューロモルフィック拡散言語モデル
• Abstract要約: マスク付き拡散言語モデル(MDLM)では、パラメータアクセス毎に複数のトークンを生成することができる。 本研究では、スパイクに基づくニューロモルフィック計算とブロック拡散を統合するニューロモルフィックMDLMを提案する。 N-MDLMは計算バウンドプラットフォームにおいてもエネルギー効率とスループットを大幅に向上させる。
• 参考スコア（独自算出の注目度）: 24.17040671806431
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive (AR) large language models (LLMs) are inherently inefficient at inference time because each generated token requires accessing the full set of model parameters, leading to low operational intensity and high energy consumption. Masked diffusion language models (MDLMs) partially address this limitation for memory-bound settings by allowing multiple tokens to be generated per parameter access. In order to further enhance inference efficiency on modern platforms with extensive in-chip memory, this work proposes neuromorphic MDLMs (N-MDLMs), which integrate block diffusion with spike-based neuromorphic computation to jointly improve throughput and energy efficiency. While block diffusion increases token throughput by producing multiple tokens per parameter access, spike-induced sparsity reduces effective parameter traffic and computations by skipping inactive channels. To analyze the synergistic effect of sparsity and diffusion, we develop a token-level roofline-inspired model that captures the combined impact of block-parallel generation and spike sparsity on decoding efficiency. Experimental results on translation tasks show that, thanks to spike-induced sparsity, N-MDLMs achieve substantial improvements in energy efficiency and throughput even in compute-bound platforms for which MDLMs would fail to improve over AR-LLMs.
• Abstract（参考訳）: 自己回帰(AR)大言語モデル(LLM)は、各生成されたトークンがモデルパラメータの完全なセットにアクセスする必要があるため、本質的には推論時に非効率である。 マスク付き拡散言語モデル(MDLM)は、パラメータアクセス毎に複数のトークンを生成することで、メモリバウンド設定のこの制限に部分的に対処する。 そこで本研究では,スパイク型ニューロモルフィック計算とブロック拡散を統合し,スループットとエネルギー効率を両立させるニューロモルフィックMDLM(N-MDLM)を提案する。 ブロック拡散はパラメータアクセス毎に複数のトークンを生成することでトークンスループットを増大させるが、スパイク誘起スパシティは、非アクティブチャネルをスキップすることで効果的なパラメータトラフィックと計算を減少させる。 分散と分散の相乗効果を解析するために,ブロック並列生成とスパイクパリティの組み合わせが復号効率に与える影響を捉えるトークンレベルの屋根線インスピレーションモデルを開発した。 翻訳タスクにおける実験結果から,N-MDLMは,AR-LLMよりもエネルギー効率とスループットが向上することを示した。

関連論文リスト

• FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
  FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。 トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。 この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
  論文  参考訳（メタデータ） (2026-06-01T06:58:15Z)
• Spike-driven Large Language Model [49.52947423982696]
  スパイキングニューラルネットワーク(SNN)はスパイク駆動特性を持つ。 現在のLarge Language Models (LLM) は主に大規模密度行列乗法に基づいている。 本研究では,スパース加算操作により高密度行列乗算を除去するスパイク駆動型大規模言語モデルであるSDLLMを提案する。
  論文  参考訳（メタデータ） (2026-04-11T17:58:35Z)
• LLaDA-o: An Effective and Length-Adaptive Omni Diffusion Model [77.66516875262963]
  マルチモーダル理解・生成のための有効長適応オムニ拡散モデルである textbfLLaDA-o を提案する。 MoD上に構築されたデータ中心長適応戦略により,マルチモーダル環境でのフレキシブルなデコーディングを実現する。 実験により、LLaDA-oはマルチモーダル理解および生成ベンチマーク上でのオムニ拡散モデル間の最先端性能を実現することが示された。
  論文  参考訳（メタデータ） (2026-03-01T12:05:06Z)
• Causal Autoregressive Diffusion Language Model [70.7353007255797]
  CARDは厳密な因果注意マスク内の拡散過程を再構成し、単一の前方通過で密集した1対1の監視を可能にする。 我々の結果は,CARDが並列生成のレイテンシの利点を解放しつつ,ARMレベルのデータ効率を実現することを示す。
  論文  参考訳（メタデータ） (2026-01-29T17:38:29Z)
• Streaming-dLLM: Accelerating Diffusion LLMs via Suffix Pruning and Dynamic Decoding [36.74241893088594]
  拡散大言語モデル(dLLM)は、自然言語生成に魅力的なパラダイムを提供する。 最近の研究はKVキャッシュの再利用や復号化を通じて推論を加速しているが、ブロックワイド拡散プロセスにおける本質的な非効率性を見落としている。 本稿では,空間次元と時間次元の両方にわたって推論を合理化する学習自由フレームワークStreaming-dLLMを提案する。
  論文  参考訳（メタデータ） (2026-01-25T17:36:04Z)
• Mixture-of-Channels: Exploiting Sparse FFNs for Efficient LLMs Pre-Training and Inference [16.71963410333802]
  大規模言語モデル(LLM)は、多様な人工知能タスクで顕著な成功を収めている。 MoCは、事前トレーニング中のアクティベーションメモリを大幅に削減する。 MoCは、競合モデルのパフォーマンスを維持しながら、メモリの大幅な節約とスループットの向上を提供する。
  論文  参考訳（メタデータ） (2025-11-12T13:30:57Z)
• SDAR: A Synergistic Diffusion-AutoRegression Paradigm for Scalable Sequence Generation [62.14510717860079]
  本稿では, 自己回帰モデルの学習効率を, 拡散の並列推論能力で統一するSynergistic Diffusion-Autoregressionパラダイムを提案する。 SDARは、十分に訓練された自己回帰モデル(AR)を、簡潔でデータ効率のよい適応を通じてブロックワイズ拡散モデルに変換する、軽量なパラダイム変換を実行する。 この知見に基づいて、SDARは最小コストで効率的なAR-拡散変換を実現し、並列生成を可能にしながら、ARレベルのパフォーマンスを維持する。
  論文  参考訳（メタデータ） (2025-10-07T17:29:28Z)
• Fast-dLLM v2: Efficient Block-Diffusion LLM [64.38006546510337]
  Fast-dLLM v2はブロック拡散言語モデルで、訓練済みのARモデルをdLLMに適応して並列テキストを生成する。 これは、Dream(580Bトークン)のようなフルアテンション拡散LDMと比較して、トレーニングデータの500倍の減少を示す。
  論文  参考訳（メタデータ） (2025-09-30T14:40:18Z)
• Efficient Heterogeneous Large Language Model Decoding with Model-Attention Disaggregation [15.35494431928751]
  トランスフォーマーベースの大規模言語モデル(LLM)は、生成タスクにおいて顕著なパフォーマンスを示すと同時に、現実のサービスにおいて大きな課題をもたらす。 LLMデコーディングの効率を高めるために,モデルアテンションデアグリゲーションを導入する。 分散ヘテロジニアスクラスタにモデルアテンションデアグリゲーションを組み込んだLLM推論システムであるLaminaを開発し,展開する。
  論文  参考訳（メタデータ） (2024-05-03T02:15:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。