論文の概要: HaloBlock: Faster and Better Decoding for Diffusion Large Language Models

• arxiv url: http://arxiv.org/abs/2610.17948v1
• Date: Tue, 13 Oct 2026 08:32:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.559645
• Title: HaloBlock: Faster and Better Decoding for Diffusion Large Language Models
• Title（参考訳）: HaloBlock: 拡散型大規模言語モデルのための高速で優れたデコーディング
• Abstract要約: 本稿では,dLLM推論のための適応型ハロ機構であるHaloBlockを提案する。 まず、双方向累積エントロピーを利用してブロック復号の難しさを特徴づける。 各ブロックの両側に2方向ハロ領域を適応的に割り当て、境界条件の不連続を緩和する。
• 参考スコア（独自算出の注目度）: 56.0274162548852
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion large language models (dLLMs) have attracted increasing research attention due to their bidirectional attention and arbitrary order decoding. However, there are two issues in dLLMs inference: the decoding difficulty is dominated by the tokens on the right side of the block, and the block-wise decoding inherently suffers from boundary contextual discontinuity. To tackle these limitations, we propose HaloBlock, a difficulty-aware adaptive halo mechanism for dLLM inference. We first leverage bidirectional cumulative entropy to characterize block decoding difficulty. Then, based on the bidirectional decoding difficulty, we adaptively allocate bidirectional halo regions on both sides of each block to mitigate boundary contextual discontinuity. The difficulty-aware design of HaloBlock smooths cross-block context propagation and lowers decoding difficulty for hard tokens, yielding better generation quality and faster convergence. Evaluated on LLaDA-8B-Instruct, Dream-7B-Instruct and LLaDA-1.5 across mathematical reasoning and code generation benchmarks, HaloBlock demonstrates consistent accuracy improvements and higher inference efficiency. Source codes are publicly available at https://github.com/PolyU-VCLab/HaloBlock.
• Abstract（参考訳）: 拡散大言語モデル(dLLM)は、双方向の注意と任意の順序の復号化によって研究の注目を集めている。 しかし、dLLMの推論には2つの問題がある: 復号難易度はブロックの右側のトークンに支配され、ブロックワイズ復号は本質的に境界文脈の不連続性に悩まされる。 これらの制約に対処するため,dLLM推論のための適応型ハロ機構であるHaloBlockを提案する。 まず、双方向累積エントロピーを利用してブロック復号の難しさを特徴づける。 そして、双方向復号化の難しさに基づき、各ブロックの両側に双方向ハロー領域を適応的に割り当て、コンテキストの不連続を緩和する。 HaloBlockの難易度設計は、クロスブロックコンテキストの伝播を円滑にし、ハードトークンの復号困難を低減し、より優れた生成品質とより高速な収束をもたらす。 数学的推論とコード生成ベンチマークでLLaDA-8B-Instruct、Dream-7B-Instruct、LLaDA-1.5を評価すると、HaloBlockは一貫性のある精度の改善と推論効率の向上を示す。 ソースコードはhttps://github.com/PolyU-VCLab/HaloBlock.comで公開されている。

関連論文リスト

• FlowBlock: Wavefront-Parallel Decoding for Self-Correcting Diffusion Language Models [16.404926372068047]
  ブロックワイド拡散大言語モデル (dLLM) はブロックレベルで逐次デコードし、ブロック間で有効なKVキャッシュの再利用を可能にするが、ブロック間デコーディングを厳密にシリアライズする。 2つのメカニズム上に構築されたトレーニング不要な並列デコーディングフレームワークである textbfflowblock を提案する。 LLaDA-2.1とLLaDA-2.0の2つのシリアルブロック単位のdLLMを最大2.95$times$と4.01$times$に改善し、レイテンシを最大53.6%、77.1%削減した。
  論文  参考訳（メタデータ） (2026-07-20T08:05:03Z)
• Break the Block: Dynamic-size Reasoning Blocks for Diffusion Large Language Models via Monotonic Entropy Descent with Reinforcement Learning [41.859993506122194]
  固定サイズのブロック世代は、効果的で一貫性のある推論にとって重要なボトルネックである。 本稿では,モノトニック・エントロピー・ディフレキティブ(モノトニック・エントロピー・ディフレキティブ)を用いて動的サイズ推論ブロックを学習する,dLLMのための新しい学習後フレームワークb1を提案する。
  論文  参考訳（メタデータ） (2026-05-04T06:17:49Z)
• Advancing Block Diffusion Language Models for Test-Time Scaling [73.54022593833638]
  BDLMにおけるテスト時間スケーリングのための統一的なフレームワークを提案する。 復号化とブロックワイズ生成の両方に適応性を導入する。 BACD, TCCFをTDAR-8Bに適用すると, 強いベースラインよりも顕著な改善が得られた。
  論文  参考訳（メタデータ） (2026-02-10T09:05:07Z)
• DSB: Dynamic Sliding Block Scheduling for Diffusion LLMs [17.284485483927448]
  拡散大言語モデル(dLLM)は、テキスト生成の有望な代替手段として登場した。 広く使われている固定ブロック (naive) スケジュールは意味的難易度に非依存であり、品質と効率の両面での準最適戦略である。 本研究では,動的ブロックの剛性を克服するため,動的サイズを有するスライディングブロックを用いて,トレーニング不要なブロックスケジューリング手法であるDynamic Sliding Block (DSB)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T18:41:38Z)
• From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs [58.640039233470766]
  原理的AR-to-block-diffusion適応は,DLMをスクラッチからトレーニングする上で,有効かつ効率的な代替手段であることを示す。 NBDiff-7B(BaseとInstruct)は、長文のモデリングと推論機能を継承し、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-12-07T10:28:21Z)
• Fast-dLLM v2: Efficient Block-Diffusion LLM [64.38006546510337]
  Fast-dLLM v2はブロック拡散言語モデルで、訓練済みのARモデルをdLLMに適応して並列テキストを生成する。 これは、Dream(580Bトークン)のようなフルアテンション拡散LDMと比較して、トレーニングデータの500倍の減少を示す。
  論文  参考訳（メタデータ） (2025-09-30T14:40:18Z)
• Diffusion LLMs Can Do Faster-Than-AR Inference via Discrete Diffusion Forcing [14.22753953706955]
  Diffusion Large Language Models (dLLMs) は、テキスト生成のための自動回帰(AR) LLM に代わる有望な代替品として登場した。 本稿では、離散拡散強制(D2F)と呼ばれる単純かつ効果的な戦略に基づいて、この障壁を破る。 このようにして、バニラdLLMは効率的な推論のためにAR拡散ハイブリッドパラダイムに再構成される。
  論文  参考訳（メタデータ） (2025-08-08T04:51:37Z)
• Learning Linear Block Error Correction Codes [62.25533750469467]
  本稿では,バイナリ線形ブロック符号の統一エンコーダデコーダトレーニングを初めて提案する。 また,コード勾配の効率的なバックプロパゲーションのために,自己注意マスキングを行うトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-07T06:47:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。