論文の概要: SemBlock: Semantic Boundary Dynamic Blocks for Diffusion LLMs

• arxiv url: http://arxiv.org/abs/2606.04964v1
• Date: Wed, 03 Jun 2026 14:48:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.834737
• Title: SemBlock: Semantic Boundary Dynamic Blocks for Diffusion LLMs
• Title（参考訳）: SemBlock: 拡散LDMのための意味境界動的ブロック
• Authors: Xinrui Song, Zhuoran Wang, Mingju Gao, Hao Tang,
• Abstract要約: SemBlockは、拡散言語モデルのための意味駆動型動的ブロックデコーディングフレームワークである。 本研究では,セマンティック・バウンダリ・データセットであるSemBoundを構築した。 GSM8K、IFEval、MATH、HumanEvalの実験では、SemBlockは固定ブロックデコーディングやAdaBlockよりも一貫して改善されている。
• 参考スコア（独自算出の注目度）: 11.207858704138786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion language models (DLMs) generate text through iterative denoising, and blockwise decoding improves their practicality by committing tokens in local blocks. However, existing blockwise methods typically rely on fixed block sizes or delimiter-based runtime signals, which do not necessarily align with semantic boundaries. In this paper, we propose SemBlock, a semantic-boundary-driven dynamic block decoding framework for diffusion LLMs. SemBlock formulates dynamic block construction as semantic boundary prediction and trains lightweight predictors on frozen LLaDA hidden states. To provide supervision, we construct SemBound, a semantic-boundary dataset that derives boundary labels from discourse units, reasoning steps, and implementation spans across natural language, math, and code tasks. During inference, SemBlock uses predicted boundary probabilities to select the ending position of each dynamic block. Experiments on GSM8K, IFEval, MATH, and HumanEval show that SemBlock consistently improves over fixed-block decoding and AdaBlock. Our code is publicly available: https://github.com/TH-AI-Lab-PKU/SemBlock.
• Abstract（参考訳）: 拡散言語モデル (DLM) は反復的復号化によってテキストを生成し、ブロックワイド復号化は局所ブロックでトークンをコミットすることでその実用性を向上させる。 しかし、既存のブロックワイズメソッドは一般に固定ブロックサイズやデリミタベースの実行時信号に依存しており、必ずしもセマンティック境界と一致しない。 本稿では,拡散LLMのためのセマンティックバウンダリ駆動動的ブロックデコーディングフレームワークSemBlockを提案する。 SemBlockは動的ブロック構築を意味境界予測として定式化し、冷凍LLaDA隠れ状態上で軽量な予測器を訓練する。 提案するセマンティック・バウンダリ・データセットであるSemBoundは,自然言語,数学,コードタスクにまたがる会話単位,推論ステップ,実装から境界ラベルを導出する。 推論中、SemBlockは予測境界確率を使用して、各動的ブロックの終了位置を選択する。 GSM8K、IFEval、MATH、HumanEvalの実験では、SemBlockは固定ブロックデコーディングやAdaBlockよりも一貫して改善されている。 私たちのコードは、https://github.com/TH-AI-Lab-PKU/SemBlock.comで公開されています。

関連論文リスト

• Towards Generalization of Block Attention via Automatic Segmentation and Block Distillation [61.19473093799777]
  ブロックアテンションは、Retrieval-Augmented Generation (RAG)のような長期コンテキストシナリオにおけるKVキャッシュの再利用を改善することができる。 しかし、入力テキストを意味のある自己完結ブロックに分割することの難しさと、性能低下のリスクを負う既存のブロック微調整手法の非効率性である。 ブロック微細チューニングよりも効率的な訓練フレームワークであるブロック蒸留を提案し, 凍結したフルアテンション教師モデルを用いて, ブロックアテンション学生を指導する。
  論文  参考訳（メタデータ） (2026-05-15T12:51:32Z)
• GeoBlock: Inferring Block Granularity from Dependency Geometry in Diffusion Language Models [14.455425759091503]
  GeoBlockは、注目に起因した依存性の幾何学から直接ブロックの粒度を決定するブロック推論フレームワークである。 依存性の幾何に適応することにより、GeoBlockは、自己回帰的信頼性を示す依存性一貫性の洗練を図りながら、ブロック拡散の並列効率を保ちます。
  論文  参考訳（メタデータ） (2026-03-04T18:45:06Z)
• AdaBlock-dLLM: Semantic-Aware Diffusion LLM Inference via Adaptive Block Size [7.442463267121892]
  拡散に基づく大規模言語モデル (dLLM) は並列デコードに固有の能力で注目を集めている。 本稿では,セミARデコードにおける固定ブロックサイズの仮定に挑戦する最初の体系的な研究を提案する。 AdaBlock-dLLMは,実行中のブロックサイズを調整することで,ブロック境界とセマンティックステップを適応的に調整する,トレーニング不要のプラグイン・アンド・プレイスケジューラである。
  論文  参考訳（メタデータ） (2025-09-30T15:53:56Z)
• Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
  離散拡散言語モデルは、テキスト生成に強い可能性を示している。 半自己回帰推論による微調整ミスアライメントの標準化 我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
  論文  参考訳（メタデータ） (2025-08-27T02:49:33Z)
• Towards Universal Dense Blocking for Entity Resolution [49.06313308481536]
  ドメインに依存しない、容易に観測可能なコーパス上で事前学習を行う密集型ブロッカであるUniBlockerを提案する。 ドメインに依存しない事前トレーニングを行うことで、UniBlockerはドメイン固有の微調整を必要とせずに、さまざまなダウンストリームブロッキングシナリオに適応できる。 提案したUniBlockerは、ドメイン固有の学習を一切行わず、従来の自己および教師なしの密なブロッキング手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-04-23T08:39:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。