論文の概要: SemBlock: Semantic Boundary Dynamic Blocks for Diffusion LLMs

• arxiv url: http://arxiv.org/abs/2606.04964v1
• Date: Wed, 03 Jun 2026 14:48:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.834737
• Title: SemBlock: Semantic Boundary Dynamic Blocks for Diffusion LLMs
• Title（参考訳）: SemBlock: 拡散LDMのための意味境界動的ブロック
• Abstract要約: SemBlockは、拡散言語モデルのための意味駆動型動的ブロックデコーディングフレームワークである。 本研究では,セマンティック・バウンダリ・データセットであるSemBoundを構築した。 GSM8K、IFEval、MATH、HumanEvalの実験では、SemBlockは固定ブロックデコーディングやAdaBlockよりも一貫して改善されている。
• 参考スコア（独自算出の注目度）: 11.207858704138786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion language models (DLMs) generate text through iterative denoising, and blockwise decoding improves their practicality by committing tokens in local blocks. However, existing blockwise methods typically rely on fixed block sizes or delimiter-based runtime signals, which do not necessarily align with semantic boundaries. In this paper, we propose SemBlock, a semantic-boundary-driven dynamic block decoding framework for diffusion LLMs. SemBlock formulates dynamic block construction as semantic boundary prediction and trains lightweight predictors on frozen LLaDA hidden states. To provide supervision, we construct SemBound, a semantic-boundary dataset that derives boundary labels from discourse units, reasoning steps, and implementation spans across natural language, math, and code tasks. During inference, SemBlock uses predicted boundary probabilities to select the ending position of each dynamic block. Experiments on GSM8K, IFEval, MATH, and HumanEval show that SemBlock consistently improves over fixed-block decoding and AdaBlock. Our code is publicly available: https://github.com/TH-AI-Lab-PKU/SemBlock.
• Abstract（参考訳）: 拡散言語モデル (DLM) は反復的復号化によってテキストを生成し、ブロックワイド復号化は局所ブロックでトークンをコミットすることでその実用性を向上させる。 しかし、既存のブロックワイズメソッドは一般に固定ブロックサイズやデリミタベースの実行時信号に依存しており、必ずしもセマンティック境界と一致しない。 本稿では,拡散LLMのためのセマンティックバウンダリ駆動動的ブロックデコーディングフレームワークSemBlockを提案する。 SemBlockは動的ブロック構築を意味境界予測として定式化し、冷凍LLaDA隠れ状態上で軽量な予測器を訓練する。 提案するセマンティック・バウンダリ・データセットであるSemBoundは,自然言語,数学,コードタスクにまたがる会話単位,推論ステップ,実装から境界ラベルを導出する。 推論中、SemBlockは予測境界確率を使用して、各動的ブロックの終了位置を選択する。 GSM8K、IFEval、MATH、HumanEvalの実験では、SemBlockは固定ブロックデコーディングやAdaBlockよりも一貫して改善されている。 私たちのコードは、https://github.com/TH-AI-Lab-PKU/SemBlock.comで公開されています。

関連論文リスト

• BlockBatch: Multi-Scale Consensus Decoding for Efficient Diffusion Language Model Inference [15.424211656458453]
  拡散言語モデルは、複数のトークン位置を並列に反復的に認知することでテキストを生成する。 小さなブロックはローカル条件を保存するが、多くのデノーミングステップを必要とするが、大きなブロックはより並列性を公開するが、早期のコミットとキャッシュエラーを蓄積することができる。 バッチ転送パス内で同じリクエストに対して複数のブロックサイズのブランチを実行する,トレーニング不要なオンライン推論フレームワークであるBlockBatchを提案する。
  論文  参考訳（メタデータ） (2026-05-28T01:48:29Z)
• Prefix-Adaptive Block Diffusion for Efficient Document Recognition [52.15352911463151]
  ブロック拡散モデル(BDM)は並列生成、フレキシブルな出力、KVキャッシュをサポートし、効率的な文書解析を約束する。 本稿では,前置詞から接尾辞への因果表記に代えて,ブロック内双方向化を代替するPrefix-Block Diffusion Model (PA-BDM)を提案する。 実験の結果、3B PA-BDMはいくつかのベンチマークで高い認識スコアを達成し、2.5B MinerU-Diffusionに対して推論スループットを71.6%向上した。
  論文  参考訳（メタデータ） (2026-05-16T07:50:13Z)
• Towards Generalization of Block Attention via Automatic Segmentation and Block Distillation [61.19473093799777]
  ブロックアテンションは、Retrieval-Augmented Generation (RAG)のような長期コンテキストシナリオにおけるKVキャッシュの再利用を改善することができる。 しかし、入力テキストを意味のある自己完結ブロックに分割することの難しさと、性能低下のリスクを負う既存のブロック微調整手法の非効率性である。 ブロック微細チューニングよりも効率的な訓練フレームワークであるブロック蒸留を提案し, 凍結したフルアテンション教師モデルを用いて, ブロックアテンション学生を指導する。
  論文  参考訳（メタデータ） (2026-05-15T12:51:32Z)
• Dynamic Chunking for Diffusion Language Models [39.198939178122714]
  ブロック離散拡散言語モデルは、固定サイズの位置ブロック上で自己回帰的にシーケンスを分解する。 textbfDynamic textbfChunking textbfDiffusion textbfModel (DCDM)を紹介する。 DCDMは、位置ブロックをコンテンツ定義セマンティックチャンクに置き換える。
  論文  参考訳（メタデータ） (2026-05-15T06:56:05Z)
• GeoBlock: Inferring Block Granularity from Dependency Geometry in Diffusion Language Models [14.455425759091503]
  GeoBlockは、注目に起因した依存性の幾何学から直接ブロックの粒度を決定するブロック推論フレームワークである。 依存性の幾何に適応することにより、GeoBlockは、自己回帰的信頼性を示す依存性一貫性の洗練を図りながら、ブロック拡散の並列効率を保ちます。
  論文  参考訳（メタデータ） (2026-03-04T18:45:06Z)
• From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs [58.640039233470766]
  原理的AR-to-block-diffusion適応は,DLMをスクラッチからトレーニングする上で,有効かつ効率的な代替手段であることを示す。 NBDiff-7B(BaseとInstruct)は、長文のモデリングと推論機能を継承し、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-12-07T10:28:21Z)
• AdaBlock-dLLM: Semantic-Aware Diffusion LLM Inference via Adaptive Block Size [7.442463267121892]
  拡散に基づく大規模言語モデル (dLLM) は並列デコードに固有の能力で注目を集めている。 本稿では,セミARデコードにおける固定ブロックサイズの仮定に挑戦する最初の体系的な研究を提案する。 AdaBlock-dLLMは,実行中のブロックサイズを調整することで,ブロック境界とセマンティックステップを適応的に調整する,トレーニング不要のプラグイン・アンド・プレイスケジューラである。
  論文  参考訳（メタデータ） (2025-09-30T15:53:56Z)
• Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
  離散拡散言語モデルは、テキスト生成に強い可能性を示している。 半自己回帰推論による微調整ミスアライメントの標準化 我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
  論文  参考訳（メタデータ） (2025-08-27T02:49:33Z)
• Towards Universal Dense Blocking for Entity Resolution [49.06313308481536]
  ドメインに依存しない、容易に観測可能なコーパス上で事前学習を行う密集型ブロッカであるUniBlockerを提案する。 ドメインに依存しない事前トレーニングを行うことで、UniBlockerはドメイン固有の微調整を必要とせずに、さまざまなダウンストリームブロッキングシナリオに適応できる。 提案したUniBlockerは、ドメイン固有の学習を一切行わず、従来の自己および教師なしの密なブロッキング手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-04-23T08:39:29Z)
• Streaming End-to-End ASR based on Blockwise Non-Autoregressive Models [57.20432226304683]
  非自己回帰(NAR)モデリングは、音声処理においてますます注目を集めている。 エンドツーエンドのNAR音声認識システムを提案する。 提案手法は低レイテンシ条件下でのオンラインASR認識を改善する。
  論文  参考訳（メタデータ） (2021-07-20T11:42:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。