論文の概要: When to Commit? Towards Variable-Size Self-Contained Blocks for Discrete Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2604.23994v1
• Date: Mon, 27 Apr 2026 03:21:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.717093
• Title: When to Commit? Towards Variable-Size Self-Contained Blocks for Discrete Diffusion Language Models
• Title（参考訳）: いつコミットすべきか?離散拡散言語モデルのための可変サイズ自己完結ブロックを目指して
• Authors: Danny Wang, Ruihong Qiu, Zi Huang,
• Abstract要約: ブロックコミットメントの原則的基準として自己完結性を提案する。 ブロックは、予測がFuture-Aware(FA)またはNo-Future(NF)と整合性を維持している場合、自己完結する。 我々は,自己完結性を予測整合性に結びつける理論的正当性を提供し,VSBの有効性を検証した広範囲な実験を行った。
• 参考スコア（独自算出の注目度）: 36.08108046941572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion language models (dLLMs) enable parallel token updates with bidirectional attention, yet practical generation typically adopts blockwise semi-autoregressive decoding. This switch creates a training-inference mismatch: training denoises with full-sequence context, while inference commits tokens within a bounded block without future context. Therefore, decoding with fixed-size or heuristic-based blocks can lead to premature token commitments, as decisions are made without full access to future context that could alter those choices. Motivated by this, we propose self-containedness as a principled criterion for block commitment. A block is self-contained if its predictions remain consistent with Future-Aware (FA) or without No-Future (NF) access to future context, reframing block boundary selection as a test of self-containedness rather than a heuristic choice. Based on this principle, we introduce Variable-size Self-contained Blocks (VSB) for dLLMs. VSB scores and selects block boundaries using the divergence between token-level predictive distributions under NF and FA conditioning, which quantifies how predictions would change if future context were revealed. We provide theoretical justification linking self-containedness to predictive consistency, and extensive experiments validate VSB's efficacy over fixed-size and heuristic blockwise decoding.
• Abstract（参考訳）: 離散拡散言語モデル(dLLM)は、双方向の注意を伴う並列トークン更新を可能にするが、実用的な生成は通常、ブロックワイドな半自己回帰デコーディングを採用する。 このスイッチはトレーニングと推論のミスマッチを生成する。トレーニングはフルシーケンスコンテキストで、推論は将来のコンテキストなしで境界ブロック内でトークンをコミットする。 したがって、固定サイズまたはヒューリスティックベースのブロックによるデコーディングは、これらの選択を変える可能性のある将来のコンテキストに完全にアクセスせずに決定されるため、早期トークンのコミットメントにつながる可能性がある。 そこで我々は,ブロックコミットメントの原則的基準として自己完結性を提案する。 ブロックは、予測がFuture-Aware (FA) やNo-Future (NF) と整合性を維持したままである場合、自己完結し、ブロック境界の選択をヒューリスティックな選択ではなく自己完結性のテストとして考える。 本原理に基づいて,dLLMに対する可変サイズ自己完結ブロック(VSB)を提案する。 VSB は NF と FA 条件下でのトークンレベルの予測分布のばらつきを利用してブロック境界をスコアし、選択する。 我々は,自己完結性を予測整合性に結びつける理論的正当性を提供し,VSBの固定サイズおよびヒューリスティックブロックワイド復号に対する有効性を検証する広範な実験を行った。

関連論文リスト

• Latent Thoughts Tuning: Bridging Context and Reasoning with Fused Information in Latent Tokens [13.653741247835091]
  Latent Thoughts Tuning(LT-Tuning)は、潜在思想の構築とデプロイ方法を再定義するフレームワークである。 本研究では,コンテキスト隠蔽状態と予測意味指導を協調的に活用するコンテキスト予測融合機構を提案する。 提案手法は,既存の潜在推論ベースラインより優れ,機能崩壊を効果的に軽減し,頑健な推論精度を実現する。
  論文  参考訳（メタデータ） (2026-02-10T19:19:10Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• AdaBlock-dLLM: Semantic-Aware Diffusion LLM Inference via Adaptive Block Size [7.442463267121892]
  拡散に基づく大規模言語モデル (dLLM) は並列デコードに固有の能力で注目を集めている。 本稿では,セミARデコードにおける固定ブロックサイズの仮定に挑戦する最初の体系的な研究を提案する。 AdaBlock-dLLMは,実行中のブロックサイズを調整することで,ブロック境界とセマンティックステップを適応的に調整する,トレーニング不要のプラグイン・アンド・プレイスケジューラである。
  論文  参考訳（メタデータ） (2025-09-30T15:53:56Z)
• Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
  離散拡散言語モデルは、テキスト生成に強い可能性を示している。 半自己回帰推論による微調整ミスアライメントの標準化 我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
  論文  参考訳（メタデータ） (2025-08-27T02:49:33Z)
• Towards Universal Dense Blocking for Entity Resolution [49.06313308481536]
  ドメインに依存しない、容易に観測可能なコーパス上で事前学習を行う密集型ブロッカであるUniBlockerを提案する。 ドメインに依存しない事前トレーニングを行うことで、UniBlockerはドメイン固有の微調整を必要とせずに、さまざまなダウンストリームブロッキングシナリオに適応できる。 提案したUniBlockerは、ドメイン固有の学習を一切行わず、従来の自己および教師なしの密なブロッキング手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-04-23T08:39:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。