論文の概要: Register Tokens for Bounded-State Reasoning in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2609.16372v1
• Date: Mon, 14 Sep 2026 21:34:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.248906
• Title: Register Tokens for Bounded-State Reasoning in Diffusion Language Models
• Title（参考訳）: 拡散言語モデルにおける境界状態推論のための登録トークン
• Abstract要約: マスク付き拡散言語モデル (dLLM) は、双方向の注意でマスク付きトークンを反復的にデノベートすることでテキストを生成する。 我々は、固定サイズの搬送状態のみを使用して、そのテキストがクリアされた後に、dLLMが推論を継続できるかどうかを問う。 我々は、この状態を少数のレジスタトークンとして実装し、連続的な隠蔽状態は、生成チャンクをまたいで推論の進行を実行するように訓練されている。
• 参考スコア（独自算出の注目度）: 39.9700776305563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion language models (dLLMs) generate text by iteratively denoising masked tokens with bidirectional attention. Extending reasoning across generation chunks normally requires keeping earlier generated text in context. We ask whether a dLLM can instead continue reasoning after that text is cleared, using only a fixed-size carried state. We implement this state as a small number of register tokens: dedicated fixed-position tokens whose continuous hidden states are trained to carry reasoning progress across generation chunks. We post-train dLLMs to decode a chunk of text, clear it while preserving the register values, and continue decoding from the prompt and carried state. In our main comparisons on LLaDA and Dream, registers outperform discrete-text carry on every benchmark, with gains of up to 8.5 points on math and 19.5 points on code. Registers are especially effective for bounded code generation, where correct programs usually span several chunks. Finally, registers can be further refined with reinforcement learning on long-horizon reasoning tasks.
• Abstract（参考訳）: マスク付き拡散言語モデル (dLLMs) は、双方向の注意でマスク付きトークンを反復的にデノベートすることでテキストを生成する。 生成チャンク間の推論を拡張するには、通常、以前の生成されたテキストをコンテキストに保持する必要がある。 我々は、固定サイズの搬送状態のみを使用して、そのテキストがクリアされた後に、dLLMが推論を継続できるかどうかを問う。 我々は、この状態を少数のレジスタトークンとして実装する: 連続的な隠れ状態が、生成チャンク全体にわたって推論進捗を実行するために訓練された専用の固定位置トークン。 我々は、dLLMsを訓練後、テキストの断片をデコードし、レジスタ値を保持しながらそれをクリアし、プロンプトからデコードし、実行した状態を継続する。 LLaDAとDreamの主な比較では、すべてのベンチマークにおいて、離散テキストよりも優れたレジスタが実行され、数学では最大8.5ポイント、コードでは19.5ポイント向上しています。 レジスタはバウンドコード生成に特に有効であり、正しいプログラムは通常いくつかのチャンクにまたがる。 最後に、長距離推論タスクの強化学習によりレジスタをさらに洗練することができる。

関連論文リスト

• SimSD: Simple Speculative Decoding in Diffusion Language Models [61.33773959352141]
  拡散大言語モデル (dLLMs) は、並列またはブロックワイド復号による高速な推論を提供する。 彼らのマスク付き言語モデリングの定式化は、標準的なトークンレベルの投機的復号法とは相容れないままである。 我々は,dLLMに時間的に有効なトークンレベルのコンテキストを付与する,SimSDと呼ばれるdLLMの投機的復号アルゴリズムを提案する。 提案手法は,平均生成品質を維持しつつ,最大7.46倍高い復号スループットを実現する。
  論文  参考訳（メタデータ） (2026-06-01T17:46:46Z)
• BitLM: Unlocking Multi-Token Language Generation with Bitwise Continuous Diffusion [47.110252169791075]
  BitLMは、各トークンを固定長バイナリコードとして表現する言語モデルである。 大語彙のソフトマックスをビットワイズデノイングに置き換えることで、BitLMはトークン生成をコンパクトなバイナリ空間における反復的なコミットメントとして再設定する。
  論文  参考訳（メタデータ） (2026-05-12T06:02:59Z)
• DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
  そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。 DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
  論文  参考訳（メタデータ） (2026-03-09T07:02:01Z)
• Residual Context Diffusion Language Models [90.07635240595926]
  Residual Context Diffusion (RCD) は、捨てられたトークン表現をコンテキスト残留に変換し、次のデノイングステップでそれらを注入するモジュールである。 RCDは、最小限の計算オーバーヘッドで、5-10ポイントの精度でフロンティアdLLMを一貫して改善する。
  論文  参考訳（メタデータ） (2026-01-30T13:16:32Z)
• Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
  離散拡散言語モデルは、テキスト生成に強い可能性を示している。 半自己回帰推論による微調整ミスアライメントの標準化 我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
  論文  参考訳（メタデータ） (2025-08-27T02:49:33Z)
• Sampling from Your Language Model One Byte at a Time [82.71473348639489]
  トークン化は、PBP(Prompt Boundary Problem)として知られるモデル世代に歪みをもたらす可能性がある。 BPEトークン化器を用いて任意のオートレ LM を文字レベルまたはバイトレベル LM に変換する推論時間法を提案する。 提案手法は, PBPを効率的に解き, 異なるトークン化器で言語モデルの語彙を統一することができる。
  論文  参考訳（メタデータ） (2025-06-17T02:37:04Z)
• Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning [53.57895922042783]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット(CoT)データに基づいて訓練された場合、推論と計画が優れている。 そこで我々は,遅延離散トークンを用いて推論過程を部分的に抽象化するハイブリッド表現を提案する。
  論文  参考訳（メタデータ） (2025-02-05T15:33:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。