論文の概要: SpecCTMC: Exact Speculative Simulation of Diffusion Language Model Continuous-Time Markov Chains

• arxiv url: http://arxiv.org/abs/2611.08362v1
• Date: Thu, 05 Nov 2026 17:41:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.604572
• Title: SpecCTMC: Exact Speculative Simulation of Diffusion Language Model Continuous-Time Markov Chains
• Title（参考訳）: SpecCTMC: 拡散言語モデルの連続時間マルコフ連鎖の厳密な投機シミュレーション
• Abstract要約: マスケッド拡散言語モデルは、並列テキスト生成を提供するが、独立して複数のトークンをサンプリングすることで、依存関係を乱し、出力分布を変更することができる。 トレーニング不要な投機的サンプリングシステムであるSpecCTMCを導入し、このシーケンシャルなボトルネックを個別のドラフトモデルなしで低減する。 我々は、SpecCTMCがイベント時間、生成順序、および基礎となる連続時間マルコフ連鎖のトークン値の連成分布を保存することを証明した。
• 参考スコア（独自算出の注目度）: 45.385819280687514
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Masked diffusion language models offer parallel text generation, but independently sampling multiple tokens can disrupt their dependencies and change the output distribution. Exact continuous-time sampling avoids this approximation, yet typically requires one sequential model evaluation per token. We introduce SpecCTMC, a training-free speculative sampler that reduces this sequential bottleneck without a separate draft model. SpecCTMC proposes successive token updates using previously computed model predictions, evaluates their intermediate states in parallel, and applies an exact acceptance-and-correction procedure. We prove that SpecCTMC preserves the joint distribution of event times, generation order, and token values of the underlying continuous-time Markov chain. It therefore introduces neither time-discretization error nor additional factorization error from parallel decoding. Experiments on LLaDA-8B-Instruct and Dream-v0-Instruct-7B across five benchmarks demonstrate 1.73-4.38x fewer sequential model evaluations than direct continuous-time sampling, while preserving the reference sampling distribution. Our code is available at: https://github.com/kasakh/specctmc
• Abstract（参考訳）: マスケッド拡散言語モデルは、並列テキスト生成を提供するが、独立して複数のトークンをサンプリングすることで、依存関係を乱し、出力分布を変更することができる。 厳密な連続時間サンプリングは、この近似を避けるが、通常はトークン毎に1つのシーケンシャルなモデル評価を必要とする。 トレーニング不要な投機的サンプリングシステムであるSpecCTMCを導入し、このシーケンシャルなボトルネックを個別のドラフトモデルなしで低減する。 SpecCTMCは、以前に計算されたモデル予測を用いて連続したトークン更新を提案し、その中間状態を並列に評価し、正確な受け入れ補正手順を適用する。 我々は、SpecCTMCがイベント時間、生成順序、および基礎となる連続時間マルコフ連鎖のトークン値の連成分布を保存することを証明した。 したがって、並列デコードによる時間分散誤差や追加の分解誤差は導入しない。 5つのベンチマークでLLaDA-8B-InstructとDream-v0-Instruct-7Bの実験は、参照サンプリング分布を保ちながら、直接連続時間サンプリングよりも1.73-4.38倍少ないシーケンシャルモデル評価を示した。 私たちのコードは、https://github.com/kasakh/specctmc.comで利用可能です。

関連論文リスト

• MarkovTS: Pretrained State-Transition Representations for Zero-Shot Time Series Generation [61.92755454168693]
  時系列生成は、シミュレーション、モデル開発、データ拡張をサポートし、実際の観測が不十分またはコストがかかる場合に、ターゲット領域統計と時間的依存関係を保存するシーケンスを生成する。 我々は、基準条件付きゼロショット時系列生成について検討する:対象ドメインは事前訓練中に見えず、生成は単一のターゲットドメイン参照シーケンスを使用し、モデルパラメータは更新されない。 マルコフTSは、局所的な形態と順序付けられた遷移を通じて、複数の時間スケールで配列の進化を特徴づける。
  論文  参考訳（メタデータ） (2026-10-31T13:43:00Z)
• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• Probabilistic Forecasting of Business Process Executions with Neural Temporal Point Processes [3.276126754342475]
  サービスベースのシステムのオペレータは、実行中の実行の継続を予測し、その信頼性が分かっていれば、そのような予測は実行可能である。 我々は、次のマークと時間間の結合密度を定義する、マーク時間点プロセスによる生成シーケンスモデリングとしてこの問題を論じる。 得られたモデルが点精度に基づいて識別ベースラインと一致し、残時間分布の校正とシャープさに支配的であり、推論時に最も安価であることを示す。
  論文  参考訳（メタデータ） (2026-09-18T06:50:49Z)
• Is Your Diffusion Sampler Actually Correct? A Sampler-Centric Evaluation of Discrete Diffusion Language Models [14.764619905977739]
  そこで,本研究では,学習したデノイザを,基底構造マルコフ連鎖から派生した正確な隠れマルコフモデルに置き換える,サンプル中心のオラクルフレームワークを提案する。 数ステップの離散拡散サンプリング器は, オラクル・デノイザの下でも分布が正しくないことを示し, ステップ数が列長に近づくと, 遷移レベルのミスマッチが消えることを示した。
  論文  参考訳（メタデータ） (2026-02-23T09:06:13Z)
• Parallel Sampling from Masked Diffusion Models via Conditional Independence Testing [4.707859580472452]
  仮面拡散モデル(MDM)は、離散テキスト生成のための自己回帰モデル(ARM)に代わる魅力的な代替手段を提供する。 シーケンシャルな左から右への生成ではなく、並列トークンサンプリングを可能にする。 本稿では,このトレードオフを再現するモデル非依存のサンプル装置PUNTを紹介する。
  論文  参考訳（メタデータ） (2025-10-24T18:41:26Z)
• Text Generation Beyond Discrete Token Sampling [74.06071135207635]
  入力の混合(Mixture of Inputs, MoI)は、自動回帰生成のためのトレーニング不要な方法である。 MoIはQwQ-32B、Nemotron-Super-49B、Gemma-3-27B、DAPO-Qwen-32Bを含む複数のモデルのパフォーマンスを継続的に改善している。
  論文  参考訳（メタデータ） (2025-05-20T18:41:46Z)
• Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
  任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。 我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。 我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2025-04-29T06:33:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。