論文の概要: Neural Continuous-Time Markov Chain: Discrete Diffusion via Decoupled Jump Timing and Direction

• arxiv url: http://arxiv.org/abs/2604.15694v1
• Date: Fri, 17 Apr 2026 04:40:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.73832
• Title: Neural Continuous-Time Markov Chain: Discrete Diffusion via Decoupled Jump Timing and Direction
• Title（参考訳）: 神経性連続時間マルコフ連鎖:脱結合ジャンプタイミングと方向による離散拡散
• Authors: Jingyuan Li, Xiaoyi Jiang, Fukang Wen, Wei Liu, Renqian Luo, Yi Zhu, Zuoqiang Shi, Pipi Hu,
• Abstract要約: 我々は,2つの専用ネットワークヘッドを用いて,エフェキシットレート(ジャンプ時)とエフェジュンプ分布(ジャンプ時)で逆処理をパラメータ化するtextbfNeural CTMCを提案する。 我々は、エビデンスローバウンド(ELBO)が、真と学習された逆過程の経路空間KL分散と$$非依存定数で異なることを示す。 また, トラクタブル条件付きサロゲートは標準正則性仮定の下で, 対応する限界逆プロセス対象の勾配と最小化を保っていることを示す。
• 参考スコア（独自算出の注目度）: 18.20305761007799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion models based on continuous-time Markov chains (CTMCs) have shown strong performance on language and discrete data generation, yet existing approaches typically parameterize the reverse rate matrix as a single object -- via concrete scores, clean-data predictions ($x_0$-parameterization), or denoising distributions -- rather than aligning the parameterization with the intrinsic CTMC decomposition into jump timing and jump direction. Since a CTMC is fundamentally a Poisson process fully determined by these two quantities, decomposing along this structure is closer to first principles and naturally leads to our formulation. We propose \textbf{Neural CTMC}, which separately parameterizes the reverse process through an \emph{exit rate} (when to jump) and a \emph{jump distribution} (where to jump) using two dedicated network heads. We show that the evidence lower bound (ELBO) differs from a path-space KL divergence between the true and learned reverse processes by a $θ$-independent constant, so that the training objective is fully governed by the exit rate and jump distribution we parameterize. Moreover, this KL factorizes into a Poisson KL for timing and a categorical KL for direction. We further show that the tractable conditional surrogate preserves the gradients and minimizers of the corresponding marginal reverse-process objective under standard regularity assumptions. Our theoretical framework also covers masked and GIDD-style noise schedules. Empirically, while the uniform forward process has been explored in prior work, our model, to our best of the knowledge, is the first pure-uniform method to outperform mask-based methods on the OpenWebText dataset.To facilitate reproducibility, we release our pretrained weights at https://huggingface.co/Jiangxy1117/Neural-CTMC.
• Abstract（参考訳）: 連続時間マルコフ連鎖(CTMC)に基づく離散拡散モデルは、言語と離散データ生成において強い性能を示してきたが、既存のアプローチでは、固有のCTMC分解とパラメータ化をジャンプタイミングとジャンプ方向に整合させるのではなく、具体的なスコア、クリーンデータ予測(x_0$-パラメータ化)、あるいはデノナイズ分布を通じて、逆レート行列を単一のオブジェクトとしてパラメータ化するのが一般的である。 CTMCは基本的にこれらの2つの量によって完全に決定されるポアソン過程であるため、この構造に沿って分解することは第一原理に近づき、自然に私たちの定式化につながる。 本稿では, 2つの専用ネットワークヘッドを用いて, 逆過程を, \emph{exit rate} (ジャンプする時) と \emph{jump distribution} (ジャンプする時) でパラメータ化する。 ELBOは真と学習した逆過程間の経路空間KLの差分を$θ$非依存定数で示し、学習目標が出口速度とジャンプ分布によって完全に支配されることを示す。 さらに、このKLはタイミングのポアソンKLと方向のカテゴリーKLとに分解される。 さらに, トラクタブル条件付きサロゲートは, 標準正則性仮定の下で, 対応する限界逆プロセス対象の勾配と最小化を保っていることを示す。 我々の理論フレームワークは、マスクやGIDDスタイルのノイズスケジュールもカバーしています。 実験的に、前処理の統一化が検討されているのに対して、私たちのモデルは、私たちの知る限り、OpenWebTextデータセット上でマスクベースのメソッドを上回り、最初の純一様手法です。再現性を促進するため、私たちは、事前訓練したウェイトをhttps://huggingface.co/Jiangxy1117/Neural-CTMCでリリースします。

関連論文リスト

• One-Step Face Restoration via Shortcut-Enhanced Coupling Flow [2.8265172105754104]
  顔修復のためのショートカット強化結合流(SCFlowFR)を提案する。 LQ-HQ依存性を明示的にモデル化し、パスのクロスオーバーを最小限にし、ニアリニアトランスポートを促進する。 実験により、SCFlowFRは従来の非拡散法に匹敵する推論速度で、最先端の一段階の顔復元品質を達成することが示された。
  論文  参考訳（メタデータ） (2026-03-04T02:11:15Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Stratified Hazard Sampling: Minimal-Variance Event Scheduling for CTMC/DTMC Discrete Diffusion and Flow Models [0.0]
  累積ハザード(CTMC)または累積ジャンプ質量(DTMC)によって駆動される事象としての階層的ハザードサンプリングサンプリング(SHS)モデル SHSは、累積ハザード(CTMC)または累積ジャンプ質量(DTMC)によって駆動されるイベントとして編集され、累積量を成層化することによってイベントを配置する。 また、ブラックリストスタイルの語彙制約に対する位相アロケーション変種を導入し、リスクの高い位置での早期編集を優先し、遅延マスキングアーティファクトを緩和する。
  論文  参考訳（メタデータ） (2026-01-06T08:19:02Z)
• Foundations of Diffusion Models in General State Spaces: A Self-Contained Introduction [54.95522167029998]
  この記事は、一般状態空間上の拡散に関する自己完結プライマーである。 我々は、その連続時間限界とともに離散時間ビュー(マルコフカーネルを経由し、逆ダイナミクスを学習する)を開発する。 一般的な変量処理は、標準の訓練損失を支えるELBOをもたらす。
  論文  参考訳（メタデータ） (2025-12-04T18:55:36Z)
• Diffusion Models: A Mathematical Introduction [3.8673630752805437]
  本稿では拡散に基づく生成モデルの自己完結型導出について述べる。 第一原理から拡散確率モデルを構築する。 読者はこの理論に従い、実際に対応するアルゴリズムを実装することができる。
  論文  参考訳（メタデータ） (2025-11-13T16:20:52Z)
• Almost Linear Convergence under Minimal Score Assumptions: Quantized Transition Diffusion [25.542593757387095]
  本稿では,データ量子化と離散拡散力学を統合する新しい手法である量子化遷移拡散(QTD)を提案する。 提案手法はまず,連続データ分布の$p_*$をヒストグラム近似とバイナリ符号化により離散的な$q_*$に変換する。 逆時間サンプリングでは,逆CTMCをシミュレートするために,テクスティットランキャットによる一様化手法を導入する。
  論文  参考訳（メタデータ） (2025-05-28T02:10:11Z)
• Generative Fractional Diffusion Models [53.36835573822926]
  我々は,その基礎となる力学に分数拡散過程を利用する,最初の連続時間スコアベース生成モデルを導入する。 実画像データを用いた評価では,GFDMはFIDが低い値で示されるように,画素幅の多様性と画質の向上を実現している。
  論文  参考訳（メタデータ） (2023-10-26T17:53:24Z)
• Joint Bayesian Inference of Graphical Structure and Parameters with a Single Generative Flow Network [59.79008107609297]
  本稿では,ベイジアンネットワークの構造上の結合後部を近似する手法を提案する。 サンプリングポリシが2フェーズプロセスに従う単一のGFlowNetを使用します。 パラメータは後部分布に含まれるため、これは局所確率モデルに対してより柔軟である。
  論文  参考訳（メタデータ） (2023-05-30T19:16:44Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。