論文の概要: Tensor-Train Joint Modeling for Few-Step Discrete Diffusion
- arxiv url: http://arxiv.org/abs/2607.03788v1
- Date: Sat, 04 Jul 2026 09:32:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.721201
- Title: Tensor-Train Joint Modeling for Few-Step Discrete Diffusion
- Title（参考訳）: Few-Step Discrete Diffusionのためのテンソルトレイン関節モデリング
- Abstract要約: 本稿では、テンソル分解による離散拡散における明示的な関節分布モデリングの枠組みを提案する。
我々のフレームワークは、軽量な微調整により事前訓練されたMDMに統合され、スクラッチからトレーニングコストのごく一部で、数ステップ生成を大幅に改善する。
- 参考スコア（独自算出の注目度）: 25.442970567297326
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Discrete diffusion promises orders-of-magnitude faster generation than autoregressive (AR) models for sequential discrete data, yet its full potential of few-step generation has remained out of reach due to a fundamental structural limitation. The conditional-independence assumption underlying current discrete diffusion models introduces a systematic parallelization bias that compounds with the number of tokens unmasked per step, becoming severe in the few-step regime that fast generation requires. We address this with the first framework for explicit joint distribution modeling in discrete diffusion via tensor decomposition, which represents the conditional clean distribution as a low-rank tensor with controllable expressivity. The framework supports both Canonical Polyadic (CPD) and Tensor-Train (TTD) decompositions, and we identify a structural bias of TTD toward dependencies between nearby tokens, formalized through Oseledets' theorem relating TT-rank to unfolding-matrix rank, which is well-suited to sequential data such as natural language and line notations for molecular data. To enable efficient generation, we present an iterative marginal inference procedure with specialization for predetermined position schedules. Our framework integrates into pretrained MDMs through lightweight fine-tuning, yielding substantial improvements in few-step generation at a fraction of the cost of training from scratch.
- Abstract（参考訳）: 離散拡散は、逐次離散データに対する自己回帰(AR)モデルよりも高速な生成を約束するが、基本的な構造的制限のため、数ステップ生成の潜在能力は手に負えないままである。
現在の離散拡散モデルに基づく条件付き独立性仮定は、1ステップ当たりのトークン数で合成される体系的並列化バイアスを導入し、高速発生に必要な数ステップ体制では深刻になる。
本稿では, テンソル分解による離散拡散における明示的な関節分布モデリングのための第1の枠組みを用いて, 制御可能な表現性を持つ低ランクテンソルとして条件付きクリーン分布を表現した。
このフレームワークは、CPD(Canonical Polyadic)とTTD(Tensor-Train)の分解の両方をサポートし、隣接するトークン間の依存関係に対するTTDの構造的バイアスを、分子データに対する自然言語や線記法のような逐次データによく適合する、TTランクと展開行列ランクに関連するOseledetsの定理によって定式化した。
効率的な生成を実現するため,所定位置スケジュールを特化した反復的辺縁推論手法を提案する。
我々のフレームワークは、軽量な微調整により事前訓練されたMDMに統合され、スクラッチからトレーニングコストのごく一部で、数ステップ生成を大幅に改善する。
関連論文リスト
- GLIDE: Graph-guided Leap Inference for Diffusion Estimation of Spatio-Temporal Point Processes [19.756452407351986]
時空間点過程(STPP)のための条件拡散フレームワークを提案する。
GLIDEは、歴史的イベントをマルチスケールの履歴グラフに整理し、二重ストリームアーキテクチャを通して空間トポロジを符号化する。
複数の実世界のデータセットでの実験では、GLIDEは分布の適合性と次点の予測の両方を改善し、空間側で最大のゲインが現れる。
論文 参考訳（メタデータ） (2026-05-31T14:56:24Z) - Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。
標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。
そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-12T09:39:06Z) - Consistent Diffusion Language Models [22.253153649144476]
拡散言語モデル (DLMs) は、サブタイム、並列生成を約束するが、実用的ゲインは未解決のままである。
連続領域では、確率フローODEに沿った一貫性のトレーニングが拡散を加速する一般的なレシピである。
我々は,これらの橋を横断するパスイン予測をデノイザに訓練する新しい原理である,マルチパス離散整合性(DCMP)を導入する。
1つのCDLMの目的は、マスク拡散、連続一貫性モデル、進行/離散蒸留を1つの共通の見解の分析的限界または経験的近似として統一することである。
論文 参考訳（メタデータ） (2026-04-30T19:31:02Z) - Interpolating Discrete Diffusion Models with Controllable Resampling [49.771004594828405]
仮面拡散モデルは初期解凍による不可逆誤差に悩まされる。
自己補正が可能であるにもかかわらず、一様拡散モデルは、しばしば低品質のサンプルを生成する。
本稿では,中間潜伏状態への依存を減らすことで拡散を改善する補間離散拡散モデルを提案する。
論文 参考訳（メタデータ） (2026-04-19T07:55:57Z) - Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion [60.186310080523135]
離散データ(テキスト)に対する自己回帰的アプローチと連続データ(画像)に対する拡散的アプローチへの生成的モデリングの分岐は、真に統一されたマルチモーダルシステムの開発を妨げる。
階層的二重プロセスとしてマルチモーダル生成を再構成する新しい確率的フレームワークである textbfCoM-DAD を提案する。
提案手法は、標準的なマスキングモデルよりも優れた安定性を示し、スケーラブルで統一されたテキスト画像生成のための新しいパラダイムを確立する。
論文 参考訳（メタデータ） (2026-01-07T16:21:19Z) - Foundations of Diffusion Models in General State Spaces: A Self-Contained Introduction [54.95522167029998]
この記事は、一般状態空間上の拡散に関する自己完結プライマーである。
我々は、その連続時間限界とともに離散時間ビュー(マルコフカーネルを経由し、逆ダイナミクスを学習する)を開発する。
一般的な変量処理は、標準の訓練損失を支えるELBOをもたらす。
論文 参考訳（メタデータ） (2025-12-04T18:55:36Z) - Overcoming Dimensional Factorization Limits in Discrete Diffusion Models through Quantum Joint Distribution Learning [79.65014491424151]
量子離散化拡散確率モデル(QD3PM)を提案する。
これは、指数関数的に大きなヒルベルト空間における拡散と denoising を通じて合同確率学習を可能にする。
本稿では,共同分布学習における量子的優位性を生かして,生成モデルの新たな理論的パラダイムを確立する。
論文 参考訳（メタデータ） (2025-05-08T11:48:21Z) - Generative Latent Neural PDE Solver using Flow Matching [8.397730500554047]
低次元の潜伏空間にPDE状態を埋め込んだPDEシミュレーションのための潜伏拡散モデルを提案する。
我々のフレームワークは、オートエンコーダを使用して、異なるタイプのメッシュを統一された構造化潜在グリッドにマッピングし、複雑なジオメトリをキャプチャします。
数値実験により,提案モデルは,精度と長期安定性の両方において,決定論的ベースラインよりも優れていた。
論文 参考訳（メタデータ） (2025-03-28T16:44:28Z) - Constrained Discrete Diffusion [61.81569616239755]
本稿では,拡散過程における微分可能制約最適化の新たな統合であるCDD(Constrained Discrete Diffusion)を紹介する。
CDDは直接、離散拡散サンプリングプロセスに制約を課し、トレーニング不要で効果的なアプローチをもたらす。
論文 参考訳（メタデータ） (2025-03-12T19:48:12Z) - Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。
この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
論文 参考訳（メタデータ） (2024-02-21T16:11:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。