論文の概要: Schedule optimization for tau-leaping in masked discrete diffusion
- arxiv url: http://arxiv.org/abs/2609.21960v1
- Date: Fri, 18 Sep 2026 16:18:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.180185
- Title: Schedule optimization for tau-leaping in masked discrete diffusion
- Title（参考訳）: マスク付き離散拡散におけるタウリーピングのスケジュール最適化
- Abstract要約: マスク付き離散拡散モデルは、いわゆるタウリーピング離散化法を用いて、一般的に加速される。
N$座標の標準サンプルを$K$サンプリングステップで解析し、ランダムなブロックサイズは遅延スケジュールに依存する。
このプロファイルに対する推定器を開発し、推定誤差がスケジュール選択にどう影響するかを定量化する。
- 参考スコア（独自算出の注目度）: 1.4466802614938334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Masked discrete diffusion models are commonly accelerated using the so-called tau-leaping discretization method, which reveals several coordinates in parallel at each sampling step. The sampler replaces the joint conditional law of each revealed block by a product distribution, incurring a factorization error $\varepsilon_\text{fact}$ present even with perfectly learned predictors. We analyze the standard sampler on $N$ coordinates with $K$ sampling steps, whose random block sizes depend on a denoising schedule. Our analysis uses an exact integral representation of $\varepsilon_\text{fact}$ in terms of a distribution-dependent dependence density $ρ$, which records how conditional dependence evolves as the revealed fraction of coordinates grows. We develop estimators for this profile and quantify how estimation errors affect schedule selection. We derive recursive stationarity equations for the finite-$K$ optimization problem and, under a monotonicity condition, characterize its unique optimizer. In the joint limit $N,K\to\infty$, we obtain an explicit characterization of the optimal limiting smooth schedule and quantify the cost of random block sizes relative to a deterministic planner. When $ρ_N$ converges uniformly to a strictly positive continuous profile, optimizing over fixed smooth schedules can improve the leading constant but not the $N/K$ scaling of $\varepsilon_\text{fact}$. By contrast, if $ρ_N$ degenerates, suitable schedules can improve the asymptotic order relative to the uniform schedule. Examples based on stationary processes and exchangeable mixtures illustrate these two regimes.
- Abstract（参考訳）: マスク付き離散拡散モデルは、いわゆるタウリーピング離散化法を用いて一般的に加速され、各サンプリングステップで複数の座標が並列に現れる。
サンプルは各ブロックの結合条件法則を積分布に置き換え、完全に学習された予測器でも分解誤差$\varepsilon_\text{fact}$を生じる。
N$座標の標準サンプルを$K$サンプリングステップで解析し、ランダムなブロックサイズは遅延スケジュールに依存する。
我々の分析では、分布依存依存密度$ρ$の観点で、$\varepsilon_\text{fact}$の正確な積分表現を用いており、これは、明らかな座標の分数の増加に伴って、条件依存がどのように進化するかを記録する。
このプロファイルに対する推定器を開発し、推定誤差がスケジュール選択にどう影響するかを定量化する。
有限-$K$最適化問題に対する再帰的定常性方程式を導出し、単調条件下ではその特異な最適化器を特徴づける。
結合極限$N,K\to\infty$ において、最適極限スムーズなスケジュールの明示的な特徴を求め、決定論的プランナーに対してランダムブロックサイズのコストを定量化する。
ρ_N$ が厳密な正の連続プロファイルに一様収束すると、固定された滑らかなスケジュールを最適化することで、先頭定数を改善することができるが、$N/K$ のスケーリングは$\varepsilon_\text{fact}$ ではない。
対照的に、$ρ_N$が縮退すると、適切なスケジュールは、一様スケジュールに対する漸近順序を改善することができる。
定常過程と交換可能な混合に基づく例は、これら2つの状態を説明する。
関連論文リスト
- Provably adaptive sampling with uniform and remasking discrete diffusion models [9.180350432640912]
本研究では,一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一
我々の主な成果は、適応的なサンプリング保証を確立することである。
構造化された合成分布に関する数値実験は、予測された次元適応挙動を示す。
論文 参考訳（メタデータ） (2026-08-24T17:54:51Z) - From Atoms to Entropy: Optimal Noise Allocation for Diffusion Training in the Convex Regime [52.459513910242485]
拡散訓練における最適な雑音レベルアロケーションを研究するための一般統計フレームワークを開発する。
最適化されたトレーニングスケジュールは、有限個のノイズレベルに集中した原子最小値を持つことを示す。
次に,大規模実験におけるエントロピック・スケジュールの評価を行った。
論文 参考訳（メタデータ） (2026-07-10T20:59:06Z) - Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。
我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。
重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
論文 参考訳（メタデータ） (2026-02-24T05:32:03Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Efficient Sampling with Discrete Diffusion Models: Sharp and Adaptive Guarantees [9.180350432640912]
連続時間マルコフ連鎖(CTMC)の定式化によるスコアベース離散拡散モデルのサンプリング効率について検討した。
一様離散拡散に対して、$$-leapingアルゴリズムは位数$tilde O(d/varepsilon)$の複雑さを達成することを示す。
離散拡散をマスキングするために,本質的な情報理論量によって収束率を制御した$$-leapingサンプルラを導入する。
論文 参考訳（メタデータ） (2026-02-16T18:48:17Z) - RanSOM: Second-Order Momentum with Randomized Scaling for Constrained and Unconstrained Optimization [1.3537117504260623]
Polyak's Heavy Ballのようなモメンタム法はディープネットワークのトレーニングの標準であるが、設定の曲率に起因したバイアスに悩まされている。
textbfRanSOMは、決定論的ステップサイズを、平均$_t$で分布から引き出されたランダム化ステップに置き換えることで、このバイアスを解消する統合フレームワークである。
我々はこのフレームワークを,制約のない最適化のための textbfRanSOM-E と制約のない最適化のための textbfRanSOM-B の2つのアルゴリズムでインスタンス化する。
論文 参考訳（メタデータ） (2026-02-06T16:09:36Z) - Convergence, design and training of continuous-time dropout as a random batch method [0.0]
ランダムバッチ方式のレンズを用いた連続時間モデルにおけるドロップアウト正規化について検討する。
我々は、長さ$h$の時間間隔でニューロンのバッチをサンプリングすることによって、ドロップアウトを模倣する、偏りのない、よく考えられた推定器を構築した。
次に、単層ニューラルネットワークを専門とし、分類とフローマッチングの理論を検証する。
論文 参考訳（メタデータ） (2025-10-15T04:19:01Z) - Closed-form Filtering for Non-linear Systems [83.91296397912218]
我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。
本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。
提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
論文 参考訳（メタデータ） (2024-02-15T08:51:49Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Convergence of First-Order Methods for Constrained Nonconvex
Optimization with Dependent Data [7.513100214864646]
収束$tildeO(t-1/4)$とMoreautildeO(vareps-4)$がスムーズな非最適化のために最悪の場合の複雑性を示す。
適応的なステップサイズと最適収束度を持つ投影勾配法に基づく従属データに対する最初のオンライン非負行列分解アルゴリズムを得る。
論文 参考訳（メタデータ） (2022-03-29T17:59:10Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。