論文の概要: Improved Sampling Schedules for Discrete Diffusion Models

• arxiv url: http://arxiv.org/abs/2602.06849v1
• Date: Fri, 06 Feb 2026 16:38:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.486948
• Title: Improved Sampling Schedules for Discrete Diffusion Models
• Title（参考訳）: 離散拡散モデルのためのサンプリングスケジューリングの改善
• Authors: Alberto Foresti, Mustapha Bounoua, Giulio Franzese, Luca Ambrogioni, Pietro Michiardi,
• Abstract要約: 熱力学的エントロピー生成のレンズを用いて逆過程のダイナミクスを解析する。 本稿では,情報生成の定量化のための厳密なプロキシとしてエントロピー生成率を提案する。 提案したスケジュールが、多様なアプリケーションドメインにわたる最先端戦略を大幅に上回っていることを実証的に実証した。
• 参考スコア（独自算出の注目度）: 20.653633019145953
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion models have emerged as a powerful paradigm for generative modeling on sequence data; however, the information-theoretic principles governing their reverse processes remain significantly less understood than those of their continuous counterparts. In this work, we bridge this gap by analyzing the reverse process dynamics through the lens of thermodynamic entropy production. We propose the entropy production rate as a rigorous proxy for quantifying information generation, deriving as a byproduct a bound on the Wasserstein distance between intermediate states and the data distribution. Leveraging these insights, we introduce two novel sampling schedules that are uniformly spaced with respect to their corresponding physics-inspired metrics: the Entropic Discrete Schedule (EDS), which is defined by maintaining a constant rate of information gain, and the Wasserstein Discrete Schedule (WDS), which is defined by taking equal steps in terms of the Wasserstein distance. We empirically demonstrate that our proposed schedules significantly outperform state-of-the-art strategies across diverse application domains, including synthetic data, music notation, vision and language modeling, consistently achieving superior performance at a lower computational budget.
• Abstract（参考訳）: 離散拡散モデルは、シーケンスデータに基づく生成モデリングの強力なパラダイムとして現れてきたが、その逆プロセスを管理する情報理論の原理は、連続するデータよりもはるかに理解されていない。 本研究では,熱力学的エントロピー生成のレンズを通して逆過程のダイナミクスを解析することにより,このギャップを埋める。 本稿では,中間状態とデータ分布の間のワッサーシュタイン距離に束縛された副産物として導出される,情報生成の定量化のための厳密なプロキシとしてエントロピー生成率を提案する。 これらの知見を生かして、情報ゲインの一定率を維持するために定義されるエントロピックディスクレットスケジュール(EDS)と、ワッサーシュタイン距離の観点から等しいステップをとることで定義されるワッサーシュタインディスクレットスケジュール(WDS)の2つの新しいサンプリングスケジュールを導入する。 提案手法は, 合成データ, 音楽表記, 視覚, 言語モデリングなど, 多様なアプリケーション領域における最先端戦略を著しく上回り, より低い計算予算で常に優れた性能を発揮することを実証的に実証した。

関連論文リスト

• A PDE Perspective on Generative Diffusion Models [8.328108675535562]
  我々は、スコアベース拡散プロセスのための厳密な偏微分方程式(PDE)フレームワークを開発する。 我々は、関連するスコアベースのFokker-Planckダイナミクスに対して、急激な$Lp$-stability推定を導出する。 その結果、正確な誘導の下で拡散軌道がデータ多様体に戻るという理論的保証が得られる。
  論文  参考訳（メタデータ） (2025-11-08T09:19:25Z)
• PIGPVAE: Physics-Informed Gaussian Process Variational Autoencoders [42.8983261737774]
  本稿では,物理制約を組み込んでデータから学習し,性能を向上させる新しい生成モデルを提案する。 生成過程に物理モデルを組み込むことで、VAEアーキテクチャを拡張し、基礎となるダイナミクスをより効果的に捉えることができる。 我々はPIGPVAEが観測された分布を超えて現実的なサンプルを作成できることを示した。
  論文  参考訳（メタデータ） (2025-05-25T21:12:01Z)
• Generative Latent Neural PDE Solver using Flow Matching [8.397730500554047]
  低次元の潜伏空間にPDE状態を埋め込んだPDEシミュレーションのための潜伏拡散モデルを提案する。 我々のフレームワークは、オートエンコーダを使用して、異なるタイプのメッシュを統一された構造化潜在グリッドにマッピングし、複雑なジオメトリをキャプチャします。 数値実験により,提案モデルは,精度と長期安定性の両方において,決定論的ベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-28T16:44:28Z)
• FlowDAS: A Stochastic Interpolant-based Framework for Data Assimilation [15.64941169350615]
  データ同化(DA)は、PDEが支配するシステムの状態を推定するために、動的モデルと観測を統合する。 FlowDASは、間補体を使用して状態遷移ダイナミクスを学習する生成DAフレームワークである。 本研究では,FlowDASがモデル駆動法,ニューラル演算子,スコアベースベースラインを超える精度と物理的妥当性を示す。
  論文  参考訳（メタデータ） (2025-01-13T05:03:41Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
  拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。 本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
  論文  参考訳（メタデータ） (2024-02-19T15:57:39Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。