論文の概要: From discrete-time policies to continuous-time diffusion samplers: Asymptotic equivalences and faster training

• arxiv url: http://arxiv.org/abs/2501.06148v1
• Date: Fri, 10 Jan 2025 18:18:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 18:34:15.330632
• Title: From discrete-time policies to continuous-time diffusion samplers: Asymptotic equivalences and faster training
• Title（参考訳）: 離散時間ポリシーから連続時間拡散サンプリングへ:漸近同値と高速トレーニング
• Abstract要約: 本研究では,Boltzmann分布から対象サンプルにアクセスすることなく,ニューラルネットワークの微分方程式(拡散モデル)を学習する問題について検討する。 このようなモデルの既存の訓練方法は、生成過程とノイズ発生過程の時間反転を強制する。 トレーニング中の粗い時間離散化の適切な選択は、サンプル効率と時間局所目標の使用を大幅に改善できることを示す。
• 参考スコア（独自算出の注目度）: 16.299508349934754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of training neural stochastic differential equations, or diffusion models, to sample from a Boltzmann distribution without access to target samples. Existing methods for training such models enforce time-reversal of the generative and noising processes, using either differentiable simulation or off-policy reinforcement learning (RL). We prove equivalences between families of objectives in the limit of infinitesimal discretization steps, linking entropic RL methods (GFlowNets) with continuous-time objects (partial differential equations and path space measures). We further show that an appropriate choice of coarse time discretization during training allows greatly improved sample efficiency and the use of time-local objectives, achieving competitive performance on standard sampling benchmarks with reduced computational cost.
• Abstract（参考訳）: 本研究では,Boltzmann分布から対象サンプルにアクセスすることなく,神経確率微分方程式(拡散モデル)を学習する問題について検討する。 このようなモデルの既存の訓練方法は、微分可能シミュレーションまたは外部強化学習(RL)を用いて、生成過程とノイズ発生過程の時間反転を強制する。 無限小離散化ステップの極限における目的の族間の等価性を証明し、エントロピーRL法(GFlowNets)と連続時間オブジェクト(部分微分方程式と経路空間測度)をリンクする。 さらに、トレーニング中の粗い時間離散化の適切な選択は、サンプル効率と時間局所目標の使用を大幅に改善し、計算コストを低減した標準サンプリングベンチマーク上での競合性能を達成することができることを示す。

関連論文リスト

• Integration Matters: Rollout-Based Training for Constrained Diffusion Models [16.46255955344152]
  制約付き生成モデルは、データ分布に忠実なまま、複雑な実現可能性制約を満たすサンプルを作成することを目的としている。 既存の制約付き生成法は、トレーニング時間最適化またはサンプリング時間補正によって制約を強制する。 オンラインのロールアウトを通じて得られた制約ガイダンスをトレーニングプロセスに組み込んだ微調整フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-15T22:25:59Z)
• Temporal Difference Learning for Diffusion Models [19.82560792699663]
  本稿では,モデルの多段階進行の不整合を抑えるための時間差(TD)手法を提案する。 そこで本研究では,トレーニングを安定化するサンプルベース再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2026-06-13T01:34:04Z)
• Few-Step Diffusion Sampling Through Instance-Aware Discretizations [16.93105640007355]
  正規あるいは微分方程式(ODEs/SDEs)で定義される経路をシミュレートして拡散・流れマッチングモデルにより高忠実度データを生成する 本稿では、入力依存の事前情報に基づいてタイムステップアロケーションを適応させることを学習する、インスタンス対応の離散化フレームワークを提案する。 提案手法は,トレーニングや無視可能な推論オーバーヘッドと比較して,限界チューニングコストで生成品質を継続的に向上する。
  論文  参考訳（メタデータ） (2026-03-18T12:49:38Z)
• Generative Modeling with Continuous Flows: Sample Complexity of Flow Matching [60.37045080890305]
  本稿では,フローマッチングに基づく生成モデルにおいて,サンプルの複雑さを初めて解析する。 速度場推定誤差をニューラルネットワーク近似誤差、有限標本サイズによる統計的誤差、速度場推定のための有限個の最適化ステップによる最適化誤差に分解する。
  論文  参考訳（メタデータ） (2025-12-01T05:14:25Z)
• Data Unlearning Beyond Uniform Forgetting via Diffusion Time and Frequency Selection [5.350009804371616]
  データアンラーニングは、トレーニングされたモデルから特定のトレーニングサンプルの影響を、完全なリトレーニングを必要とせずに取り除くことを目的としている。 私たちは、モデルやシナリオによって、時間と頻度で忘れることが不均等に起こると論じます。 トレーニング中の特定の時間周波数範囲に選択的に焦点を合わせることで,審美的品質と低雑音のサンプルが得られる。
  論文  参考訳（メタデータ） (2025-10-20T02:00:12Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [62.640128548633946]
  離散拡散モデルに対する粒子ギブズサンプリングに基づく新しい推論時間スケーリング手法を提案する。 提案手法は,報酬誘導テキスト生成タスクにおける事前推定時間戦略を常に上回る。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Adaptive Destruction Processes for Diffusion Samplers [12.446080077998834]
  本稿では,拡散サンプリング装置におけるトレーニング可能な破壊プロセスの課題とメリットについて考察する。 ステップ数に制限がある場合、生成過程と破壊過程の両方を訓練することで、より高速な収束とサンプリング品質の向上が期待できる。
  論文  参考訳（メタデータ） (2025-06-02T11:07:27Z)
• Generative Latent Neural PDE Solver using Flow Matching [8.397730500554047]
  低次元の潜伏空間にPDE状態を埋め込んだPDEシミュレーションのための潜伏拡散モデルを提案する。 我々のフレームワークは、オートエンコーダを使用して、異なるタイプのメッシュを統一された構造化潜在グリッドにマッピングし、複雑なジオメトリをキャプチャします。 数値実験により,提案モデルは,精度と長期安定性の両方において,決定論的ベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-28T16:44:28Z)
• Neural Flow Samplers with Shortcut Models [19.81513273510523]
  流れに基づくサンプルは連続性方程式を満たす速度場を学習してサンプルを生成する。 重要サンプリングは近似を提供するが、高い分散に悩まされる。
  論文  参考訳（メタデータ） (2025-02-11T07:55:41Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Fast Sampling via Discrete Non-Markov Diffusion Models with Predetermined Transition Time [49.598085130313514]
  離散非マルコフ拡散モデル(DNDM)を提案する。 これにより、トレーニング不要なサンプリングアルゴリズムにより、関数評価の数を大幅に削減できる。 有限ステップサンプリングから無限ステップサンプリングへの移行について検討し、離散プロセスと連続プロセスのギャップを埋めるための新たな洞察を提供する。
  論文  参考訳（メタデータ） (2023-12-14T18:14:11Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Applying Regularized Schr\"odinger-Bridge-Based Stochastic Process in Generative Modeling [0.0]
  本研究は,時間ステップ数とトレーニング時間を削減し,双方向プロセスと時間ステップ数との整合性を確保するための正規化条件を提案する。 この正規化を様々なタスクに適用することにより、より高速なサンプリング速度のプロセスに基づく生成モデリングの可能性を確認することができる。
  論文  参考訳（メタデータ） (2022-08-15T11:52:33Z)
• Continuous-Time Modeling of Counterfactual Outcomes Using Neural Controlled Differential Equations [84.42837346400151]
  反現実的な結果を予測することは、パーソナライズされたヘルスケアをアンロックする可能性がある。 既存の因果推論アプローチでは、観察と治療決定の間の通常の離散時間間隔が考慮されている。 そこで本研究では,腫瘍増殖モデルに基づく制御可能なシミュレーション環境を提案する。
  論文  参考訳（メタデータ） (2022-06-16T17:15:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。