論文の概要: From discrete-time policies to continuous-time diffusion samplers: Asymptotic equivalences and faster training

• arxiv url: http://arxiv.org/abs/2501.06148v1
• Date: Fri, 10 Jan 2025 18:18:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:28:23.299072
• Title: From discrete-time policies to continuous-time diffusion samplers: Asymptotic equivalences and faster training
• Title（参考訳）: 離散時間ポリシーから連続時間拡散サンプリングへ:漸近同値と高速トレーニング
• Authors: Julius Berner, Lorenz Richter, Marcin Sendera, Jarrid Rector-Brooks, Nikolay Malkin,
• Abstract要約: 本研究では,Boltzmann分布から対象サンプルにアクセスすることなく,ニューラルネットワークの微分方程式(拡散モデル)を学習する問題について検討する。 このようなモデルの既存の訓練方法は、生成過程とノイズ発生過程の時間反転を強制する。 トレーニング中の粗い時間離散化の適切な選択は、サンプル効率と時間局所目標の使用を大幅に改善できることを示す。
• 参考スコア（独自算出の注目度）: 16.299508349934754
• License:
• Abstract: We study the problem of training neural stochastic differential equations, or diffusion models, to sample from a Boltzmann distribution without access to target samples. Existing methods for training such models enforce time-reversal of the generative and noising processes, using either differentiable simulation or off-policy reinforcement learning (RL). We prove equivalences between families of objectives in the limit of infinitesimal discretization steps, linking entropic RL methods (GFlowNets) with continuous-time objects (partial differential equations and path space measures). We further show that an appropriate choice of coarse time discretization during training allows greatly improved sample efficiency and the use of time-local objectives, achieving competitive performance on standard sampling benchmarks with reduced computational cost.
• Abstract（参考訳）: 本研究では,Boltzmann分布から対象サンプルにアクセスすることなく,神経確率微分方程式(拡散モデル)を学習する問題について検討する。 このようなモデルの既存の訓練方法は、微分可能シミュレーションまたは外部強化学習(RL)を用いて、生成過程とノイズ発生過程の時間反転を強制する。 無限小離散化ステップの極限における目的の族間の等価性を証明し、エントロピーRL法(GFlowNets)と連続時間オブジェクト(部分微分方程式と経路空間測度)をリンクする。 さらに、トレーニング中の粗い時間離散化の適切な選択は、サンプル効率と時間局所目標の使用を大幅に改善し、計算コストを低減した標準サンプリングベンチマーク上での競合性能を達成することができることを示す。

関連論文リスト

• Adaptive Non-Uniform Timestep Sampling for Diffusion Model Training [4.760537994346813]
  データ分布が複雑化するにつれて、収束のためのトレーニング拡散モデルがますます複雑になる。 より重要な時間ステップを優先する一様でない時間ステップサンプリング手法を提案する。 提案手法は, 各種データセット, スケジューリング戦略, 拡散アーキテクチャにまたがるロバストな性能を示す。
  論文  参考訳（メタデータ） (2024-11-15T07:12:18Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Reward-Directed Score-Based Diffusion Models via q-Learning [8.725446812770791]
  生成AIのための連続時間スコアベース拡散モデルのトレーニングのための新しい強化学習(RL)法を提案する。 我々の定式化は、ノイズ摂動データ分布の未知のスコア関数に対する事前学習モデルを含まない。
  論文  参考訳（メタデータ） (2024-09-07T13:55:45Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Fast Sampling via Discrete Non-Markov Diffusion Models with Predetermined Transition Time [49.598085130313514]
  離散非マルコフ拡散モデル(DNDM)を提案する。 これにより、トレーニング不要なサンプリングアルゴリズムにより、関数評価の数を大幅に削減できる。 有限ステップサンプリングから無限ステップサンプリングへの移行について検討し、離散プロセスと連続プロセスのギャップを埋めるための新たな洞察を提供する。
  論文  参考訳（メタデータ） (2023-12-14T18:14:11Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Applying Regularized Schr\"odinger-Bridge-Based Stochastic Process in Generative Modeling [0.0]
  本研究は,時間ステップ数とトレーニング時間を削減し,双方向プロセスと時間ステップ数との整合性を確保するための正規化条件を提案する。 この正規化を様々なタスクに適用することにより、より高速なサンプリング速度のプロセスに基づく生成モデリングの可能性を確認することができる。
  論文  参考訳（メタデータ） (2022-08-15T11:52:33Z)
• Continuous-Time Modeling of Counterfactual Outcomes Using Neural Controlled Differential Equations [84.42837346400151]
  反現実的な結果を予測することは、パーソナライズされたヘルスケアをアンロックする可能性がある。 既存の因果推論アプローチでは、観察と治療決定の間の通常の離散時間間隔が考慮されている。 そこで本研究では,腫瘍増殖モデルに基づく制御可能なシミュレーション環境を提案する。
  論文  参考訳（メタデータ） (2022-06-16T17:15:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。