論文の概要: Speed-accuracy relations for the diffusion models: Wisdom from nonequilibrium thermodynamics and optimal transport

• arxiv url: http://arxiv.org/abs/2407.04495v4
• Date: Mon, 03 Mar 2025 05:38:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 16:11:08.428667
• Title: Speed-accuracy relations for the diffusion models: Wisdom from nonequilibrium thermodynamics and optimal transport
• Title（参考訳）: 拡散モデルの速度-精度関係:非平衡熱力学からの知恵と最適輸送
• Authors: Kotaro Ikeda, Tomoya Uda, Daisuke Okanohara, Sosuke Ito,
• Abstract要約: 拡散モデルと呼ばれる生成モデルと非平衡熱力学の関連について論じる。 異なるノイズスケジュールと異なるデータを持つ拡散モデルの速度-精度関係の妥当性を数値的に説明する。 また,非保存力による不正確なデータ生成と実世界の画像データセットからのデータ生成への適用性を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We discuss a connection between a generative model, called the diffusion model, and nonequilibrium thermodynamics for the Fokker-Planck equation, called stochastic thermodynamics. Based on the techniques of stochastic thermodynamics, we derive the speed-accuracy relations for the diffusion models, which are inequalities that relate the accuracy of data generation to the entropy production rate, which can be interpreted as the speed of the diffusion dynamics in the absence of the non-conservative force. From a stochastic thermodynamic perspective, our results provide a quantitative insight into how best to generate data in diffusion models. The optimal learning protocol is introduced by the geodesic of space of the 2-Wasserstein distance in optimal transport theory. We numerically illustrate the validity of the speed-accuracy relations for the diffusion models with different noise schedules and the different data. We numerically discuss our results for the optimal and suboptimal learning protocols. We also show the inaccurate data generation due to the non-conservative force, and the applicability of our results to data generation from the real-world image datasets.
• Abstract（参考訳）: 我々は、拡散モデルと呼ばれる生成モデルと、確率的熱力学と呼ばれるフォッカー・プランク方程式の非平衡熱力学との間の関係について論じる。 確率的熱力学の手法に基づいて,データ生成の精度とエントロピー生成速度を関連付ける不等式である拡散モデルの速度-精度関係を導出する。 確率的熱力学の観点から、我々の結果は拡散モデルにおけるデータ生成の最良の方法に関する定量的知見を提供する。 最適学習プロトコルは、最適輸送理論において、2-ワッサーシュタイン距離の空間測地によって導入される。 異なるノイズスケジュールと異なるデータを持つ拡散モデルの速度-精度関係の妥当性を数値的に説明する。 最適・準最適学習プロトコルについて数値的に検討する。 また,非保存力による不正確なデータ生成と実世界の画像データセットからのデータ生成への適用性を示す。

関連論文リスト

• TAUDiff: Improving statistical downscaling for extreme weather events using generative diffusion models [0.0]
  迅速なターンアラウンド、動的整合性、正確な時間的回復を達成することが不可欠である。 本稿では,決定論的モデルとより小さな生成的拡散モデルを組み合わせることで,より微細な特徴を再現する効率的な拡散モデルTiffAUDを提案する。 提案手法は, 極端事象のより高速なシミュレーションを実現するだけでなく, 低推算時間による炭素フットプリントの削減も可能である。
  論文  参考訳（メタデータ） (2024-12-18T09:05:19Z)
• Deep generative modelling of canonical ensemble with differentiable thermal properties [0.9421843976231371]
  標準アンサンブルの温度の異なる変分モデルを提案する。 深部生成モデルを用いて、連続した温度範囲で自由エネルギーを推定し、同時に最小化する。 トレーニングプロセスはデータセットを必要とせず、任意の明示的な密度生成モデルで動作する。
  論文  参考訳（メタデータ） (2024-04-29T03:41:49Z)
• An Overview of Diffusion Models: Applications, Guided Generation, Statistical Rates and Optimization [59.63880337156392]
  拡散モデルはコンピュータビジョン、オーディオ、強化学習、計算生物学において大きな成功を収めた。 経験的成功にもかかわらず、拡散モデルの理論は非常に限定的である。 本稿では,前向きな理論や拡散モデルの手法を刺激する理論的露光について述べる。
  論文  参考訳（メタデータ） (2024-04-11T14:07:25Z)
• Exploring the Optimal Choice for Generative Processes in Diffusion Models: Ordinary vs Stochastic Differential Equations [6.2284442126065525]
  ゼロ拡散(ODE)の場合と大きな拡散の場合の2つの制限シナリオについて数学的に検討する。 その結果, 生成過程の終端に摂動が発生すると, ODEモデルは大きな拡散係数でSDEモデルより優れることがわかった。
  論文  参考訳（メタデータ） (2023-06-03T09:27:15Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Modeling the space-time correlation of pulsed twin beams [68.8204255655161]
  パラメトリックダウンコンバージョンによって生成される絡み合ったツインビームは、画像指向アプリケーションで好まれるソースである。 本研究では,時間消費数値シミュレーションと非現実的な平面波ポンプ理論のギャップを埋めることを目的とした半解析モデルを提案する。
  論文  参考訳（メタデータ） (2023-01-18T11:29:49Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Thermodynamic Unification of Optimal Transport: Thermodynamic Uncertainty Relation, Minimum Dissipation, and Thermodynamic Speed Limits [0.0]
  ワッサーシュタイン距離は可逆エントロピー生成と全ての許容マルコフ力学上の動的状態移動の最小積と等しいことを示す。 これらの公式は、離散的かつ連続的なケースに対する熱力学と最適輸送理論の関係を統一するだけでなく、量子的ケースにも一般化する。
  論文  参考訳（メタデータ） (2022-06-06T15:37:59Z)
• Physics-informed CoKriging model of a redox flow battery [68.8204255655161]
  レドックスフロー電池(RFB)は、大量のエネルギーを安価かつ効率的に貯蔵する機能を提供する。 RFBの充電曲線の高速かつ正確なモデルが必要であり、バッテリ容量と性能が向上する可能性がある。 RFBの電荷分配曲線を予測する多相モデルを構築した。
  論文  参考訳（メタデータ） (2021-06-17T00:49:55Z)
• Predicting traffic signals on transportation networks using spatio-temporal correlations on graphs [56.48498624951417]
  本稿では,複数の熱拡散カーネルをデータ駆動予測モデルにマージして交通信号を予測する交通伝搬モデルを提案する。 予測誤差を最小限に抑えるためにベイズ推定を用いてモデルパラメータを最適化し,2つの手法の混合率を決定する。 提案モデルでは,計算労力の少ない最先端のディープニューラルネットワークに匹敵する予測精度を示す。
  論文  参考訳（メタデータ） (2021-04-27T18:17:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。