論文の概要: Physics-Informed Distillation of Diffusion Models for PDE-Constrained Generation

• arxiv url: http://arxiv.org/abs/2505.22391v1
• Date: Wed, 28 May 2025 14:17:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.647762
• Title: Physics-Informed Distillation of Diffusion Models for PDE-Constrained Generation
• Title（参考訳）: PDE制約生成のための拡散モデルの物理インフォーム蒸留
• Authors: Yi Zhang, Difan Zou,
• Abstract要約: 拡散モデルは、物理系のモデリング、特に偏微分方程式(PDE)によって支配されるものにおいて、注目を集めている。 本稿では, PDE 制約を直接拡散過程に注入するのではなく, ポストホック蒸留段階において適用する, 単純かつ効果的なポストホック蒸留法を提案する。
• 参考スコア（独自算出の注目度）: 19.734778762515468
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling physical systems in a generative manner offers several advantages, including the ability to handle partial observations, generate diverse solutions, and address both forward and inverse problems. Recently, diffusion models have gained increasing attention in the modeling of physical systems, particularly those governed by partial differential equations (PDEs). However, diffusion models only access noisy data $\boldsymbol{x}_t$ at intermediate steps, making it infeasible to directly enforce constraints on the clean sample $\boldsymbol{x}_0$ at each noisy level. As a workaround, constraints are typically applied to the expectation of clean samples $\mathbb{E}[\boldsymbol{x}_0|\boldsymbol{x}_t]$, which is estimated using the learned score network. However, imposing PDE constraints on the expectation does not strictly represent the one on the true clean data, known as Jensen's Gap. This gap creates a trade-off: enforcing PDE constraints may come at the cost of reduced accuracy in generative modeling. To address this, we propose a simple yet effective post-hoc distillation approach, where PDE constraints are not injected directly into the diffusion process, but instead enforced during a post-hoc distillation stage. We term our method as Physics-Informed Distillation of Diffusion Models (PIDDM). This distillation not only facilitates single-step generation with improved PDE satisfaction, but also support both forward and inverse problem solving and reconstruction from randomly partial observation. Extensive experiments across various PDE benchmarks demonstrate that PIDDM significantly improves PDE satisfaction over several recent and competitive baselines, such as PIDM, DiffusionPDE, and ECI-sampling, with less computation overhead. Our approach can shed light on more efficient and effective strategies for incorporating physical constraints into diffusion models.
• Abstract（参考訳）: 生成的な方法で物理システムをモデル化することは、部分的な観測を処理し、多様なソリューションを生成し、前方および逆問題の両方に対処する能力など、いくつかの利点をもたらす。 近年、拡散モデルは物理系、特に偏微分方程式(PDE)によって支配される系のモデリングにおいて注目を集めている。 しかし、拡散モデルは中間段階においてノイズデータ $\boldsymbol{x}_t$ のみにアクセスするため、各ノイズレベルにおいて、クリーンサンプル $\boldsymbol{x}_0$ の制約を直接強制することは不可能である。 回避策として、典型的な制約は、学習したスコアネットワークを用いて推定されるクリーンサンプル $\mathbb{E}[\boldsymbol{x}_0|\boldsymbol{x}_t]$ の期待に適用される。 しかしながら、予想にPDE制約を課すことは、Jensen's Gapとして知られる真のクリーンなデータに厳密に表すものではない。 PDE制約の強制は、生成的モデリングにおける精度の低下を犠牲にする可能性がある。 そこで本研究では, PDE 制約を拡散過程に直接注入するのではなく, ポストホック蒸留段階で適用する, 簡易かつ効果的なポストホック蒸留法を提案する。 我々は,この手法をPIDDM(Pils-Informed Diffusion Models)と呼ぶ。 この蒸留はPDEの満足度を向上させた単一ステップ生成を促進するだけでなく、前方および逆問題の解決とランダムな部分的観察からの再構築もサポートする。 様々なPDEベンチマークによる大規模な実験により、PIDDMは、PIDM、DiffusionPDE、ECIサンプリングなど、最近の競合するいくつかのベースラインよりもPDEの満足度を著しく改善し、計算オーバーヘッドを減らした。 我々のアプローチは、拡散モデルに物理的制約を組み込むためのより効率的で効果的な戦略に光を当てることができる。

関連論文リスト

• Identifying Drift, Diffusion, and Causal Structure from Temporal Snapshots [10.018568337210876]
  APPEXは、時間境界のみから付加雑音SDEのドリフト、拡散、因果グラフを推定するために設計された反復アルゴリズムである。 APPEXはKulback-Leiblerの真の解への分岐を反復的に減少させ,線形付加雑音SDEのシミュレーションデータに対する効果を示す。
  論文  参考訳（メタデータ） (2024-10-30T06:28:21Z)
• DiffusionPDE: Generative PDE-Solving Under Partial Observation [10.87702379899977]
  生成拡散モデルを用いて偏微分方程式(PDE)を解くための一般的な枠組みを提案する。 そこで本研究では, 学習した生成先行が, 部分観察下において, 広範囲のPDEを正確に解くための多元的枠組みに導かれることを示す。
  論文  参考訳（メタデータ） (2024-06-25T17:48:24Z)
• AdjointDEIS: Efficient Gradients for Diffusion Models [2.0795007613453445]
  拡散SDEに対する連続随伴方程式は、実際には単純なODEに単純化されていることを示す。 また, 顔形態形成問題の形で, 対向攻撃による誘導生成に対するAdjointDEISの有効性を実証した。
  論文  参考訳（メタデータ） (2024-05-23T19:51:33Z)
• Distilling Diffusion Models into Conditional GANs [90.76040478677609]
  複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。 E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。 我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
  論文  参考訳（メタデータ） (2024-05-09T17:59:40Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Lipschitz Singularities in Diffusion Models [64.28196620345808]
  拡散モデルは、零点付近の時間変数に関して、しばしばネットワークの無限のリプシッツ特性を示す。 ゼロ点近傍の拡散モデルのリプシッツ特異点を緩和する新しい手法 E-TSDM を提案する。 我々の研究は、一般拡散過程の理解を深め、拡散モデルの設計に関する洞察を提供するかもしれない。
  論文  参考訳（メタデータ） (2023-06-20T03:05:28Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。