論文の概要: Critically-Damped Higher-Order Langevin Dynamics for Generative Modeling

• arxiv url: http://arxiv.org/abs/2506.21741v2
• Date: Sun, 19 Oct 2025 23:28:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:38.430278
• Title: Critically-Damped Higher-Order Langevin Dynamics for Generative Modeling
• Title（参考訳）: 生成モデルのための臨界ダンプ高次ランゲヴィンダイナミクス
• Authors: Benjamin Sterling, Chad Gueli, Mónica F. Bugallo,
• Abstract要約: 拡散確率モデル(DDPM)は完全に新しい生成AI手法のクラスを表す。 彼らは、微分方程式として表現されるランゲヴィン力学を用いて、データをノイズに変換するプロセス、前方プロセス、およびノイズを生成されたデータに変換するプロセスを記述する。 クリティカルダンピングは、Critical-Damped Langevin Dynamics (CLD)とCritical-Damped Third-Order Langevin Dynamics (TOLD++)で成功している。
• 参考スコア（独自算出の注目度）: 9.395262542018235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Denoising diffusion probabilistic models (DDPMs) represent an entirely new class of generative AI methods that have yet to be fully explored. They use Langevin dynamics, represented as stochastic differential equations, to describe a process that transforms data into noise, the forward process, and a process that transforms noise into generated data, the reverse process. Many of these methods utilize auxiliary variables that formulate the data as a ``position" variable, and the auxiliary variables are referred to as ``velocity", ``acceleration", etc. In this sense, it is possible to ``critically damp" the dynamics. Critical damping has been successfully introduced in Critically-Damped Langevin Dynamics (CLD) and Critically-Damped Third-Order Langevin Dynamics (TOLD++), but has not yet been applied to dynamics of arbitrary order. The proposed methodology generalizes Higher-Order Langevin Dynamics (HOLD), a recent state-of-the-art diffusion method, by introducing the concept of critical damping from systems analysis. Similarly to TOLD++, this work proposes an optimal set of hyperparameters in the $n$-dimensional case, where HOLD leaves these to be user defined. Additionally, this work provides closed-form solutions for the mean and covariance of the forward process that greatly simplify its implementation. Experiments are performed on the CIFAR-10 and CelebA-HQ $256 \times 256$ datasets, and validated against the FID metric.
• Abstract（参考訳）: 拡散確率モデル(DDPM)は完全に新しい生成AI手法のクラスであり、まだ完全には研究されていない。 彼らは、確率微分方程式として表されるランゲヴィン力学を用いて、データをノイズに変換するプロセス、前方プロセス、およびノイズを生成されたデータに変換するプロセス、逆プロセスを記述する。 これらのメソッドの多くは、データを `position' 変数として定式化する補助変数を使用し、補助変数は ``velocity", ``acceleration' などと呼ばれる。 クリティカルダンピングは、Critically-Damped Langevin Dynamics (CLD) とCritical-Damped Third-Order Langevin Dynamics (TOLD++) でうまく導入されているが、任意の順序のダイナミクスには適用されていない。 提案手法は,最近の最先端拡散法である高次ランゲヴィンダイナミクス(HOLD)をシステム解析から臨界減衰の概念を導入することで一般化する。 TOLD++と同様に、この研究は$n$-dimensionalの場合で最適なハイパーパラメータセットを提案する。 さらに、この研究は、フォワードプロセスの平均と共分散に対するクローズドフォームのソリューションを提供し、その実装を大いに単純化する。 CIFAR-10とCelebA-HQ $256 \times 256$データセットで実験が行われ、FID測定値に対して検証される。

関連論文リスト

• Wasserstein Convergence of Critically Damped Langevin Diffusions [9.063081094420044]
  臨界減衰Langevin Diffusions (CLDs) は標準拡散法よりも数値的に優れていることが示されている。 We derived a novel upper bound on the sample error of CLD-based generative model in the Wasserstein metric。
  論文  参考訳（メタデータ） (2025-11-04T09:49:07Z)
• Langevin Flows for Modeling Neural Latent Dynamics [81.81271685018284]
  逐次変分自動エンコーダであるLangevinFlowを導入し、潜伏変数の時間的進化をアンダーダム化したLangevin方程式で制御する。 われわれのアプローチは、慣性、減衰、学習されたポテンシャル関数、力などの物理的事前を組み込んで、ニューラルネットワークにおける自律的および非自律的プロセスの両方を表現する。 本手法は,ロレンツ誘引器によって生成される合成神経集団に対する最先端のベースラインより優れる。
  論文  参考訳（メタデータ） (2025-07-15T17:57:48Z)
• Advanced long-term earth system forecasting by learning the small-scale nature [74.19833913539053]
  私たちは、この根本的な課題に対処するために設計されたAIフレームワークであるTritonを紹介します。 数値モデルにおける小さなスケールを明示的に解決するグリッドの増加に触発されたTritonは、スペクトルバイアスを軽減するために、複数の解像度にわたって階層的なアーキテクチャ処理情報を使用する。 我々は,トライトンによる挑戦的な予測課題における優れた性能,安定な1年間の世界気温予測,120日間の熟練した黒潮渦予測,高忠実乱流シミュレーションを実証した。
  論文  参考訳（メタデータ） (2025-05-26T02:49:00Z)
• Generative emulation of chaotic dynamics with coherent prior [0.129182926254119]
  拡散モデルを用いて乱流の原理を統一した動的エミュレーションのための効率的な生成フレームワークを提案する。 具体的には,デノナイジング過程の指導として,基礎となる力学の大規模コヒーレント構造を推定する。 結合性に優れた長距離予測技術は、部分的に観察されたガイダンスが存在する場合でも、物理的に一貫性のあるシミュレーションを効率的に生成することができる。
  論文  参考訳（メタデータ） (2025-04-19T11:14:40Z)
• Critically Damped Third-Order Langevin Dynamics [0.0]
  本研究は, 3次ランゲヴィンダイナミクス(TOLD)の改良について述べる。 DockhornのCritically-Damped Langevin Dynamics(CLD)と同様、TOLD前方遷移行列を臨界減衰させることによって行われる。
  論文  参考訳（メタデータ） (2024-09-12T01:59:58Z)
• Unfolding Time: Generative Modeling for Turbulent Flows in 4D [49.843505326598596]
  本研究では,4次元生成拡散モデルと物理インフォームドガイダンスを導入し,現実的な流れ状態列の生成を可能にする。 提案手法は, 乱流多様体からのサブシーケンス全体のサンプリングに有効であることが示唆された。 この進展は、乱流の時間的進化を分析するために生成モデリングを適用するための扉を開く。
  論文  参考訳（メタデータ） (2024-06-17T10:21:01Z)
• AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
  既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。 本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。 本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。 次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
  論文  参考訳（メタデータ） (2023-07-20T09:06:21Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Score-based Diffusion Models in Function Space [137.70916238028306]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 この研究は、関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)と呼ばれる数学的に厳密なフレームワークを導入する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Weak Collocation Regression method: fast reveal hidden stochastic dynamics from high-dimensional aggregate data [10.195461345970541]
  本稿では,Fokker-Planck (FP) 方程式の弱い形式に基づいて,トラジェクトリを使わずにデータのダイナミクスを効果的にモデル化する手法を提案する。 Weak Collocation Regression (WCR) 法は,弱形式,ガウスカーネルのコロケーション,回帰の3つの主要な構成要素に対して提案手法を命名した。
  論文  参考訳（メタデータ） (2022-09-06T16:29:49Z)
• Learning and Inference in Sparse Coding Models with Langevin Dynamics [3.0600309122672726]
  本稿では確率的潜在変数モデルで推論と学習が可能なシステムについて述べる。 ランゲヴィン力学を用いて潜伏変数を推論する連続時間方程式を導出することにより、スパース符号化モデルのこのアイデアを実証する。 ランゲヴィン力学は、L1ノルムが小さいのに対して、潜伏変数をゼロにすることを推奨する'L0スパース'系において、後続分布からサンプリングする効率的な手順をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-04-23T23:16:47Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Extension of Dynamic Mode Decomposition for dynamic systems with incomplete information based on t-model of optimal prediction [69.81996031777717]
  動的モード分解は、動的データを研究するための非常に効率的な手法であることが証明された。 このアプローチの適用は、利用可能なデータが不完全である場合に問題となる。 本稿では,森-Zwanzig分解の1次近似を考察し,対応する最適化問題を記述し,勾配に基づく最適化法を用いて解く。
  論文  参考訳（メタデータ） (2022-02-23T11:23:59Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Neural Ordinary Differential Equations for Data-Driven Reduced Order Modeling of Environmental Hydrodynamics [4.547988283172179]
  流体シミュレーションにおける神経常微分方程式の利用について検討する。 テスト問題としては,シリンダー周辺の非圧縮性流れや河川・河口系における浅水流体力学の現実的応用などが挙げられる。 本研究では,ニューラル ODE が潜在空間力学の安定かつ正確な進化のためのエレガントな枠組みを提供することを示唆する。
  論文  参考訳（メタデータ） (2021-04-22T19:20:47Z)
• Fast Mixing of Multi-Scale Langevin Dynamics under the Manifold Hypothesis [85.65870661645823]
  我々は,Langevin次元のアルゴリズムによって,より小さなデータに依存する時間を大幅に短縮できることを示す。 第二に、サンプリング空間の高さはランゲヴィン・ダイナミクスの性能を著しく損なう。
  論文  参考訳（メタデータ） (2020-06-19T14:52:40Z)
• Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
  最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:07:37Z)
• Non-Convex Optimization via Non-Reversible Stochastic Gradient Langevin Dynamics [27.097121544378528]
  グラディエント・ランゲヴィン・ダイナミクス (Gradient Langevin Dynamics, SGLD) は、非目的勾配を最適化する強力なアルゴリズムである。 NSGLDは非可逆拡散の離散化に基づいている。
  論文  参考訳（メタデータ） (2020-04-06T17:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。