論文の概要: Generating time-consistent dynamics with discriminator-guided image diffusion models
- arxiv url: http://arxiv.org/abs/2505.09089v1
- Date: Wed, 14 May 2025 02:51:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-15 21:44:09.355358
- Title: Generating time-consistent dynamics with discriminator-guided image diffusion models
- Title(参考訳): 判別器誘導画像拡散モデルによる時間一貫性ダイナミクスの生成
- Authors: Philipp Hess, Maximilian Gelbrecht, Christof Schötz, Michael Aich, Yu Huang, Shangshang Yang, Niklas Boers,
- Abstract要約: 時間力学は多くのビデオ生成、処理、モデリングアプリケーションに不可欠である。
ビデオ拡散モデル(VDM)は、非常に現実的なダイナミックスを生成するための最先端の手法である。
本稿では,事前学習した画像拡散モデルにより現実的なダイナミクスを生成できる時間一貫性判別器を提案する。
- 参考スコア(独自算出の注目度): 2.5592599835023067
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Realistic temporal dynamics are crucial for many video generation, processing and modelling applications, e.g. in computational fluid dynamics, weather prediction, or long-term climate simulations. Video diffusion models (VDMs) are the current state-of-the-art method for generating highly realistic dynamics. However, training VDMs from scratch can be challenging and requires large computational resources, limiting their wider application. Here, we propose a time-consistency discriminator that enables pretrained image diffusion models to generate realistic spatiotemporal dynamics. The discriminator guides the sampling inference process and does not require extensions or finetuning of the image diffusion model. We compare our approach against a VDM trained from scratch on an idealized turbulence simulation and a real-world global precipitation dataset. Our approach performs equally well in terms of temporal consistency, shows improved uncertainty calibration and lower biases compared to the VDM, and achieves stable centennial-scale climate simulations at daily time steps.
- Abstract(参考訳): 多くのビデオ生成、処理、モデリングへの応用、例えば計算流体力学、天気予報、長期気候シミュレーションにおいて、現実的な時間的ダイナミクスは不可欠である。
ビデオ拡散モデル(VDM)は、非常に現実的なダイナミックスを生成するための最先端の手法である。
しかしながら、スクラッチからVDMをトレーニングすることは困難であり、より大きな計算資源を必要とするため、より広範な応用が制限される。
本稿では,事前学習した画像拡散モデルを用いて実時間時空間ダイナミクスを生成可能な時間一貫性判別器を提案する。
判別器はサンプリング推論プロセスをガイドし、画像拡散モデルの拡張や微調整を必要としない。
我々は, 理想的な乱流シミュレーションと実世界の降水データセットを用いて, ゼロから訓練したVDMに対する我々のアプローチを比較した。
提案手法は, 時間的整合性の観点からも良好に機能し, VDMと比較して不確実性校正やバイアスの低減が図られ, 日中段階における安定な100年規模の気候シミュレーションが達成される。
関連論文リスト
- Generative Pre-trained Autoregressive Diffusion Transformer [54.476056835275415]
GPDiT(GPDiT)は、自動回帰拡散変換器である。
長距離ビデオ合成における拡散と自己回帰モデリングの強みを統一する。
拡散損失を用いて将来の潜伏フレームを自動回帰予測し、運動力学の自然なモデリングを可能にする。
論文 参考訳(メタデータ) (2025-05-12T08:32:39Z) - Dynamical Diffusion: Learning Temporal Dynamics with Diffusion Models [71.63194926457119]
動的拡散(DyDiff, Dynamical Diffusion)は, 時間的に意識された前と逆のプロセスを含む理論的に健全なフレームワークである。
科学的時間的予測、ビデオ予測、時系列予測に関する実験は、動的拡散が時間的予測タスクのパフォーマンスを一貫して改善することを示した。
論文 参考訳(メタデータ) (2025-03-02T16:10:32Z) - TAUDiff: Highly efficient kilometer-scale downscaling using generative diffusion models [0.0]
急激なターンアラウンド、ダイナミックな一貫性、極端な気象イベントの正確な時間的回復を達成することが不可欠である。
本稿では, 平均フィールドダウンスケーリングにおける決定論的時間モデルと, より小さな生成的拡散モデルを組み合わせて, 微細な特徴を再現する効率的な拡散モデルTAUDiffを提案する。
当社のアプローチは、関連するリスクや経済損失を見積もるために必要となる極端な事象を、より迅速にシミュレーションすることができる。
論文 参考訳(メタデータ) (2024-12-18T09:05:19Z) - ACDiT: Interpolating Autoregressive Conditional Modeling and Diffusion Transformer [95.80384464922147]
ACDiTはブロックワイド条件拡散変換器である。
トークン単位の自己回帰とフルシーケンス拡散のフレキシブルな関係を提供する。
本稿では,映像生成タスクにおける自己回帰ベースラインの中で,ACDiTが最良であることを示す。
論文 参考訳(メタデータ) (2024-12-10T18:13:20Z) - Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。
絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
論文 参考訳(メタデータ) (2024-10-28T15:54:50Z) - Sequential Posterior Sampling with Diffusion Models [15.028061496012924]
条件付き画像合成における逐次拡散後サンプリングの効率を向上させるため,遷移力学をモデル化する新しい手法を提案する。
本研究では,高フレームレート心エコー画像の現実的データセットに対するアプローチの有効性を実証する。
提案手法は,画像の拡散モデルとリアルタイム推論を必要とする他の領域における拡散モデルのリアルタイム適用の可能性を開く。
論文 参考訳(メタデータ) (2024-09-09T07:55:59Z) - Unfolding Time: Generative Modeling for Turbulent Flows in 4D [49.843505326598596]
本研究では,4次元生成拡散モデルと物理インフォームドガイダンスを導入し,現実的な流れ状態列の生成を可能にする。
提案手法は, 乱流多様体からのサブシーケンス全体のサンプリングに有効であることが示唆された。
この進展は、乱流の時間的進化を分析するために生成モデリングを適用するための扉を開く。
論文 参考訳(メタデータ) (2024-06-17T10:21:01Z) - DYffusion: A Dynamics-informed Diffusion Model for Spatiotemporal
Forecasting [18.86526240105348]
本稿では,確率的予測のための拡散モデルを効率的に訓練する手法を提案する。
我々は,標準拡散モデルの前方および逆過程を模倣する時間条件補間器と予測器ネットワークを訓練する。
本手法は, 海面温度, ナビエ-ストークス流, および湧水系の複雑な力学の確率論的予測を競合的に行う。
論文 参考訳(メタデータ) (2023-06-03T02:46:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。