論文の概要: Boosting Latent Diffusion with Flow Matching

• arxiv url: http://arxiv.org/abs/2312.07360v2
• Date: Thu, 28 Mar 2024 17:35:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 21:12:21.943233
• Title: Boosting Latent Diffusion with Flow Matching
• Title（参考訳）: フローマッチングによる潜時拡散の促進
• Authors: Johannes S. Fischer, Ming Gui, Pingchuan Ma, Nick Stracke, Stefan A. Baumann, Björn Ommer,
• Abstract要約: フローマッチング(FM)はより高速なトレーニングと推論を提供するが、合成の多様性は低い。 拡散モデルと畳み込みデコーダの間にFMを導入することで高分解能画像合成が実現できることを示す。 我々は,計算コストを最小限に抑えて,最先端の高解像度画像合成を10242ドルで実現した。
• 参考スコア（独自算出の注目度）: 23.043115108005708
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, there has been tremendous progress in visual synthesis and the underlying generative models. Here, diffusion models (DMs) stand out particularly, but lately, flow matching (FM) has also garnered considerable interest. While DMs excel in providing diverse images, they suffer from long training and slow generation. With latent diffusion, these issues are only partially alleviated. Conversely, FM offers faster training and inference but exhibits less diversity in synthesis. We demonstrate that introducing FM between the Diffusion model and the convolutional decoder offers high-resolution image synthesis with reduced computational cost and model size. Diffusion can then efficiently provide the necessary generation diversity. FM compensates for the lower resolution, mapping the small latent space to a high-dimensional one. Subsequently, the convolutional decoder of the LDM maps these latents to high-resolution images. By combining the diversity of DMs, the efficiency of FMs, and the effectiveness of convolutional decoders, we achieve state-of-the-art high-resolution image synthesis at $1024^2$ with minimal computational cost. Importantly, our approach is orthogonal to recent approximation and speed-up strategies for the underlying DMs, making it easily integrable into various DM frameworks.
• Abstract（参考訳）: 近年、視覚合成とその基盤となる生成モデルが著しく進歩している。 ここでは拡散モデル(DM)が特に際立っているが、最近はフローマッチング(FM)も注目されている。 DMは多様な画像を提供するのに優れていますが、長いトレーニングと遅い生成に悩まされています。 潜伏拡散では、これらの問題は部分的に緩和されるのみである。 逆に、FMはより高速なトレーニングと推論を提供するが、合成の多様性は低い。 拡散モデルと畳み込みデコーダの間にFMを導入することで,計算コストとモデルサイズを低減した高分解能画像合成が実現できることを示す。 拡散は、必要な生成の多様性を効率的に提供することができる。 FMは低分解能を補正し、小さな潜伏空間を高次元空間にマッピングする。 その後、LDMの畳み込みデコーダは、これらの潜伏剤を高解像度の画像にマッピングする。 DMの多様性,FMの効率,畳み込みデコーダの有効性を組み合わせることで,1024^2$の最先端高解像度画像合成を最小計算コストで実現する。 重要な点として,本手法は近年のDMの近似と高速化戦略と直交しており,様々なDMフレームワークに容易に統合可能である。

関連論文リスト

• One Diffusion Step to Real-World Super-Resolution via Flow Trajectory Distillation [60.54811860967658]
  FluxSRはフローマッチングモデルに基づく新しい一段階拡散リアルISRである。 まず,フロートラジェクトリ蒸留(FTD)を導入し,多段階のフローマッチングモデルを1段階のリアルISRに蒸留する。 第2に、画像リアリズムを改善し、生成画像の高周波アーティファクト問題に対処するために、テレビLPIPSを知覚的損失として提案する。
  論文  参考訳（メタデータ） (2025-02-04T04:11:29Z)
• Diffusion Prism: Enhancing Diversity and Morphology Consistency in Mask-to-Image Diffusion [4.0301593672451]
  Diffusion Prismは、バイナリマスクを現実的で多様なサンプルに変換する、トレーニング不要のフレームワークである。 少量の人工ノイズが画像デノゲーションプロセスに大きく役立つことを探る。
  論文  参考訳（メタデータ） (2025-01-01T20:04:25Z)
• Accelerating Video Diffusion Models via Distribution Matching [26.475459912686986]
  本研究は, 拡散蒸留と分散マッチングのための新しい枠組みを導入する。 提案手法は, 事前学習した拡散モデルをより効率的な数ステップ生成器に蒸留することに焦点を当てる。 ビデオGAN損失と新しい2Dスコア分布マッチング損失の組合せを利用して、高品質なビデオフレームを生成する可能性を実証する。
  論文  参考訳（メタデータ） (2024-12-08T11:36:32Z)
• Taming Diffusion Prior for Image Super-Resolution with Domain Shift SDEs [36.65594293655289]
  DoSSRは、事前訓練された拡散モデルの生成力を生かしたドメインシフト拡散に基づくSRモデルである。 このアプローチの核となるのは、既存の拡散モデルとシームレスに統合されるドメインシフト方程式です。 提案手法は, 合成および実世界のデータセットに対して, 5つのサンプリングステップしか必要とせず, 最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-09-26T12:16:11Z)
• Solving Video Inverse Problems Using Image Diffusion Models [58.464465016269614]
  本稿では,画像拡散モデルのみを活用する革新的なビデオ逆解法を提案する。 本手法は,映像の時間次元をバッチ次元画像拡散モデルとして扱う。 また、バッチ間の一貫性を促進するバッチ一貫性サンプリング戦略も導入しています。
  論文  参考訳（メタデータ） (2024-09-04T09:48:27Z)
• Distilling Diffusion Models into Conditional GANs [90.76040478677609]
  複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。 E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。 我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
  論文  参考訳（メタデータ） (2024-05-09T17:59:40Z)
• Make a Cheap Scaling: A Self-Cascade Diffusion Model for Higher-Resolution Adaptation [112.08287900261898]
  本稿では,高解像度画像への高速適応と映像生成のための新しい自己カスケード拡散モデルを提案する。 提案手法は5Xトレーニングの高速化を実現し,さらに0.002Mのチューニングパラメータしか必要としない。 実験により,提案手法は10kステップの微調整によって高速に高分解能画像やビデオ合成に適応できることを示した。
  論文  参考訳（メタデータ） (2024-02-16T07:48:35Z)
• Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference [60.32804641276217]
  本稿では,LCM(Latent Consistency Models)を提案する。 高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。 また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
  論文  参考訳（メタデータ） (2023-10-06T17:11:58Z)
• Dimensionality-Varying Diffusion Process [52.52681373641533]
  拡散モデルは、信号破壊プロセスを逆転して新しいデータを生成することを学習する。 信号分解による前方拡散過程の理論的一般化を行う。 FFHQで訓練された拡散モデルのFIDを,52.40から10.46までの1024Times1024$解像度で改善する。
  論文  参考訳（メタデータ） (2022-11-29T09:05:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。